Kubernetes 和 IoTDB 集成

强大的性能和简单的集成,由 Telegraf 提供支持,Telegraf 是 InfluxData 构建的开源数据连接器。

info

对于大规模实时查询,这不是推荐的配置。 为了进行查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Kubernetes 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时序数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。 当您将任何数据视为时序数据时,它都更有价值。 使用 InfluxDB,这是排名第一的时序平台,旨在通过 Telegraf 进行扩展。

查看入门方法

输入和输出集成概述

此插件通过与 Kubelet API 通信来捕获 Kubernetes pod 和容器的指标。

此插件将 Telegraf 指标保存到 Apache IoTDB 后端,支持会话连接和数据插入。

集成详情

Kubernetes

Kubernetes 输入插件与 Kubelet API 接口,以收集在单个主机上运行的 pod 和容器的指标,理想情况下作为 Kubernetes 安装中 daemonset 的一部分。 通过在集群内的每个节点上运行,它从本地运行的 kubelet 收集指标,确保数据反映环境的实时状态。 Kubernetes 作为一个快速发展的项目,经常更新,此插件遵循主要云提供商支持的版本,在有限的时间跨度内保持跨多个版本的兼容性。 考虑到潜在的高序列基数,这可能会给数据库带来负担;因此,建议用户实施过滤技术和保留策略来有效管理此负载。 配置选项提供了插件行为的灵活定制,以无缝集成到不同的设置中,从而增强其在监控 Kubernetes 环境中的实用性。

IoTDB

Apache IoTDB(物联网数据库)是一个 IoT 原生数据库,具有高性能的数据管理和分析能力,可部署在边缘和云端。 其轻量级架构、高性能和丰富的功能集使其非常适合 IoT 工业领域中的海量数据存储、高速数据摄取和复杂分析。 IoTDB 与 Apache Hadoop、Spark 和 Flink 深度集成,进一步增强了其处理大规模数据和复杂处理任务的能力。

配置

Kubernetes

[[inputs.kubernetes]]
  ## URL for the kubelet, if empty read metrics from all nodes in the cluster
  url = "http://127.0.0.1:10255"

  ## Use bearer token for authorization. ('bearer_token' takes priority)
  ## If both of these are empty, we'll use the default serviceaccount:
  ## at: /var/run/secrets/kubernetes.io/serviceaccount/token
  ##
  ## To re-read the token at each interval, please use a file with the
  ## bearer_token option. If given a string, Telegraf will always use that
  ## token.
  # bearer_token = "/var/run/secrets/kubernetes.io/serviceaccount/token"
  ## OR
  # bearer_token_string = "abc_123"

  ## Kubernetes Node Metric Name
  ## The default Kubernetes node metric name (i.e. kubernetes_node) is the same
  ## for the kubernetes and kube_inventory plugins. To avoid conflicts, set this
  ## option to a different value.
  # node_metric_name = "kubernetes_node"

  ## Pod labels to be added as tags.  An empty array for both include and
  ## exclude will include all labels.
  # label_include = []
  # label_exclude = ["*"]

  ## Set response_timeout (default 5 seconds)
  # response_timeout = "5s"

  ## Optional TLS Config
  # tls_ca = /path/to/cafile
  # tls_cert = /path/to/certfile
  # tls_key = /path/to/keyfile
  ## Use TLS but skip chain & host verification
  # insecure_skip_verify = false

IoTDB

[[outputs.iotdb]]
  ## Configuration of IoTDB server connection
  host = "127.0.0.1"
  # port = "6667"

  ## Configuration of authentication
  # user = "root"
  # password = "root"

  ## Timeout to open a new session.
  ## A value of zero means no timeout.
  # timeout = "5s"

  ## Configuration of type conversion for 64-bit unsigned int
  ## IoTDB currently DOES NOT support unsigned integers (version 13.x).
  ## 32-bit unsigned integers are safely converted into 64-bit signed integers by the plugin,
  ## however, this is not true for 64-bit values in general as overflows may occur.
  ## The following setting allows to specify the handling of 64-bit unsigned integers.
  ## Available values are:
  ##   - "int64"       --  convert to 64-bit signed integers and accept overflows
  ##   - "int64_clip"  --  convert to 64-bit signed integers and clip the values on overflow to 9,223,372,036,854,775,807
  ##   - "text"        --  convert to the string representation of the value
  # uint64_conversion = "int64_clip"

  ## Configuration of TimeStamp
  ## TimeStamp is always saved in 64bits int. timestamp_precision specifies the unit of timestamp.
  ## Available value:
  ## "second", "millisecond", "microsecond", "nanosecond"(default)
  # timestamp_precision = "nanosecond"

  ## Handling of tags
  ## Tags are not fully supported by IoTDB.
  ## A guide with suggestions on how to handle tags can be found here:
  ##     https://iotdb.apache.org/UserGuide/Master/API/InfluxDB-Protocol.html
  ##
  ## Available values are:
  ##   - "fields"     --  convert tags to fields in the measurement
  ##   - "device_id"  --  attach tags to the device ID
  ##
  ## For Example, a metric named "root.sg.device" with the tags `tag1: "private"`  and  `tag2: "working"` and
  ##  fields `s1: 100`  and `s2: "hello"` will result in the following representations in IoTDB
  ##   - "fields"     --  root.sg.device, s1=100, s2="hello", tag1="private", tag2="working"
  ##   - "device_id"  --  root.sg.device.private.working, s1=100, s2="hello"
  # convert_tags_to = "device_id"

  ## Handling of unsupported characters
  ## Some characters in different versions of IoTDB are not supported in path name
  ## A guide with suggetions on valid paths can be found here:
  ## for iotdb 0.13.x           -> https://iotdb.apache.org/UserGuide/V0.13.x/Reference/Syntax-Conventions.html#identifiers
  ## for iotdb 1.x.x and above  -> https://iotdb.apache.org/UserGuide/V1.3.x/User-Manual/Syntax-Rule.html#identifier
  ##
  ## Available values are:
  ##   - "1.0", "1.1", "1.2", "1.3"  -- enclose in `` the world having forbidden character 
  ##                                    such as @ $ # : [ ] { } ( ) space
  ##   - "0.13"                      -- enclose in `` the world having forbidden character 
  ##                                    such as space
  ##
  ## Keep this section commented if you don't want to sanitize the path
  # sanitize_tag = "1.3"

输入和输出集成示例

Kubernetes

  1. 动态资源分配监控:通过利用 Kubernetes 插件,团队可以为跨各种 pod 和容器的资源使用模式设置警报。 这种主动监控方法可以根据特定阈值自动扩展资源,从而有助于优化性能,同时在高峰使用期间最大限度地降低成本。

  2. 多租户资源隔离分析:使用 Kubernetes 的组织可以利用此插件来跟踪每个命名空间的资源消耗。 在多租户场景中,了解不同团队的资源分配和使用情况对于确保公平访问和性能保证至关重要,从而实现更好的资源管理策略。

  3. 实时健康仪表板:将 Kubernetes 插件捕获的数据集成到 Grafana 等可视化工具中,以创建实时仪表板。 这些仪表板提供对 Kubernetes 环境的整体健康状况和性能的深入了解,使团队能够快速识别和纠正跨集群、pod 和容器的问题。

  4. 自动化事件响应工作流程:通过将 Kubernetes 插件与警报管理系统相结合,团队可以根据实时指标自动化事件响应程序。 如果 pod 的资源使用量超过预定义的限制,则自动化工作流程可以触发补救措施,例如重新启动 pod 或重新分配资源,所有这些都有助于提高系统弹性。

IoTDB

  1. 实时 IoT 监控:利用 IoTDB 插件收集来自各种 IoT 设备的传感器数据,并将其保存在 Apache IoTDB 后端,从而实现对温度和湿度等环境条件的实时监控。 此用例使组织能够分析随时间变化的趋势,并根据历史数据做出明智的决策,同时还可以利用 IoTDB 的高效存储和查询功能。

  2. 智慧农业数据收集:使用 IoTDB 插件收集部署在田地中的智慧农业传感器的指标。 通过将湿度水平、养分含量和大气条件传输到 IoTDB,农民可以访问有关最佳种植和浇水计划的详细见解,从而提高作物产量和资源管理。

  3. 能源消耗分析:利用 IoTDB 插件跟踪来自整个公用事业网络中智能电表的能源消耗指标。 这种集成使分析能够识别使用高峰并预测未来的消耗模式,最终支持节能措施和改进的公用事业管理。

  4. 自动化工业设备监控:使用此插件收集制造工厂中机械的操作指标,并将其存储在 IoTDB 中进行分析。 此设置可以帮助识别效率低下、预测性维护需求和操作异常,从而确保最佳性能并最大限度地减少意外停机时间。

反馈

感谢您成为我们社区的一份子! 如果您有任何一般性反馈或在这些页面上发现任何错误,我们欢迎并鼓励您提出意见。 请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。 当您将任何数据视为时序数据时,它都更有价值。 使用 InfluxDB,这是排名第一的时序平台,旨在通过 Telegraf 进行扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。 它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许根据这些消息创建指标。 它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。 它支持多种输入数据格式,并提供使用 DynamoDB 进行检查点操作的功能,以实现可靠的消息处理。

查看集成