Docker 和 Mimir 集成

由 InfluxData 构建的开源数据连接器 Telegraf 提供支持,易于集成,性能强大。

info

这不是大规模实时查询的推荐配置。 为了查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Docker 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时间序列数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。 当您将任何数据视为时间序列数据时,它都更有价值。 InfluxDB 是排名第一的时间序列平台,旨在通过 Telegraf 进行扩展。

查看入门方法

输入和输出集成概述

Docker 输入插件允许您使用 Docker Engine API 从 Docker 容器中收集指标,从而增强容器化应用程序的可见性和监控。

此插件使用 HTTP 将 Telegraf 指标直接发送到 Grafana 的 Mimir 数据库,为 Prometheus 兼容指标提供可扩展且高效的长期存储和分析。

集成详情

Docker

Telegraf 的 Docker 输入插件从 Docker Engine API 收集有价值的指标,从而深入了解正在运行的容器。 此插件利用官方 Docker 客户端与 Engine API 交互,允许用户监控各种容器状态、资源分配和性能指标。 凭借按名称和状态过滤容器的选项,以及可自定义的标签,此插件支持在各种环境中(无论是在本地系统上还是在 Kubernetes 等编排平台内)灵活监控容器化应用程序。 此外,它通过要求访问 Docker 守护程序的权限来解决安全问题,并强调在容器化环境中部署时的正确配置。

Mimir

Grafana Mimir 支持 Prometheus Remote Write 协议,使 Telegraf 收集的指标能够有效地摄取到 Mimir 集群中,以实现大规模、长期存储。 这种集成利用了 Prometheus 成熟的标准,允许用户将 Telegraf 广泛的数据收集功能与 Mimir 的高级功能(如查询联合、多租户、高可用性和经济高效的存储)相结合。 Grafana Mimir 的架构经过优化,可处理大量指标数据并提供快速查询响应,使其成为复杂监控环境和分布式系统的理想选择。

配置

Docker

[[inputs.docker]]
  ## Docker Endpoint
  ##   To use TCP, set endpoint = "tcp://[ip]:[port]"
  ##   To use environment variables (ie, docker-machine), set endpoint = "ENV"
  endpoint = "unix:///var/run/docker.sock"

  ## Set to true to collect Swarm metrics(desired_replicas, running_replicas)
  ## Note: configure this in one of the manager nodes in a Swarm cluster.
  ## configuring in multiple Swarm managers results in duplication of metrics.
  gather_services = false

  ## Only collect metrics for these containers. Values will be appended to
  ## container_name_include.
  ## Deprecated (1.4.0), use container_name_include
  container_names = []

  ## Set the source tag for the metrics to the container ID hostname, eg first 12 chars
  source_tag = false

  ## Containers to include and exclude. Collect all if empty. Globs accepted.
  container_name_include = []
  container_name_exclude = []

  ## Container states to include and exclude. Globs accepted.
  ## When empty only containers in the "running" state will be captured.
  # container_state_include = []
  # container_state_exclude = []

  ## Objects to include for disk usage query
  ## Allowed values are "container", "image", "volume" 
  ## When empty disk usage is excluded
  storage_objects = []

  ## Timeout for docker list, info, and stats commands
  timeout = "5s"

  ## Whether to report for each container per-device blkio (8:0, 8:1...),
  ## network (eth0, eth1, ...) and cpu (cpu0, cpu1, ...) stats or not.
  ## Usage of this setting is discouraged since it will be deprecated in favor of 'perdevice_include'.
  ## Default value is 'true' for backwards compatibility, please set it to 'false' so that 'perdevice_include' setting
  ## is honored.
  perdevice = true

  ## Specifies for which classes a per-device metric should be issued
  ## Possible values are 'cpu' (cpu0, cpu1, ...), 'blkio' (8:0, 8:1, ...) and 'network' (eth0, eth1, ...)
  ## Please note that this setting has no effect if 'perdevice' is set to 'true'
  # perdevice_include = ["cpu"]

  ## Whether to report for each container total blkio and network stats or not.
  ## Usage of this setting is discouraged since it will be deprecated in favor of 'total_include'.
  ## Default value is 'false' for backwards compatibility, please set it to 'true' so that 'total_include' setting
  ## is honored.
  total = false

  ## Specifies for which classes a total metric should be issued. Total is an aggregated of the 'perdevice' values.
  ## Possible values are 'cpu', 'blkio' and 'network'
  ## Total 'cpu' is reported directly by Docker daemon, and 'network' and 'blkio' totals are aggregated by this plugin.
  ## Please note that this setting has no effect if 'total' is set to 'false'
  # total_include = ["cpu", "blkio", "network"]

  ## docker labels to include and exclude as tags.  Globs accepted.
  ## Note that an empty array for both will include all labels as tags
  docker_label_include = []
  docker_label_exclude = []

  ## Which environment variables should we use as a tag
  tag_env = ["JAVA_HOME", "HEAP_SIZE"]

  ## Optional TLS Config
  # tls_ca = "/etc/telegraf/ca.pem"
  # tls_cert = "/etc/telegraf/cert.pem"
  # tls_key = "/etc/telegraf/key.pem"
  ## Use TLS but skip chain & host verification
  # insecure_skip_verify = false

Mimir

[[outputs.http]]
  url = "http://data-load-balancer-backend-1:9009/api/v1/push"
  data_format = "prometheusremotewrite"
  username = "*****"
  password = "******"
  [outputs.http.headers]
     Content-Type = "application/x-protobuf"
     Content-Encoding = "snappy"
     X-Scope-OrgID = "****"

输入和输出集成示例

Docker

  1. 监控容器化应用程序的性能: 使用 Docker 输入插件来跟踪 Docker 容器中运行的应用程序的 CPU、内存、磁盘 I/O 和网络活动。 通过收集这些指标,DevOps 团队可以主动管理资源分配、排除性能瓶颈并确保跨不同环境的最佳应用程序性能。

  2. 与 Kubernetes 集成: 利用此插件来收集由 Kubernetes 编排的 Docker 容器的指标。 通过过滤掉不必要的 Kubernetes 标签并专注于关键指标,团队可以简化其监控解决方案并创建仪表板,从而深入了解 Kubernetes 集群中运行的微服务的整体运行状况。

  3. 容量规划和资源优化: 使用 Docker 输入插件收集的指标来执行 Docker 部署的容量规划。 分析使用模式有助于识别未充分利用的资源和过度配置的容器,从而指导根据实际使用趋势扩展或缩减的决策。

  4. 容器异常的自动警报: 根据通过 Docker 插件收集的指标设置警报规则,以通知团队资源使用异常峰值或服务中断。 这种主动监控方法有助于维护服务可靠性并优化容器化应用程序的性能。

Mimir

  1. 企业级 Kubernetes 监控: 将 Telegraf 与 Grafana Mimir 集成,以企业级规模从 Kubernetes 集群流式传输指标。 这实现了全面的可见性、改进的资源分配以及跨数百个集群的主动故障排除,从而利用了 Mimir 的横向可扩展性和高可用性。

  2. 多租户 SaaS 应用程序可观测性: 使用此插件将来自不同 SaaS 租户的指标集中到 Grafana Mimir 中,从而实现租户隔离和基于资源使用情况的准确计费。 这种方法提供可靠的可观测性、高效的成本管理和安全的多租户支持。

  3. 全球边缘网络性能跟踪: 将来自全球分布式边缘服务器的延迟和可用性指标流式传输到 Grafana Mimir 中。 组织可以快速识别性能下降或中断,从而利用 Mimir 的快速查询功能来确保最佳服务可靠性和用户体验。

  4. 高容量微服务的实时分析: 在高容量微服务架构中实施 Telegraf 指标收集,将数据馈送到 Grafana Mimir 以进行实时分析和异常检测。 Mimir 强大的查询功能使团队能够检测异常并快速响应,从而保持高服务可用性和性能。

反馈

感谢您成为我们社区的一份子! 如果您有任何一般性反馈或在这些页面上发现了任何错误,我们欢迎并鼓励您提出意见。 请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。 当您将任何数据视为时间序列数据时,它都更有价值。 InfluxDB 是排名第一的时间序列平台,旨在通过 Telegraf 进行扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。 它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许根据这些消息创建指标。 它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。 它支持多种输入数据格式,并提供带有 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成