Ceph 和 Thanos 集成

强大的性能和简单的集成,由 InfluxData 构建的开源数据连接器 Telegraf 提供支持。

info

对于大规模实时查询,这不是推荐的配置。为了进行查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Ceph 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时序数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。当您将任何数据视为时序数据时,它都更有价值。使用 InfluxDB,排名第一的时序平台,旨在通过 Telegraf 进行扩展。

查看入门方法

输入和输出集成概述

Telegraf 的 Ceph 插件有助于收集 Ceph 存储集群中 MON 和 OSD 节点的性能指标,以实现有效的监控和管理。

此插件使用 Prometheus 远程写入协议通过 HTTP 将指标从 Telegraf 发送到 Thanos,从而实现高效且可扩展地摄取到 Thanos Receive 组件中。

集成详情

Ceph

Ceph Storage Telegraf 插件旨在收集 Ceph 存储集群中 Monitor (MON) 和 Object Storage Daemon (OSD) 节点的性能指标。 Ceph 是一种高度可扩展的存储系统,通过此插件集成其指标收集,从而方便地监控其组件。随着 13.x Mimic 版本中引入此插件,用户可以有效地收集有关其 Ceph 基础设施的性能和运行状况的详细见解。它的工作原理是扫描配置的套接字目录以查找特定的 Ceph 服务套接字文件,通过 Ceph 管理界面执行命令,并解析返回的 JSON 数据以获取指标。指标基于顶级键进行组织,从而可以有效地监控和分析集群性能。通过允许管理员了解系统行为并主动识别潜在问题,此插件为管理和维护 Ceph 集群的性能提供了有价值的功能。

Thanos

Telegraf 的 HTTP 插件可以通过其 Remote Write 兼容的 Receive 组件将指标直接发送到 Thanos。通过将数据格式设置为 prometheusremotewrite,Telegraf 可以将指标序列化为本机 Prometheus 客户端使用的相同基于 protobuf 的格式。此设置实现了高吞吐量、低延迟的指标摄取到 Thanos 中,从而促进了大规模的集中式可观测性。这在混合环境中尤其有用,在混合环境中,Telegraf 从 Prometheus 原生范围之外的系统(例如 SNMP 设备、Windows 主机或自定义应用程序)收集指标,并将它们直接流式传输到 Thanos 以进行长期存储和全局查询。

配置

Ceph

[[inputs.ceph]]
  ## This is the recommended interval to poll. Too frequent and you
  ## will lose data points due to timeouts during rebalancing and recovery
  interval = '1m'

  ## All configuration values are optional, defaults are shown below

  ## location of ceph binary
  ceph_binary = "/usr/bin/ceph"

  ## directory in which to look for socket files
  socket_dir = "/var/run/ceph"

  ## prefix of MON and OSD socket files, used to determine socket type
  mon_prefix = "ceph-mon"
  osd_prefix = "ceph-osd"
  mds_prefix = "ceph-mds"
  rgw_prefix = "ceph-client"

  ## suffix used to identify socket files
  socket_suffix = "asok"

  ## Ceph user to authenticate as, ceph will search for the corresponding
  ## keyring e.g. client.admin.keyring in /etc/ceph, or the explicit path
  ## defined in the client section of ceph.conf for example:
  ##
  ##     [client.telegraf]
  ##         keyring = /etc/ceph/client.telegraf.keyring
  ##
  ## Consult the ceph documentation for more detail on keyring generation.
  ceph_user = "client.admin"

  ## Ceph configuration to use to locate the cluster
  ceph_config = "/etc/ceph/ceph.conf"

  ## Whether to gather statistics via the admin socket
  gather_admin_socket_stats = true

  ## Whether to gather statistics via ceph commands, requires ceph_user
  ## and ceph_config to be specified
  gather_cluster_stats = false

Thanos

[[outputs.http]]
  ## Thanos Receive endpoint for remote write
  url = "http://thanos-receive.example.com/api/v1/receive"

  ## HTTP method
  method = "POST"

  ## Data format set to Prometheus remote write
  data_format = "prometheusremotewrite"

  ## Optional headers (authorization, etc.)
  # [outputs.http.headers]
  #   Authorization = "Bearer YOUR_TOKEN"

  ## Optional TLS configuration
  # tls_ca = "/path/to/ca.pem"
  # tls_cert = "/path/to/cert.pem"
  # tls_key = "/path/to/key.pem"
  # insecure_skip_verify = false

  ## Request timeout
  timeout = "10s"

输入和输出集成示例

Ceph

  1. 动态监控仪表板:利用 Ceph 插件创建实时监控仪表板,以可视化表示 Ceph 集群的性能指标。通过将这些指标集成到集中式仪表板中,系统管理员可以立即深入了解存储基础设施的运行状况,这有助于在潜在问题升级之前快速识别和解决它们。

  2. 自动化警报系统:将 Ceph 插件与警报解决方案结合使用,以自动通知管理员 Ceph 集群内的性能下降或操作问题。通过为关键指标定义阈值,组织可以确保及时的响应措施,从而提高整体系统可靠性和性能。

  3. 性能基准测试:使用此插件收集的指标对 Ceph 存储集群的不同配置或硬件设置进行性能基准测试。此过程可以帮助组织识别优化性能和资源利用率的最佳配置,从而促进更高效的存储环境。

  4. 容量规划和预测:将从 Ceph 存储插件收集的指标集成到更广泛的数据分析和报告工具中,以促进容量规划。通过分析历史指标,组织可以预测未来的利用率趋势,从而就有效扩展存储资源做出明智的决策。

Thanos

  1. 无代理云监控:在云虚拟机上部署 Telegraf 代理以收集系统和应用程序指标,然后使用 Remote Write 将它们直接流式传输到 Thanos 中。这提供了集中式可观测性,而无需在每个位置都部署 Prometheus 节点。

  2. 可扩展的 Windows 主机监控:在 Windows 机器上使用 Telegraf 收集操作系统级别的指标,并通过 Remote Write 将它们发送到 Thanos Receive。这实现了跨异构环境的可观测性,而原生 Prometheus 仅在 Linux 上受支持。

  3. 跨区域指标联合:多个地理区域中的 Telegraf 代理可以使用此插件将数据推送到区域本地的 Thanos Receivers。从那里,Thanos 可以全局去重和查询指标,从而减少延迟和网络出口成本。

  4. 将第三方数据集成到 Thanos 中:使用 Telegraf 输入从自定义遥测源(例如 REST API 或专有日志)收集指标,并通过 Remote Write 将它们转发到 Thanos。这会将非原生数据带入 Prometheus 兼容的长期分析管道中。

反馈

感谢您成为我们社区的一份子!如果您有任何一般性反馈或在这些页面上发现了任何错误,我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。当您将任何数据视为时序数据时,它都更有价值。使用 InfluxDB,排名第一的时序平台,旨在通过 Telegraf 进行扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许基于这些消息创建指标。它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。它支持多种输入数据格式,并提供带有 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成