Ceph 和 Graylog 集成

强大性能,轻松集成,由 InfluxData 构建的开源数据连接器 Telegraf 驱动。

info

对于大规模实时查询,这不是推荐的配置。为了进行查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Ceph 和 InfluxDB

5B+

Telegraf 下载量

#1

时序数据库
来源:DB Engines

1B+

InfluxDB 下载量

2,800+

贡献者

目录

强大性能,无限扩展

收集、组织和处理海量高速数据。当您将任何数据视为时序数据时,它会更有价值。InfluxDB 是排名第一的时序平台,旨在与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

Telegraf 的 Ceph 插件有助于从 Ceph 存储集群中的 MON 和 OSD 节点收集性能指标,以实现有效的监控和管理。

Graylog 插件允许您将 Telegraf 指标发送到 Graylog 服务器,利用 GELF 格式进行结构化日志记录。

集成详情

Ceph

Ceph Storage Telegraf 插件旨在从 Ceph 存储集群中的 Monitor (MON) 和 Object Storage Daemon (OSD) 节点收集性能指标。Ceph 是一种高度可扩展的存储系统,通过此插件集成其指标收集,从而方便地监控其组件。随着 13.x Mimic 版本中引入此插件,用户可以有效地收集有关其 Ceph 基础设施性能和运行状况的详细见解。它的工作原理是扫描配置的套接字目录以查找特定的 Ceph 服务套接字文件,通过 Ceph 管理界面执行命令,并解析返回的 JSON 数据以获取指标。指标根据顶层键组织,从而可以有效地监控和分析集群性能。此插件通过允许管理员了解系统行为并主动识别潜在问题,为管理和维护 Ceph 集群的性能提供了宝贵的功能。

Graylog

Graylog 插件旨在用于使用 GELF(Graylog 扩展日志格式)格式将指标发送到 Graylog 实例。GELF 有助于标准化日志记录数据,使系统更轻松地发送和分析日志。该插件遵循 GELF 规范,该规范规定了有效负载中特定字段的要求。值得注意的是,时间戳必须为 UNIX 格式,如果存在,插件会将时间戳原样发送到 Graylog,而无需进行更改。如果省略,它会自动生成时间戳。此外,任何规范中未明确定义的额外字段都将以划线为前缀,这有助于保持数据井井有条并符合 GELF 的要求。此功能对于实时监控应用程序和基础设施的用户尤其有价值,因为它允许跨多个系统进行无缝集成并提高可见性。

配置

Ceph

[[inputs.ceph]]
  ## This is the recommended interval to poll. Too frequent and you
  ## will lose data points due to timeouts during rebalancing and recovery
  interval = '1m'

  ## All configuration values are optional, defaults are shown below

  ## location of ceph binary
  ceph_binary = "/usr/bin/ceph"

  ## directory in which to look for socket files
  socket_dir = "/var/run/ceph"

  ## prefix of MON and OSD socket files, used to determine socket type
  mon_prefix = "ceph-mon"
  osd_prefix = "ceph-osd"
  mds_prefix = "ceph-mds"
  rgw_prefix = "ceph-client"

  ## suffix used to identify socket files
  socket_suffix = "asok"

  ## Ceph user to authenticate as, ceph will search for the corresponding
  ## keyring e.g. client.admin.keyring in /etc/ceph, or the explicit path
  ## defined in the client section of ceph.conf for example:
  ##
  ##     [client.telegraf]
  ##         keyring = /etc/ceph/client.telegraf.keyring
  ##
  ## Consult the ceph documentation for more detail on keyring generation.
  ceph_user = "client.admin"

  ## Ceph configuration to use to locate the cluster
  ceph_config = "/etc/ceph/ceph.conf"

  ## Whether to gather statistics via the admin socket
  gather_admin_socket_stats = true

  ## Whether to gather statistics via ceph commands, requires ceph_user
  ## and ceph_config to be specified
  gather_cluster_stats = false

Graylog

[[outputs.graylog]]
  ## Endpoints for your graylog instances.
  servers = ["udp://127.0.0.1:12201"]

  ## Connection timeout.
  # timeout = "5s"

  ## The field to use as the GELF short_message, if unset the static string
  ## "telegraf" will be used.
  ##   example: short_message_field = "message"
  # short_message_field = ""

  ## According to GELF payload specification, additional fields names must be prefixed
  ## with an underscore. Previous versions did not prefix custom field 'name' with underscore.
  ## Set to true for backward compatibility.
  # name_field_no_prefix = false

  ## Connection retry options
  ## Attempt to connect to the endpoints if the initial connection fails.
  ## If 'false', Telegraf will give up after 3 connection attempt and will
  ## exit with an error. If set to 'true', the plugin will retry to connect
  ## to the unconnected endpoints infinitely.
  # connection_retry = false
  ## Time to wait between connection retry attempts.
  # connection_retry_wait_time = "15s"

  ## Optional TLS Config
  # tls_ca = "/etc/telegraf/ca.pem"
  # tls_cert = "/etc/telegraf/cert.pem"
  # tls_key = "/etc/telegraf/key.pem"
  ## Use TLS but skip chain & host verification
  # insecure_skip_verify = false

输入和输出集成示例

Ceph

  1. 动态监控仪表板:利用 Ceph 插件创建一个实时监控仪表板,以直观地表示 Ceph 集群的性能指标。通过将这些指标集成到集中式仪表板中,系统管理员可以立即深入了解存储基础设施的运行状况,这有助于在潜在问题升级之前快速识别和解决。

  2. 自动化警报系统:结合警报解决方案实施 Ceph 插件,以自动通知管理员 Ceph 集群内的性能下降或操作问题。通过定义关键指标的阈值,组织可以确保及时的响应操作,从而提高整体系统可靠性和性能。

  3. 性能基准测试:使用此插件收集的指标,在 Ceph 存储集群的不同配置或硬件设置中进行性能基准测试。此过程可以帮助组织识别可提高性能和资源利用率的最佳配置,从而促进更高效的存储环境。

  4. 容量规划和预测:将从 Ceph 存储插件收集的指标集成到更广泛的数据分析和报告工具中,以方便容量规划。通过分析历史指标,组织可以预测未来的利用率趋势,从而就有效扩展存储资源做出明智的决策。

Graylog

  1. 增强云应用程序的日志管理:使用 Graylog Telegraf 插件聚合来自跨多个服务器的云部署应用程序的日志。通过集成此插件,团队可以集中管理日志记录数据,从而更轻松地排除问题、监控应用程序性能并保持符合日志记录标准。

  2. 实时安全监控:利用 Graylog 插件收集安全相关的指标和日志并将其发送到 Graylog 服务器以进行实时分析。这使安全团队能够通过关联来自基础设施内各种来源的日志,快速识别异常、跟踪潜在的漏洞并及时响应事件。

  3. 动态警报和通知系统:实施 Graylog 插件以增强基础设施中的警报机制。通过将指标发送到 Graylog,团队可以根据日志模式或意外行为设置动态警报,从而实现主动监控和快速事件响应策略。

  4. 跨平台日志整合:使用 Graylog 插件来促进跨平台日志整合,跨越本地部署、混合和云等多样化环境。通过以 GELF 格式标准化日志记录,组织可以确保一致的监控和故障排除实践,无论其服务托管在何处。

反馈

感谢您成为我们社区的一份子!如果您有任何一般性反馈或在这些页面上发现任何错误,我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。

强大性能,无限扩展

收集、组织和处理海量高速数据。当您将任何数据视为时序数据时,它会更有价值。InfluxDB 是排名第一的时序平台,旨在与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许基于这些消息创建指标。它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。它支持多种输入数据格式,并提供使用 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成