Kubernetes 和 Graylog 集成

强大的性能和简单的集成,由 InfluxData 构建的开源数据连接器 Telegraf 提供支持。

info

对于大规模实时查询,这不是推荐的配置。为了查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Kubernetes 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时间序列数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它会更有价值。借助 InfluxDB,这是使用 Telegraf 构建的排名第一的时间序列平台,可进行扩展。

查看入门方法

输入和输出集成概述

此插件通过与 Kubelet API 通信来捕获 Kubernetes Pod 和容器的指标。

Graylog 插件允许您使用 GELF 格式的结构化日志将 Telegraf 指标发送到 Graylog 服务器。

集成详情

Kubernetes

Kubernetes 输入插件与 Kubelet API 接口,以收集在单个主机上运行的 Pod 和容器的指标,理想情况下,作为 Kubernetes 安装中的守护程序集的一部分。通过在集群中的每个节点上运行,它从本地运行的 kubelet 收集指标,确保数据反映环境的实时状态。作为一个快速发展的项目,Kubernetes 经常更新,此插件遵循主要云提供商支持的版本,在有限的时间跨度内保持跨多个版本的兼容性。需要特别注意的是潜在的高序列基数,这可能会给数据库带来负担;因此,建议用户实施过滤技术和保留策略来有效管理此负载。配置选项提供了插件行为的灵活自定义,以无缝集成到不同的设置中,从而增强其在 Kubernetes 环境监控中的实用性。

Graylog

Graylog 插件旨在用于使用 GELF(Graylog Extended Log Format)格式将指标发送到 Graylog 实例。GELF 有助于标准化日志记录数据,使系统更容易发送和分析日志。该插件遵循 GELF 规范,该规范规定了有效负载中特定字段的要求。值得注意的是,时间戳必须采用 UNIX 格式,如果存在,插件会将时间戳原样发送到 Graylog,而不会进行更改。如果省略,它会自动生成时间戳。此外,任何未由规范明确定义的额外字段都将以一个下划线作为前缀,这有助于保持数据井井有条并符合 GELF 的要求。此功能对于实时监控应用程序和基础设施的用户尤其有价值,因为它允许跨多个系统进行无缝集成和改进的可视性。

配置

Kubernetes

[[inputs.kubernetes]]
  ## URL for the kubelet, if empty read metrics from all nodes in the cluster
  url = "http://127.0.0.1:10255"

  ## Use bearer token for authorization. ('bearer_token' takes priority)
  ## If both of these are empty, we'll use the default serviceaccount:
  ## at: /var/run/secrets/kubernetes.io/serviceaccount/token
  ##
  ## To re-read the token at each interval, please use a file with the
  ## bearer_token option. If given a string, Telegraf will always use that
  ## token.
  # bearer_token = "/var/run/secrets/kubernetes.io/serviceaccount/token"
  ## OR
  # bearer_token_string = "abc_123"

  ## Kubernetes Node Metric Name
  ## The default Kubernetes node metric name (i.e. kubernetes_node) is the same
  ## for the kubernetes and kube_inventory plugins. To avoid conflicts, set this
  ## option to a different value.
  # node_metric_name = "kubernetes_node"

  ## Pod labels to be added as tags.  An empty array for both include and
  ## exclude will include all labels.
  # label_include = []
  # label_exclude = ["*"]

  ## Set response_timeout (default 5 seconds)
  # response_timeout = "5s"

  ## Optional TLS Config
  # tls_ca = /path/to/cafile
  # tls_cert = /path/to/certfile
  # tls_key = /path/to/keyfile
  ## Use TLS but skip chain & host verification
  # insecure_skip_verify = false

Graylog

[[outputs.graylog]]
  ## Endpoints for your graylog instances.
  servers = ["udp://127.0.0.1:12201"]

  ## Connection timeout.
  # timeout = "5s"

  ## The field to use as the GELF short_message, if unset the static string
  ## "telegraf" will be used.
  ##   example: short_message_field = "message"
  # short_message_field = ""

  ## According to GELF payload specification, additional fields names must be prefixed
  ## with an underscore. Previous versions did not prefix custom field 'name' with underscore.
  ## Set to true for backward compatibility.
  # name_field_no_prefix = false

  ## Connection retry options
  ## Attempt to connect to the endpoints if the initial connection fails.
  ## If 'false', Telegraf will give up after 3 connection attempt and will
  ## exit with an error. If set to 'true', the plugin will retry to connect
  ## to the unconnected endpoints infinitely.
  # connection_retry = false
  ## Time to wait between connection retry attempts.
  # connection_retry_wait_time = "15s"

  ## Optional TLS Config
  # tls_ca = "/etc/telegraf/ca.pem"
  # tls_cert = "/etc/telegraf/cert.pem"
  # tls_key = "/etc/telegraf/key.pem"
  ## Use TLS but skip chain & host verification
  # insecure_skip_verify = false

输入和输出集成示例

Kubernetes

  1. 动态资源分配监控:通过利用 Kubernetes 插件,团队可以为各种 Pod 和容器的资源使用模式设置警报。这种主动监控方法可以根据特定阈值自动扩展资源——有助于优化性能,同时最大限度地减少高峰使用期间的成本。

  2. 多租户资源隔离分析:使用 Kubernetes 的组织可以利用此插件来跟踪每个命名空间的资源消耗。在多租户场景中,了解不同团队之间的资源分配和使用情况对于确保公平访问和性能保证至关重要,从而实现更好的资源管理策略。

  3. 实时健康仪表板:将 Kubernetes 插件捕获的数据集成到 Grafana 等可视化工具中,以创建实时仪表板。这些仪表板提供对 Kubernetes 环境的整体健康状况和性能的洞察,使团队能够快速识别和纠正跨集群、Pod 和容器的问题。

  4. 自动化事件响应工作流程:通过将 Kubernetes 插件与警报管理系统相结合,团队可以根据实时指标自动化事件响应程序。如果 Pod 的资源使用量超过预定义限制,自动化工作流程可以触发补救措施,例如重启 Pod 或重新分配资源——所有这些都有助于提高系统弹性。

Graylog

  1. 增强云应用程序的日志管理:使用 Graylog Telegraf 插件聚合来自跨多个服务器部署的云应用程序的日志。通过集成此插件,团队可以集中日志记录数据,从而更轻松地排除问题、监控应用程序性能并保持符合日志记录标准。

  2. 实时安全监控:利用 Graylog 插件收集安全相关指标和日志并将其发送到 Graylog 服务器以进行实时分析。这使安全团队能够通过关联基础设施内各种来源的日志,快速识别异常、跟踪潜在的漏洞并及时响应事件。

  3. 动态警报和通知系统:实施 Graylog 插件以增强基础设施中的警报机制。通过将指标发送到 Graylog,团队可以根据日志模式或意外行为设置动态警报,从而实现主动监控和快速事件响应策略。

  4. 跨平台日志整合:使用 Graylog 插件来促进跨平台日志整合,跨越本地、混合和云等多样化环境。通过以 GELF 格式标准化日志记录,组织可以确保一致的监控和故障排除实践,无论其服务托管在哪里。

反馈

感谢您成为我们社区的一份子!如果您有任何一般反馈或在这些页面上发现了任何错误,我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它会更有价值。借助 InfluxDB,这是使用 Telegraf 构建的排名第一的时间序列平台,可进行扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许根据这些消息创建指标。它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。它支持多种输入数据格式,并提供使用 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成