Google Cloud Storage 和 Graylog 集成

强大的性能和简单的集成,由 Telegraf 和 InfluxData 构建的开源数据连接器提供支持。

info

对于大规模实时查询,这不是推荐的配置。 为了进行查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Google Cloud Storage 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时序数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大性能,无限扩展

收集、组织和处理海量高速数据。 当您将任何数据视为时序数据时,它都会更有价值。 借助 InfluxDB,这个排名第一的时序平台可以与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

Google Cloud Storage 插件从指定的 Google Cloud Storage 存储桶中收集指标,从而深入了解存储使用情况和性能。

Graylog 插件允许您将 Telegraf 指标发送到 Graylog 服务器,利用 GELF 格式进行结构化日志记录。

集成详情

Google Cloud Storage

Google Cloud Storage Telegraf 插件能够从指定的 Google Cloud Storage 存储桶中收集指标。 随着组织越来越依赖云存储解决方案进行数据管理,监控这些资源的性能和利用率的能力变得至关重要。 此插件对于跟踪存储的使用方式、了解数据模式以及确保运营效率特别有用。 通过与 Google Cloud Storage API 集成,它允许用户从其云环境中收集见解,并将指标直接馈送到监控系统以进行进一步分析。 该插件支持各种配置选项,使用户能够根据其特定需求自定义数据收集过程。

Graylog

Graylog 插件旨在用于使用 GELF(Graylog Extended Log Format)格式将指标发送到 Graylog 实例。 GELF 有助于标准化日志记录数据,使系统更易于发送和分析日志。 该插件遵循 GELF 规范,该规范规定了有效负载中特定字段的要求。 值得注意的是,时间戳必须采用 UNIX 格式,如果存在,插件会将时间戳原封不动地发送到 Graylog,而不会进行更改。 如果省略,它会自动生成时间戳。 此外,规范中未明确定义的任何额外字段都将以划线为前缀,这有助于保持数据井井有条并符合 GELF 的要求。 这种功能对于实时监控应用程序和基础设施的用户尤其有价值,因为它允许跨多个系统进行无缝集成和改进的可视性。

配置

Google Cloud Storage

[[inputs.google_cloud_storage]]
  bucket = "my-bucket"
  # key_prefix = "my-bucket"
  offset_key = "offset_key"
  objects_per_iteration = 10
  data_format = "influx"
  # credentials_file = "path/to/my/creds.json"

Graylog

[[outputs.graylog]]
  ## Endpoints for your graylog instances.
  servers = ["udp://127.0.0.1:12201"]

  ## Connection timeout.
  # timeout = "5s"

  ## The field to use as the GELF short_message, if unset the static string
  ## "telegraf" will be used.
  ##   example: short_message_field = "message"
  # short_message_field = ""

  ## According to GELF payload specification, additional fields names must be prefixed
  ## with an underscore. Previous versions did not prefix custom field 'name' with underscore.
  ## Set to true for backward compatibility.
  # name_field_no_prefix = false

  ## Connection retry options
  ## Attempt to connect to the endpoints if the initial connection fails.
  ## If 'false', Telegraf will give up after 3 connection attempt and will
  ## exit with an error. If set to 'true', the plugin will retry to connect
  ## to the unconnected endpoints infinitely.
  # connection_retry = false
  ## Time to wait between connection retry attempts.
  # connection_retry_wait_time = "15s"

  ## Optional TLS Config
  # tls_ca = "/etc/telegraf/ca.pem"
  # tls_cert = "/etc/telegraf/cert.pem"
  # tls_key = "/etc/telegraf/key.pem"
  ## Use TLS but skip chain & host verification
  # insecure_skip_verify = false

输入和输出集成示例

Google Cloud Storage

  1. 自动化备份监控: 利用 Google Cloud Storage 插件定期监控存储在 Cloud Storage 存储桶中的备份文件的状态。 通过配置插件来跟踪文件指标,组织可以自动执行警报,以便在备份大小偏离预期模式时发出警报,从而确保数据保护流程正常运行并及时解决任何异常情况。

  2. 成本优化洞察: 将此插件集成到成本管理工具中,以分析 Cloud Storage 的使用模式。 通过收集有关文件大小和访问频率的指标,团队可以优化其存储解决方案,并就数据保留策略做出明智的决策,从而可能降低不必要的存储成本并改善资源分配。

  3. 合规性和审计: 使用该插件生成有助于验证存储在 Google Cloud Storage 中的数据是否合规的指标。 通过提供有关数据访问和存储使用情况的详细见解,组织可以确保遵守法规要求,从而帮助进行审计并符合数据治理的最佳实践。

  4. 性能基准测试: 部署该插件以对 Google Cloud Storage 中数据检索和存储操作的性能进行基准测试。 通过随时间推移分析指标,团队可以识别性能瓶颈或效率低下问题,从而优化依赖云存储服务的应用程序和基础设施。

Graylog

  1. 增强云应用程序的日志管理: 使用 Graylog Telegraf 插件聚合来自跨多个服务器的云部署应用程序的日志。 通过集成此插件,团队可以集中化日志记录数据,从而更轻松地解决问题、监控应用程序性能并保持符合日志记录标准。

  2. 实时安全监控: 利用 Graylog 插件收集安全相关的指标和日志,并将其发送到 Graylog 服务器以进行实时分析。 这使安全团队能够通过关联基础设施内各种来源的日志,快速识别异常情况、跟踪潜在的漏洞并及时响应事件。

  3. 动态警报和通知系统: 实施 Graylog 插件以增强基础设施中的警报机制。 通过将指标发送到 Graylog,团队可以根据日志模式或意外行为设置动态警报,从而实现主动监控和快速事件响应策略。

  4. 跨平台日志整合: 使用 Graylog 插件来促进跨平台日志整合,跨越本地、混合和云等多样化环境。 通过以 GELF 格式标准化日志记录,组织可以确保一致的监控和故障排除实践,无论其服务托管在何处。

反馈

感谢您成为我们社区的一份子! 如果您有任何一般性反馈或在这些页面上发现了任何错误,我们欢迎并鼓励您提出意见。 请在 InfluxDB 社区 Slack 中提交您的反馈。

强大性能,无限扩展

收集、组织和处理海量高速数据。 当您将任何数据视为时序数据时,它都会更有价值。 借助 InfluxDB,这个排名第一的时序平台可以与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。 它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许基于这些消息创建指标。 它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。 它支持多种输入数据格式,并提供使用 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成