目录
强大的性能,无限的扩展能力
收集、组织和处理海量高速数据。 当您将任何数据视为时间序列数据时,它会更有价值。 借助 InfluxDB,这是使用 Telegraf 构建的排名第一的时间序列平台,可进行扩展。
查看入门方法
输入和输出集成概述
NATS Consumer Input Plugin 实现了从 NATS 消息主题实时数据消费,无缝集成到 Telegraf 数据管道中,用于监控和指标收集。
Google BigQuery 插件允许 Telegraf 将指标写入 Google Cloud BigQuery,从而为遥测数据实现强大的数据分析功能。
集成详情
NATS
NATS Consumer Plugin 允许 Telegraf 从指定的 NATS 主题读取指标,并根据支持的输入数据格式创建指标。 使用队列组允许多个 Telegraf 实例并行地从 NATS 集群读取数据,从而提高吞吐量和可靠性。 此插件还支持各种身份验证方法,包括用户名/密码、NATS 凭据文件和 nkey 种子文件,确保与 NATS 服务器的安全通信。 由于 JetStream 等功能有助于使用历史消息,因此在数据持久性和消息可靠性至关重要的环境中,此插件特别有用。 此外,配置各种操作参数的能力使此插件适用于高吞吐量场景,同时保持性能完整性。
Google BigQuery
用于 Telegraf 的 Google BigQuery 插件实现了与 Google Cloud 的 BigQuery 服务的无缝集成,BigQuery 服务是一个流行的数据仓库和分析平台。 此插件有助于将 Telegraf 收集的指标传输到 BigQuery 数据集中,从而使用户可以更轻松地执行分析并从其遥测数据中生成见解。 它需要通过服务帐户或用户凭据进行身份验证,并且旨在处理各种数据类型,确保用户在 BigQuery 表中存储指标时可以维护其指标的完整性和准确性。 配置选项允许围绕数据集规范和处理指标进行自定义,包括管理指标名称中的连字符,BigQuery 流式插入不支持连字符。 对于利用 BigQuery 的可扩展性和强大查询功能来分析大量监控数据的组织,此插件特别有用。
配置
NATS
[[inputs.nats_consumer]]
## urls of NATS servers
servers = ["nats://localhost:4222"]
## subject(s) to consume
## If you use jetstream you need to set the subjects
## in jetstream_subjects
subjects = ["telegraf"]
## jetstream subjects
## jetstream is a streaming technology inside of nats.
## With jetstream the nats-server persists messages and
## a consumer can consume historical messages. This is
## useful when telegraf needs to restart it don't miss a
## message. You need to configure the nats-server.
## https://docs.nats.io/nats-concepts/jetstream.
jetstream_subjects = ["js_telegraf"]
## name a queue group
queue_group = "telegraf_consumers"
## Optional authentication with username and password credentials
# username = ""
# password = ""
## Optional authentication with NATS credentials file (NATS 2.0)
# credentials = "/etc/telegraf/nats.creds"
## Optional authentication with nkey seed file (NATS 2.0)
# nkey_seed = "/etc/telegraf/seed.txt"
## Use Transport Layer Security
# secure = false
## Optional TLS Config
# tls_ca = "/etc/telegraf/ca.pem"
# tls_cert = "/etc/telegraf/cert.pem"
# tls_key = "/etc/telegraf/key.pem"
## Use TLS but skip chain & host verification
# insecure_skip_verify = false
## Sets the limits for pending msgs and bytes for each subscription
## These shouldn't need to be adjusted except in very high throughput scenarios
# pending_message_limit = 65536
# pending_bytes_limit = 67108864
## Max undelivered messages
## This plugin uses tracking metrics, which ensure messages are read to
## outputs before acknowledging them to the original broker to ensure data
## is not lost. This option sets the maximum messages to read from the
## broker that have not been written by an output.
##
## This value needs to be picked with awareness of the agent's
## metric_batch_size value as well. Setting max undelivered messages too high
## can result in a constant stream of data batches to the output. While
## setting it too low may never flush the broker's messages.
# max_undelivered_messages = 1000
## Data format to consume.
## Each data format has its own unique set of configuration options, read
## more about them here:
## https://github.com/influxdata/telegraf/blob/master/docs/DATA_FORMATS_INPUT.md
data_format = "influx"
Google BigQuery
# Configuration for Google Cloud BigQuery to send entries
[[outputs.bigquery]]
## Credentials File
credentials_file = "/path/to/service/account/key.json"
## Google Cloud Platform Project
# project = ""
## The namespace for the metric descriptor
dataset = "telegraf"
## Timeout for BigQuery operations.
# timeout = "5s"
## Character to replace hyphens on Metric name
# replace_hyphen_to = "_"
## Write all metrics in a single compact table
# compact_table = ""
输入和输出集成示例
NATS
-
实时分析仪表板:利用 NATS 插件从各种 NATS 主题实时收集指标,并将它们馈送到集中式分析仪表板中。 此设置允许立即查看实时应用程序性能,使团队能够快速响应操作问题或性能下降。
-
分布式系统监控:在分布式架构中部署配置了 NATS 插件的多个 Telegraf 实例。 这种方法允许团队有效地聚合来自各种微服务的指标,从而提供系统健康状况和性能的整体视图,同时确保在传输过程中不会丢失任何消息。
-
历史消息恢复:结合此插件利用 NATS JetStream 的功能,在 Telegraf 重新启动后恢复和处理历史消息。 此功能对于需要高可靠性的应用程序特别有益,即使在服务中断的情况下,也能确保不会丢失任何关键指标。
-
动态负载均衡:实施动态负载均衡场景,其中 Telegraf 实例根据负载从 NATS 集群使用消息。 调整队列组设置以控制活动消费者的数量,从而在需求波动发生时实现更好的资源利用和性能扩展。
Google BigQuery
-
实时分析仪表板:利用 Google BigQuery 插件将实时指标馈送到 Google Cloud 上托管的自定义分析仪表板。 此设置将允许团队实时可视化性能数据,从而深入了解系统健康状况和使用模式。 通过使用 BigQuery 的查询功能,用户可以轻松创建量身定制的报告和仪表板,以满足其特定需求,从而增强决策过程。
-
成本管理和优化分析:利用该插件自动将来自各种服务的成本相关指标发送到 BigQuery。 分析此数据可以帮助企业识别不必要的费用并优化资源使用。 通过在 BigQuery 中执行聚合和转换查询,组织可以创建准确的预测并有效地管理其云支出。
-
跨团队协作处理监控数据:使组织内不同的团队能够使用 BigQuery 共享其监控数据。 借助此 Telegraf 插件,团队可以将其指标推送到中央 BigQuery 实例,从而促进协作。 这种数据共享方法鼓励最佳实践和跨职能意识,从而共同改进系统性能和可靠性。
-
用于容量规划的历史分析:通过使用 BigQuery 插件,公司可以收集和存储对容量规划至关重要的历史指标数据。 随着时间的推移分析趋势可以帮助预测系统需求并主动扩展基础设施。 组织可以创建时间序列分析并识别模式,从而为他们的长期战略决策提供信息。
反馈
感谢您成为我们社区的一份子! 如果您有任何一般性反馈或在这些页面上发现任何错误,我们欢迎并鼓励您提出意见。 请在 InfluxDB 社区 Slack 中提交您的反馈。
强大的性能,无限的扩展能力
收集、组织和处理海量高速数据。 当您将任何数据视为时间序列数据时,它会更有价值。 借助 InfluxDB,这是使用 Telegraf 构建的排名第一的时间序列平台,可进行扩展。
查看入门方法