目录
输入和输出集成概述
Kinesis 插件使您能够从 Kinesis 数据流中读取数据,支持各种数据格式和配置。
此输出插件通过 HTTP 将来自 Telegraf 的指标直接流式传输到 ServiceNow MID Server,利用 nowmetric 序列化器与 ServiceNow 的 Operational Intelligence 和 Event Management 高效集成。
集成详情
Kinesis
Kinesis Telegraf 插件旨在从 Amazon Kinesis 数据流中读取数据,使用户能够实时收集指标。作为服务输入插件,它通过监听传入数据而不是定期轮询来运行。配置指定了各种选项,包括 AWS 区域、流名称、身份验证凭据和数据格式。它支持跟踪未送达的消息以防止数据丢失,用户可以利用 DynamoDB 来维护上次处理记录的检查点。此插件对于需要可靠且可扩展的流处理以及其他监控需求的应用程序特别有用。
ServiceNow
Telegraf 可用于将指标数据直接发送到 ServiceNow MID Server REST 端点。指标可以使用 ServiceNow 的 Operational Intelligence (OI) 格式或 JSONv2 格式进行格式化,从而实现与 ServiceNow 的 Event Management 和 Operational Intelligence 平台的无缝集成。序列化器有效地批量处理指标,通过最小化 HTTP POST 请求的数量来减少网络开销。这种集成允许用户在 ServiceNow 中快速利用指标,以增强可观察性、主动事件管理和性能监控,以及 ServiceNow 的运营智能功能。
配置
Kinesis
# Configuration for the AWS Kinesis input.
[[inputs.kinesis_consumer]]
## Amazon REGION of kinesis endpoint.
region = "ap-southeast-2"
## Amazon Credentials
## Credentials are loaded in the following order
## 1) Web identity provider credentials via STS if role_arn and web_identity_token_file are specified
## 2) Assumed credentials via STS if role_arn is specified
## 3) explicit credentials from 'access_key' and 'secret_key'
## 4) shared profile from 'profile'
## 5) environment variables
## 6) shared credentials file
## 7) EC2 Instance Profile
# access_key = ""
# secret_key = ""
# token = ""
# role_arn = ""
# web_identity_token_file = ""
# role_session_name = ""
# profile = ""
# shared_credential_file = ""
## Endpoint to make request against, the correct endpoint is automatically
## determined and this option should only be set if you wish to override the
## default.
## ex: endpoint_url = "http://localhost:8000"
# endpoint_url = ""
## Kinesis StreamName must exist prior to starting telegraf.
streamname = "StreamName"
## Shard iterator type (only 'TRIM_HORIZON' and 'LATEST' currently supported)
# shard_iterator_type = "TRIM_HORIZON"
## Max undelivered messages
## This plugin uses tracking metrics, which ensure messages are read to
## outputs before acknowledging them to the original broker to ensure data
## is not lost. This option sets the maximum messages to read from the
## broker that have not been written by an output.
##
## This value needs to be picked with awareness of the agent's
## metric_batch_size value as well. Setting max undelivered messages too high
## can result in a constant stream of data batches to the output. While
## setting it too low may never flush the broker's messages.
# max_undelivered_messages = 1000
## Data format to consume.
## Each data format has its own unique set of configuration options, read
## more about them here:
## https://github.com/influxdata/telegraf/blob/master/docs/DATA_FORMATS_INPUT.md
data_format = "influx"
##
## The content encoding of the data from kinesis
## If you are processing a cloudwatch logs kinesis stream then set this to "gzip"
## as AWS compresses cloudwatch log data before it is sent to kinesis (aws
## also base64 encodes the zip byte data before pushing to the stream. The base64 decoding
## is done automatically by the golang sdk, as data is read from kinesis)
##
# content_encoding = "identity"
## Optional
## Configuration for a dynamodb checkpoint
[inputs.kinesis_consumer.checkpoint_dynamodb]
## unique name for this consumer
app_name = "default"
table_name = "default"
ServiceNow
[[outputs.http]]
## ServiceNow MID Server metrics endpoint
url = "http://mid-server.example.com:9082/api/mid/sa/metrics"
## HTTP request method
method = "POST"
## Basic Authentication credentials
username = "evt.integration"
password = "P@$$w0rd!"
## Data serialization format for ServiceNow
data_format = "nowmetric"
## Metric format type: "oi" (default) or "jsonv2"
nowmetric_format = "oi"
## HTTP Headers
[outputs.http.headers]
Content-Type = "application/json"
Accept = "application/json"
## Optional timeout
# timeout = "5s"
## TLS configuration options
# tls_ca = "/etc/telegraf/ca.pem"
# tls_cert = "/etc/telegraf/cert.pem"
# tls_key = "/etc/telegraf/key.pem"
# insecure_skip_verify = false
输入和输出集成示例
Kinesis
-
使用 Kinesis 进行实时数据处理:此用例涉及将 Kinesis 插件与监控仪表板集成,以实时分析传入的数据指标。例如,应用程序可以从多个服务使用日志并在视觉上呈现它们,使运营团队能够快速识别趋势并在异常发生时做出反应。
-
无服务器日志聚合:在无服务器架构中使用此插件,其中 Kinesis 流聚合来自各种微服务的日志。该插件可以创建指标,帮助检测系统中的问题,通过第三方集成自动化警报流程,使团队能够最大限度地减少停机时间并提高可靠性。
-
基于流指标的动态扩展:实施一种解决方案,其中 Kinesis 插件使用的流指标可用于动态调整资源。例如,如果处理的记录数激增,则可以触发相应的向上扩展操作来处理增加的负载,从而确保最佳的资源分配和性能。
-
带有检查点的到 S3 的数据管道:创建一个强大的数据管道,其中 Kinesis 流数据通过 Telegraf Kinesis 插件处理,检查点存储在 DynamoDB 中。这种方法可以确保数据一致性和可靠性,因为它管理已处理数据的状态,从而实现与下游数据湖或存储解决方案的无缝集成。
ServiceNow
-
主动事件管理:利用 Telegraf 和 ServiceNow 集成,将基础设施和应用程序指标实时流式传输到 ServiceNow Event Management。根据阈值自动触发事件或修复工作流程,从而显着缩短事件检测和响应时间。
-
端到端应用程序监控:在应用程序堆栈的多个层部署 Telegraf 代理,将性能指标直接发送到 ServiceNow。利用 ServiceNow 的 Operational Intelligence,团队可以关联跨组件的指标,快速识别性能瓶颈。
-
动态 CI 性能跟踪:通过使用此插件推送性能数据,将 Telegraf 指标与 ServiceNow 的 CMDB 集成,从而可以根据实时指标自动更新配置项 (CI) 健康状态。这确保了 ServiceNow 中基础设施健康的准确和最新状态。
-
云资源优化:使用 Telegraf 从混合云和多云基础设施收集指标,直接流式传输到 ServiceNow。利用这些指标进行实时分析、预测性容量规划和资源优化,从而实现主动管理并降低运营成本。
反馈
感谢您成为我们社区的一份子!如果您有任何一般性反馈或在这些页面上发现了任何错误,我们欢迎并鼓励您提供意见。请在 InfluxDB 社区 Slack 中提交您的反馈。