OpenTelemetry 和 MySQL 集成

通过 Telegraf(由 InfluxData 构建的开源数据连接器)提供支持,实现强大的性能和简单的集成。

info

这不是实时大规模查询的推荐配置。为了实现查询和压缩优化、高速摄取和高可用性,您可能需要考虑OpenTelemetry 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时间序列数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都会变得更有价值。InfluxDB 是排名第一的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

此插件通过 gRPC 接收来自 OpenTelemetry 客户端和代理的跟踪、指标和日志,从而实现对应用程序的全面可观测性。

Telegraf SQL 插件允许您将来自 Telegraf 的指标直接存储到 MySQL 数据库中,从而更轻松地分析和可视化收集的指标。

集成详情

OpenTelemetry

OpenTelemetry 插件旨在通过 gRPC 接收来自客户端和代理的遥测数据,例如跟踪、指标和日志,这些客户端和代理实施了 OpenTelemetry。此插件启动一个 gRPC 服务,监听传入的遥测数据,这使其与在定义的间隔收集指标的标准插件不同。OpenTelemetry 生态系统通过提供一种供应商中立的方式来检测、生成、收集和导出遥测数据,从而帮助开发人员观察和了解其应用程序的性能。此插件的主要功能包括可自定义的连接超时、传入数据的可调整最大消息大小,以及用于指定跨度、日志和配置文件维度以标记传入指标的选项。凭借这种灵活性,组织可以定制其遥测数据收集,以满足精确的可观测性要求,并确保数据无缝集成到 InfluxDB 等系统中。

MySQL

Telegraf 的 SQL 输出插件旨在通过基于传入指标动态创建表和列,将指标数据无缝写入 SQL 数据库。当配置为 MySQL 时,该插件利用 go-sql-driver/mysql,这需要启用 ANSI_QUOTES SQL 模式,以确保正确处理带引号的标识符。这种动态模式创建方法确保每个指标都存储在自己的表中,其结构源自其字段和标签,从而提供系统性能的详细时间戳记录。该插件的灵活性使其能够处理高吞吐量环境,使其非常适合需要强大、精细的指标日志记录和历史数据分析的场景。

配置

OpenTelemetry

[[inputs.opentelemetry]]
  ## Override the default (0.0.0.0:4317) destination OpenTelemetry gRPC service
  ## address:port
  # service_address = "0.0.0.0:4317"

  ## Override the default (5s) new connection timeout
  # timeout = "5s"

  ## gRPC Maximum Message Size
  # max_msg_size = "4MB"

  ## Override the default span attributes to be used as line protocol tags.
  ## These are always included as tags:
  ## - trace ID
  ## - span ID
  ## Common attributes can be found here:
  ## - https://github.com/open-telemetry/opentelemetry-collector/tree/main/semconv
  # span_dimensions = ["service.name", "span.name"]

  ## Override the default log record attributes to be used as line protocol tags.
  ## These are always included as tags, if available:
  ## - trace ID
  ## - span ID
  ## Common attributes can be found here:
  ## - https://github.com/open-telemetry/opentelemetry-collector/tree/main/semconv
  ## When using InfluxDB for both logs and traces, be certain that log_record_dimensions
  ## matches the span_dimensions value.
  # log_record_dimensions = ["service.name"]

  ## Override the default profile attributes to be used as line protocol tags.
  ## These are always included as tags, if available:
  ## - profile_id
  ## - address
  ## - sample
  ## - sample_name
  ## - sample_unit
  ## - sample_type
  ## - sample_type_unit
  ## Common attributes can be found here:
  ## - https://github.com/open-telemetry/opentelemetry-collector/tree/main/semconv
  # profile_dimensions = []

  ## Override the default (prometheus-v1) metrics schema.
  ## Supports: "prometheus-v1", "prometheus-v2"
  ## For more information about the alternatives, read the Prometheus input
  ## plugin notes.
  # metrics_schema = "prometheus-v1"

  ## Optional TLS Config.
  ## For advanced options: https://github.com/influxdata/telegraf/blob/v1.18.3/docs/TLS.md
  ##
  ## Set one or more allowed client CA certificate file names to
  ## enable mutually authenticated TLS connections.
  # tls_allowed_cacerts = ["/etc/telegraf/clientca.pem"]
  ## Add service certificate and key.
  # tls_cert = "/etc/telegraf/cert.pem"
  # tls_key = "/etc/telegraf/key.pem"

MySQL

[[outputs.sql]]
  ## Database driver
  ## Valid options: mssql (Microsoft SQL Server), mysql (MySQL), pgx (Postgres),
  ##  sqlite (SQLite3), snowflake (snowflake.com) clickhouse (ClickHouse)
  driver = "mysql"

  ## Data source name
  ## The format of the data source name is different for each database driver.
  ## See the plugin readme for details.
  data_source_name = "username:password@tcp(host:port)/dbname"

  ## Timestamp column name
  timestamp_column = "timestamp"

  ## Table creation template
  ## Available template variables:
  ##  {TABLE} - table name as a quoted identifier
  ##  {TABLELITERAL} - table name as a quoted string literal
  ##  {COLUMNS} - column definitions (list of quoted identifiers and types)
  table_template = "CREATE TABLE {TABLE}({COLUMNS})"

  ## Table existence check template
  ## Available template variables:
  ##  {TABLE} - tablename as a quoted identifier
  table_exists_template = "SELECT 1 FROM {TABLE} LIMIT 1"

  ## Initialization SQL
  init_sql = "SET sql_mode='ANSI_QUOTES';"

  ## Maximum amount of time a connection may be idle. "0s" means connections are
  ## never closed due to idle time.
  connection_max_idle_time = "0s"

  ## Maximum amount of time a connection may be reused. "0s" means connections
  ## are never closed due to age.
  connection_max_lifetime = "0s"

  ## Maximum number of connections in the idle connection pool. 0 means unlimited.
  connection_max_idle = 2

  ## Maximum number of open connections to the database. 0 means unlimited.
  connection_max_open = 0

  ## NOTE: Due to the way TOML is parsed, tables must be at the END of the
  ## plugin definition, otherwise additional config options are read as part of the
  ## table

  ## Metric type to SQL type conversion
  ## The values on the left are the data types Telegraf has and the values on
  ## the right are the data types Telegraf will use when sending to a database.
  ##
  ## The database values used must be data types the destination database
  ## understands. It is up to the user to ensure that the selected data type is
  ## available in the database they are using. Refer to your database
  ## documentation for what data types are available and supported.
  #[outputs.sql.convert]
  #  integer              = "INT"
  #  real                 = "DOUBLE"
  #  text                 = "TEXT"
  #  timestamp            = "TIMESTAMP"
  #  defaultvalue         = "TEXT"
  #  unsigned             = "UNSIGNED"
  #  bool                 = "BOOL"
  #  ## This setting controls the behavior of the unsigned value. By default the
  #  ## setting will take the integer value and append the unsigned value to it. The other
  #  ## option is "literal", which will use the actual value the user provides to
  #  ## the unsigned option. This is useful for a database like ClickHouse where
  #  ## the unsigned value should use a value like "uint64".
  #  # conversion_style = "unsigned_suffix"

输入和输出集成示例

OpenTelemetry

  1. 跨服务统一监控:使用 OpenTelemetry 插件收集和整合 Kubernetes 环境中各种微服务的遥测数据。通过使用 OpenTelemetry 检测每个服务,您可以利用此插件收集应用程序性能和依赖关系的整体视图,从而更快地排除故障并提高复杂系统的可靠性。

  2. 通过跟踪增强调试:实施此插件以捕获流经多个服务的请求的端到端跟踪。例如,当用户发起一个事务,该事务触发多个后端服务时,OpenTelemetry 插件可以记录详细的跟踪,突出显示性能瓶颈,从而为开发人员提供调试问题和优化代码所需的见解。

  3. 动态负载测试和性能监控:在负载测试阶段利用此插件的功能,通过在模拟更高负载下收集实时指标和跟踪。此方法有助于评估应用程序组件的弹性,并主动识别潜在的性能下降,从而确保在生产中获得流畅的用户体验。

  4. 用于实时监控的集成日志记录和指标:将 OpenTelemetry 插件与日志记录框架结合使用,以收集实时日志以及指标数据,从而创建一个强大的可观测性平台。例如,将其集成到 CI/CD 管道中以监控构建和部署,同时收集有助于实时诊断故障或性能问题的日志。

MySQL

  1. 实时 Web 分析存储:利用该插件捕获网站性能指标,并将它们存储在 MySQL 中。这种设置使团队能够监控用户交互、分析流量模式,并根据实时数据洞察动态调整站点功能。

  2. 物联网设备监控:利用该插件从物联网传感器网络收集指标,并将它们记录到 MySQL 数据库中。此用例支持对设备健康状况和性能的持续监控,从而实现预测性维护和对异常的即时响应。

  3. 金融交易日志记录:记录具有精确时间戳的高频金融交易数据。这种方法支持强大的审计跟踪、实时欺诈检测以及全面的历史分析,以用于合规性和报告目的。

  4. 应用程序性能基准测试:将该插件与应用程序性能监控系统集成,以将指标记录到 MySQL 中。这有助于随着时间的推移进行详细的基准测试和趋势分析,使组织能够有效地识别性能瓶颈并优化资源分配。

反馈

感谢您成为我们社区的一份子!如果您有任何一般性反馈或在这些页面上发现任何错误,我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都会变得更有价值。InfluxDB 是排名第一的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许基于这些消息创建指标。它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。它支持多种输入数据格式,并提供使用 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成