MQTT 和 MariaDB 集成

借助 InfluxData 构建的开源数据连接器 Telegraf,实现强大性能和轻松集成。

info

对于大规模实时查询,这不是推荐的配置。为了实现查询和压缩优化、高速摄取和高可用性,您可能需要考虑MQTT 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时间序列数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大性能,无限扩展

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都会更有价值。借助 InfluxDB,这是 #1 的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

MQTT Telegraf 插件旨在从指定的 MQTT 主题读取数据并创建指标,从而使用户能够利用 MQTT 进行实时数据收集和监控。

此插件使用参数化的 SQL INSERT 语句将来自 Telegraf 的指标直接写入 MariaDB,从而提供了一种将指标存储在结构化关系表中的灵活方法。

集成详细信息

MQTT

MQTT 插件允许从指定的 MQTT 主题读取指标,并使用支持的输入数据格式创建指标。此插件作为服务输入运行,该服务输入侦听传入的指标或事件,而不是像普通插件一样按设定的时间间隔收集它们。该插件的灵活性通过支持各种代理 URL、主题和连接功能(包括服务质量 (QoS) 级别和持久会话)得到增强。其配置选项包含全局设置,以修改指标并有效处理启动错误。它还支持用于保护用户名和密码选项的密钥存储配置,从而确保与 MQTT 服务器的安全连接。

MariaDB

Telegraf 中的 SQL 输出插件通过执行参数化的 SQL 语句,能够将指标直接写入与 SQL 兼容的数据库(如 MariaDB)。通过对 MySQL 驱动程序的支持,该插件与 MariaDB 无缝集成,以实现可靠、结构化的指标存储。此设置非常适合喜欢基于 SQL 的分析或希望将指标与业务数据一起存储以进行统一查询的用户。MariaDB 是一个社区开发的、企业级的 MySQL 分支,它强调性能、安全性和开放性。该插件支持将时间序列指标插入到自定义架构中,从而实现灵活的分析,并使用 SQL 连接器与 Metabase 或 Grafana 等 BI 工具集成。

配置

MQTT


[[inputs.mqtt_consumer]]
  servers = ["tcp://127.0.0.1:1883"]
  topics = [
    "telegraf/host01/cpu",
    "telegraf/+/mem",
    "sensors/#",
  ]
  # topic_tag = "topic"
  # qos = 0
  # connection_timeout = "30s"
  # keepalive = "60s"
  # ping_timeout = "10s"
  # max_undelivered_messages = 1000
  # persistent_session = false
  # client_id = ""
  # username = "telegraf"
  # password = "metricsmetricsmetricsmetrics"
  # tls_ca = "/etc/telegraf/ca.pem"
  # tls_cert = "/etc/telegraf/cert.pem"
  # tls_key = "/etc/telegraf/key.pem"
  # insecure_skip_verify = false
  # client_trace = false
  data_format = "influx"
  # [[inputs.mqtt_consumer.topic_parsing]]
  #   topic = ""
  #   measurement = ""
  #   tags = ""
  #   fields = ""
  #   [inputs.mqtt_consumer.topic_parsing.types]
  #      key = type

MariaDB

[[outputs.sql]]
  ## Database driver
  ## Valid options: mssql (Microsoft SQL Server), mysql (MySQL), pgx (Postgres),
  ##  sqlite (SQLite3), snowflake (snowflake.com) clickhouse (ClickHouse)
  driver = "mysql"

  ## Data source name
  ## The format of the data source name is different for each database driver.
  ## See the plugin readme for details.
  data_source_name = "username:password@tcp(host:port)/dbname"

  ## Timestamp column name
  timestamp_column = "timestamp"

  ## Table creation template
  ## Available template variables:
  ##  {TABLE} - table name as a quoted identifier
  ##  {TABLELITERAL} - table name as a quoted string literal
  ##  {COLUMNS} - column definitions (list of quoted identifiers and types)
  table_template = "CREATE TABLE {TABLE}({COLUMNS})"

  ## SQL INSERT statement with placeholders. Telegraf will substitute values at runtime.
  ## table_template = "INSERT INTO metrics (timestamp, name, value, tags) VALUES (?, ?, ?, ?)"

  ## Table existence check template
  ## Available template variables:
  ##  {TABLE} - tablename as a quoted identifier
  table_exists_template = "SELECT 1 FROM {TABLE} LIMIT 1"

  ## Initialization SQL
  init_sql = "SET sql_mode='ANSI_QUOTES';"

  ## Maximum amount of time a connection may be idle. "0s" means connections are
  ## never closed due to idle time.
  connection_max_idle_time = "0s"

  ## Maximum amount of time a connection may be reused. "0s" means connections
  ## are never closed due to age.
  connection_max_lifetime = "0s"

  ## Maximum number of connections in the idle connection pool. 0 means unlimited.
  connection_max_idle = 2

  ## Maximum number of open connections to the database. 0 means unlimited.
  connection_max_open = 0

  ## NOTE: Due to the way TOML is parsed, tables must be at the END of the
  ## plugin definition, otherwise additional config options are read as part of the
  ## table

  ## Metric type to SQL type conversion
  ## The values on the left are the data types Telegraf has and the values on
  ## the right are the data types Telegraf will use when sending to a database.
  ##
  ## The database values used must be data types the destination database
  ## understands. It is up to the user to ensure that the selected data type is
  ## available in the database they are using. Refer to your database
  ## documentation for what data types are available and supported.
  #[outputs.sql.convert]
  #  integer              = "INT"
  #  real                 = "DOUBLE"
  #  text                 = "TEXT"
  #  timestamp            = "TIMESTAMP"
  #  defaultvalue         = "TEXT"
  #  unsigned             = "UNSIGNED"
  #  bool                 = "BOOL"
  #  ## This setting controls the behavior of the unsigned value. By default the
  #  ## setting will take the integer value and append the unsigned value to it. The other
  #  ## option is "literal", which will use the actual value the user provides to
  #  ## the unsigned option. This is useful for a database like ClickHouse where
  #  ## the unsigned value should use a value like "uint64".
  #  # conversion_style = "unsigned_suffix"

输入和输出集成示例

MQTT

  1. 智能家居监控:使用 MQTT Consumer 插件监控智能家居设置中的各种传感器。在这种情况下,可以将插件配置为订阅不同设备的主题,例如温度、湿度和能耗。通过聚合这些数据,房主可以可视化趋势并接收异常模式的警报,从而提高家庭自动化系统的整体质量和效率。

  2. 物联网环境传感:部署 MQTT Consumer 以从分布在不同位置的传感器收集环境数据。例如,这可以包括来自空气质量传感器、温度传感器和噪声水平计的读数。可以将插件配置为从 MQTT 主题中提取相关的标签和字段,从而可以对大规模的环境条件进行详细的分析和报告,为城市规划或环境倡议提供更好的决策支持。

  3. 实时车辆跟踪和遥测:将 MQTT Consumer 插件集成到车辆遥测系统中,该系统实时收集来自各种传感器的数据。借助该插件,可以将与车辆性能、位置和燃油消耗相关的指标发送到中央监控仪表板。这种实时遥测数据使车队经理能够通过主动数据分析来优化路线、降低燃油成本和改进车辆维护计划。

  4. 农业监控系统:利用此插件从农业传感器收集数据,这些传感器监控土壤湿度、作物健康状况和天气状况。MQTT Consumer 可以订阅与农业设备和环境传感器相关的多个主题,使农民能够做出数据驱动的决策,以提高作物产量,同时节约资源,从而提高农业的可持续性。

MariaDB

  1. 商业智能集成:将应用程序性能指标直接存储到 MariaDB 中,并将其连接到 Metabase 或 Apache Superset 等 BI 工具。此设置允许将运营数据与业务 KPI 相结合,以实现统一的仪表板,从而提高跨部门的可见性。

  2. 具有历史指标的合规性报告:使用此插件将指标记录到 MariaDB 中,以用于审计和合规性用例。关系模型能够使用带时间戳的条目精确查询过去的绩效指标,从而支持监管文档。

  3. 基于 SQL 逻辑的自定义警报:将指标插入 MariaDB,并使用自定义 SQL 查询来定义警报阈值或条件。与 cron 作业或计划脚本结合使用,这可以实现传统指标平台无法实现的高级警报工作流程。

  4. 物联网传感器指标存储:通过 Telegraf 收集来自物联网设备的传感器数据,并使用规范化架构将其存储在 MariaDB 中。这种方法经济高效,并且可以与现有的基于 SQL 的系统很好地集成,以进行实时或历史分析。

反馈

感谢您成为我们社区的一份子!如果您有任何一般反馈或在这些页面上发现了任何错误,我们欢迎并鼓励您提出意见。请在InfluxDB 社区 Slack 中提交您的反馈。

强大性能,无限扩展

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都会更有价值。借助 InfluxDB,这是 #1 的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许根据这些消息创建指标。它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。它支持多种输入数据格式,并提供带有 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成