Google Cloud Storage 和 IoTDB 集成

强大的性能和简易的集成,由 InfluxData 构建的开源数据连接器 Telegraf 提供支持。

info

对于大规模实时查询,这不是推荐的配置。为了实现查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Google Cloud Storage 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时间序列数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都会变得更有价值。InfluxDB 是排名第一的时间序列平台,旨在通过 Telegraf 进行扩展。

查看入门方法

输入和输出集成概述

Google Cloud Storage 插件从指定的 Google Cloud Storage 存储桶收集指标,从而深入了解存储使用情况和性能。

此插件将 Telegraf 指标保存到 Apache IoTDB 后端,支持会话连接和数据插入。

集成详情

Google Cloud Storage

Google Cloud Storage Telegraf 插件能够从指定的 Google Cloud Storage 存储桶中收集指标。随着组织越来越依赖云存储解决方案进行数据管理,监控这些资源的性能和利用率变得至关重要。此插件对于跟踪存储使用情况、了解数据模式以及确保运营效率特别有用。通过与 Google Cloud Storage API 集成,它允许用户从其云环境中收集见解,并将指标直接馈送到监控系统以进行进一步分析。该插件支持各种配置选项,使用户能够根据其特定需求自定义数据收集过程。

IoTDB

Apache IoTDB(物联网数据库)是一种物联网原生数据库,具有高性能的数据管理和分析能力,可部署在边缘和云端。其轻量级架构、高性能和丰富的功能集为物联网工业领域的海量数据存储、高速数据摄取和复杂分析创造了完美契合。IoTDB 与 Apache Hadoop、Spark 和 Flink 深度集成,进一步增强了其处理大规模数据和复杂处理任务的能力。

配置

Google Cloud Storage

[[inputs.google_cloud_storage]]
  bucket = "my-bucket"
  # key_prefix = "my-bucket"
  offset_key = "offset_key"
  objects_per_iteration = 10
  data_format = "influx"
  # credentials_file = "path/to/my/creds.json"

IoTDB

[[outputs.iotdb]]
  ## Configuration of IoTDB server connection
  host = "127.0.0.1"
  # port = "6667"

  ## Configuration of authentication
  # user = "root"
  # password = "root"

  ## Timeout to open a new session.
  ## A value of zero means no timeout.
  # timeout = "5s"

  ## Configuration of type conversion for 64-bit unsigned int
  ## IoTDB currently DOES NOT support unsigned integers (version 13.x).
  ## 32-bit unsigned integers are safely converted into 64-bit signed integers by the plugin,
  ## however, this is not true for 64-bit values in general as overflows may occur.
  ## The following setting allows to specify the handling of 64-bit unsigned integers.
  ## Available values are:
  ##   - "int64"       --  convert to 64-bit signed integers and accept overflows
  ##   - "int64_clip"  --  convert to 64-bit signed integers and clip the values on overflow to 9,223,372,036,854,775,807
  ##   - "text"        --  convert to the string representation of the value
  # uint64_conversion = "int64_clip"

  ## Configuration of TimeStamp
  ## TimeStamp is always saved in 64bits int. timestamp_precision specifies the unit of timestamp.
  ## Available value:
  ## "second", "millisecond", "microsecond", "nanosecond"(default)
  # timestamp_precision = "nanosecond"

  ## Handling of tags
  ## Tags are not fully supported by IoTDB.
  ## A guide with suggestions on how to handle tags can be found here:
  ##     https://iotdb.apache.org/UserGuide/Master/API/InfluxDB-Protocol.html
  ##
  ## Available values are:
  ##   - "fields"     --  convert tags to fields in the measurement
  ##   - "device_id"  --  attach tags to the device ID
  ##
  ## For Example, a metric named "root.sg.device" with the tags `tag1: "private"`  and  `tag2: "working"` and
  ##  fields `s1: 100`  and `s2: "hello"` will result in the following representations in IoTDB
  ##   - "fields"     --  root.sg.device, s1=100, s2="hello", tag1="private", tag2="working"
  ##   - "device_id"  --  root.sg.device.private.working, s1=100, s2="hello"
  # convert_tags_to = "device_id"

  ## Handling of unsupported characters
  ## Some characters in different versions of IoTDB are not supported in path name
  ## A guide with suggetions on valid paths can be found here:
  ## for iotdb 0.13.x           -> https://iotdb.apache.org/UserGuide/V0.13.x/Reference/Syntax-Conventions.html#identifiers
  ## for iotdb 1.x.x and above  -> https://iotdb.apache.org/UserGuide/V1.3.x/User-Manual/Syntax-Rule.html#identifier
  ##
  ## Available values are:
  ##   - "1.0", "1.1", "1.2", "1.3"  -- enclose in `` the world having forbidden character 
  ##                                    such as @ $ # : [ ] { } ( ) space
  ##   - "0.13"                      -- enclose in `` the world having forbidden character 
  ##                                    such as space
  ##
  ## Keep this section commented if you don't want to sanitize the path
  # sanitize_tag = "1.3"

输入和输出集成示例

Google Cloud Storage

  1. 自动化备份监控:利用 Google Cloud Storage 插件定期监控存储在 Cloud Storage 存储桶中的备份文件的状态。通过配置插件来跟踪文件指标,组织可以自动发出警报,以防备份大小偏离预期模式,从而确保数据保护流程正常运行并及时解决任何异常情况。

  2. 成本优化洞察:将此插件集成到成本管理工具中,以分析 Cloud Storage 的使用模式。通过收集有关文件大小和访问频率的指标,团队可以优化其存储解决方案,并就数据保留策略做出明智的决策,从而可能降低不必要的存储成本并改善资源分配。

  3. 合规性和审计:使用该插件生成有助于验证存储在 Google Cloud Storage 中的数据是否符合合规性的指标。通过提供对数据访问和存储使用情况的详细见解,组织可以确保遵守法规要求,从而有助于审计并符合数据治理的最佳实践。

  4. 性能基准测试:部署该插件以基准测试 Google Cloud Storage 中数据检索和存储操作的性能。通过分析一段时间内的指标,团队可以识别性能瓶颈或效率低下之处,从而优化依赖云存储服务的应用程序和基础设施。

IoTDB

  1. 实时物联网监控:利用 IoTDB 插件从各种物联网设备收集传感器数据,并将其保存在 Apache IoTDB 后端,从而促进对温度和湿度等环境条件的实时监控。此用例使组织能够分析随时间变化的趋势,并根据历史数据做出明智的决策,同时还可以利用 IoTDB 高效的存储和查询功能。

  2. 智能农业数据收集:使用 IoTDB 插件从部署在田野中的智能农业传感器收集指标。通过将湿度水平、养分含量和大气条件传输到 IoTDB,农民可以获得有关最佳种植和浇水计划的详细见解,从而提高作物产量和资源管理水平。

  3. 能耗分析:利用 IoTDB 插件跟踪公用事业网络中智能电表的能耗指标。这种集成使分析能够识别使用高峰并预测未来的消耗模式,最终支持节能措施和改进的公用事业管理。

  4. 自动化工业设备监控:使用此插件收集制造工厂中机器的操作指标,并将其存储在 IoTDB 中进行分析。此设置可以帮助识别效率低下、预测性维护需求和操作异常,从而确保最佳性能并最大限度地减少意外停机时间。

反馈

感谢您成为我们社区的一份子!如果您有任何一般性反馈或在这些页面上发现了任何错误,我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都会变得更有价值。InfluxDB 是排名第一的时间序列平台,旨在通过 Telegraf 进行扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许根据这些消息创建指标。它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。它支持多种输入数据格式,并提供使用 DynamoDB 进行检查点处理的功能,以实现可靠的消息处理。

查看集成