Google Cloud Storage 和 MongoDB 集成

强大的性能和简单的集成,由 InfluxData 构建的开源数据连接器 Telegraf 提供支持。

info

对于大规模实时查询,这不是推荐的配置。为了实现查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Google Cloud Storage 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时间序列数据库
来源:DB-Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都更有价值。InfluxDB 是排名第一的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

Google Cloud Storage 插件从指定的 Google Cloud Storage 存储桶收集指标,从而深入了解存储使用情况和性能。

MongoDB Telegraf 插件使用户能够将指标发送到 MongoDB 数据库,自动管理时间序列集合。

集成详情

Google Cloud Storage

Google Cloud Storage Telegraf 插件能够从指定的 Google Cloud Storage 存储桶收集指标。随着组织越来越依赖云存储解决方案进行数据管理,监控这些资源的性能和利用率的能力变得至关重要。此插件对于跟踪存储使用情况、了解数据模式以及确保运营效率特别有用。通过与 Google Cloud Storage API 集成,它允许用户从其云环境中收集见解,并将指标直接馈送到监控系统以进行进一步分析。该插件支持各种配置选项,使用户能够根据其特定需求自定义数据收集过程。

MongoDB

此插件将指标发送到 MongoDB,并与其时间序列功能无缝集成,从而允许在时间序列集合尚不存在时自动创建它们作为时间序列。它需要 MongoDB 5.0 或更高版本才能使用时间序列集合功能,这对于有效存储和查询基于时间的数据至关重要。此插件增强了监控功能,确保所有相关指标都正确存储和组织在 MongoDB 中,使用户能够利用 MongoDB 强大的查询和聚合功能进行时间序列分析。

配置

Google Cloud Storage

[[inputs.google_cloud_storage]]
  bucket = "my-bucket"
  # key_prefix = "my-bucket"
  offset_key = "offset_key"
  objects_per_iteration = 10
  data_format = "influx"
  # credentials_file = "path/to/my/creds.json"

MongoDB

[[outputs.mongodb]]
              # connection string examples for mongodb
              dsn = "mongodb://localhost:27017"
              # dsn = "mongodb://mongod1:27017,mongod2:27017,mongod3:27017/admin&replicaSet=myReplSet&w=1"

              # overrides serverSelectionTimeoutMS in dsn if set
              # timeout = "30s"

              # default authentication, optional
              # authentication = "NONE"

              # for SCRAM-SHA-256 authentication
              # authentication = "SCRAM"
              # username = "root"
              # password = "***"

              # for x509 certificate authentication
              # authentication = "X509"
              # tls_ca = "ca.pem"
              # tls_key = "client.pem"
              # # tls_key_pwd = "changeme" # required for encrypted tls_key
              # insecure_skip_verify = false

              # database to store measurements and time series collections
              # database = "telegraf"

              # granularity can be seconds, minutes, or hours.
              # configuring this value will be based on your input collection frequency.
              # see https://docs.mongodb.com/manual/core/timeseries-collections/#create-a-time-series-collection
              # granularity = "seconds"

              # optionally set a TTL to automatically expire documents from the measurement collections.
              # ttl = "360h"

输入和输出集成示例

Google Cloud Storage

  1. 自动化备份监控:使用 Google Cloud Storage 插件定期监控存储在 Cloud Storage 存储桶中的备份文件的状态。通过配置插件来跟踪文件指标,组织可以自动发出警报,以防备份大小偏离预期模式,从而确保数据保护流程正常运行,并及时解决任何异常情况。

  2. 成本优化见解:将此插件集成到成本管理工具中,以分析 Cloud Storage 的使用模式。通过收集有关文件大小和访问频率的指标,团队可以优化其存储解决方案,并就数据保留策略做出明智的决策,从而可能降低不必要的存储成本并提高资源分配效率。

  3. 合规性和审计:使用该插件生成有助于验证存储在 Google Cloud Storage 中的数据是否合规的指标。通过提供对数据访问和存储使用情况的详细见解,组织可以确保遵守法规要求,从而有助于审计并符合数据治理的最佳实践。

  4. 性能基准测试:部署该插件以对 Google Cloud Storage 中数据检索和存储操作的性能进行基准测试。通过随时间推移分析指标,团队可以识别性能瓶颈或效率低下问题,从而优化依赖云存储服务的应用程序和基础设施。

MongoDB

  1. 物联网设备的动态日志记录到 MongoDB:使用此插件实时收集和存储来自大量物联网设备的指标。通过将设备日志直接发送到 MongoDB,您可以创建一个集中式数据库,该数据库允许轻松访问和查询健康指标和性能数据,从而能够根据历史趋势进行主动维护和故障排除。

  2. Web 流量的时间序列分析:使用 MongoDB Telegraf 插件收集和分析随时间推移的 Web 流量指标。此应用程序可以帮助您了解高峰使用时间、用户交互和行为模式,从而指导营销策略和基础设施扩展决策,以改善用户体验。

  3. 自动化监控和警报系统:将 MongoDB 插件集成到跟踪应用程序性能指标的自动化监控系统中。借助时间序列集合,您可以根据特定阈值设置警报,使您的团队能够在潜在问题影响用户之前做出响应。这种主动管理可以提高服务可靠性和整体性能。

  4. 指标存储中的数据保留和 TTL 管理:利用 MongoDB 集合中文档的 TTL 功能来自动过期过时的指标。这对于仅相关最近性能数据的环境尤其有用,可防止您的 MongoDB 数据库因旧指标而变得混乱,并确保有效的数据管理。

反馈

感谢您成为我们社区的一份子!如果您有任何一般性反馈或在这些页面上发现了任何错误,我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都更有价值。InfluxDB 是排名第一的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许基于这些消息创建指标。它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。它支持多种输入数据格式,并提供带有 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成