使用Quix模板从InfluxDB v2同步数据到v3

作者 Anais Dotis-Georgiou / 开发者
2024年4月8日

导航到

如果您是InfluxDB v2用户，想使用InfluxDB v3，您可能想知道如何迁移数据。我们仍在开发迁移工具。在此期间，您可以使用Quix模板从InfluxDB v2同步数据到InfluxDB v3。

Quix是一个完整的解决方案，用于使用Python和DataFrame抽象Kafka构建、部署和监控实时应用程序和流数据管道。 Quix Streams是一个开源的Python流处理库，而Quix Cloud是一个完全托管的平台，用于在数据管道中部署和运行Quix Streams应用程序。您可以使用Quix提供的托管Kafka代理快速开始，也可以连接到自托管或托管的Kafka提供商。

该框架特别针对时间序列数据处理而设计，提供云端和本地部署两种方案。它消除了管理基础设施的烦恼，其用户界面简化了事件流和ETL过程的构建、运营和维护。

Quix模板的同步功能类似于Edge Data Replication工具（仍然允许您将数据写入InfluxDB v3）。然而，Quix管道建立在Kafka之上，因此可以扩展以适应高吞吐量用例，并从Kafka的可靠性和持久性中获益。

您还可以扩展任何Quix管道以集成任何额外的或必需的ETL任务。此模板创建了一个InfluxDB v2源连接器，该连接器使用Flux查询您的InfluxDB v2实例并将数据发送到Influxv2-data主题。然后，InfluxDB v3连接器从Kafka主题中拉取记录并将它们写入InfluxDB v3。

Quix从InfluxDB v2到v3连接器的简单架构图。

要求

为了遵循这篇博客文章，您需要以下内容

  • 一个具有实时数据的InfluxDB v2实例
  • InfluxDB v3账户——[在此注册免费云级别](https://influxdb.org.cn/products/influxdb-overview/?cq_con=64512682559&cq_term=influxdb&cq_med=&cq_plac=&cq_net=g&cq_plt=gp&utm_source=google&utm_medium=cpc&utm_campaign=UP%20-%20NA%20Search%20%7C%20Brand-Related%20-%20InfluxDB%20Cloud%20Free%20Tier&utm_term=influxdb&gad_source=1&gclid=Cj0KCQjwncWvBhD_ARIsAEb2HW-fmWUhBE1nUu9SBEgOIrOMDh8LMbF1SHWHUgE-QghW9FSa9bDoxY4aAp-UEALw_wcB)
  • 一个Quix账户——[在此注册免费30天试用期](https://quix.io/)

请确保从您的v2和v3 InfluxDB账户收集以下凭证

  • 桶（您的InfluxDB v2源和InfluxDB v3目标桶）
  • 令牌
  • 组织ID
  • 您想从v2实例同步到v3实例的字段和标签

对于本篇博客文章，我们将演示如何将来自使用Telegraf CPU输入插件的InfluxDB v2收集并写入的数据写入InfluxDB v2。

配置和同步

开始使用此Quix模板非常简单。您只需在UI中点击克隆此项目按钮即可。您将被重定向到您的Quix账户。从那里，导入项目。您已经导入并创建项目后，您可以从“管道”页面同步您的环境。Quix使用代码管道，通过YAML文件实现管道版本控制。点击同步环境以将您的InfluxDB v2和v3令牌作为机密添加。管道中的服务现在将开始启动。点击每个服务以编辑部署。在环境变量部分添加您的桶和查询信息以及任务间隔，在部署设置下添加您要查询的数据的详细信息。点击日志选项卡以验证您的Flux查询是否正确，以便您可以从InfluxDB v2实例成功复制数据到您的InfluxDB v3云账户。

总结

希望这个教程能帮助您开始使用InfluxDB v2到v3同步Quix模板。感谢Quix团队持续为InfluxDB社区提供解决方案。我还想鼓励您看看一些其他的InfluxDB Quix模板和项目，包括

  • 基于InfluxDB和PagerDuty的事件检测和警报：在本教程中，您将学习如何使用Quix Cloud、Quix Streams、InfluxDB和PagerDuty创建一个CPU过载警报管道。
  • 预测性维护：此项目模板包含了数据管道和仪表板的完整源代码，展示了预测性维护在实际中的工作原理。使用时间序列预测算法，它模拟了一支3D打印机的数据生成，并预测哪些机器将在打印完成前失败。
  • Quix Saving the Holidays：此项目提供了一个使用Quix和InfluxDB 3.0构建机器异常检测数据管道的示例。此存储库包含完整的数据管道作为项目，但不包括数据模拟器（更多详细信息请参见入门指南）。

在这里开始使用InfluxDB Cloud 3.0。如果您需要帮助，请联系我们的社区网站或Slack频道。