网络研讨会总结：使用Quix和InfluxDB挽救假日：Open Telemetry异常检测故事

作者：Jessica Wachtel / 开发者
2023年12月28日

正是您的假日观看之际！学习如何使用Quix——一个使用Kafka和Python的流处理框架，以及专门为时序数据构建的数据库InfluxDB来解决实时时序数据处理挑战。由Quix数据副总裁Tun Shwe和InfluxDB开发者倡导者Jay Clifford带来的“使用Quix和InfluxDB挽救假日：Open Telemetry异常检测故事”，还包括了一个在虚构工厂设置中检测异常的数据管道的实时演示。

涵盖的主要内容

• Quix和InfluxDB简介
• 数据管道和事件流的概念
• 时序数据概述
• 在工厂设置中检测异常
• 可观察性和Open Telemetry的概念
• 问答环节

收获

通过有效的数据管理挽救假日

网络研讨会展示了Quix和InfluxDB如何协同工作，有效地管理和分析数据，即使在季节性假日需求高峰期的峰值流量和速度下也能如此。 Quix帮助并简化实时数据处理；InfluxDB支持长期数据存储，并创建了一个全面的数据管理解决方案。

Quix是一个开源的云原生库，旨在使用Python在Kafka中处理数据。“Quix是一个处理器；它是一个转换器，”Shwe说。因此，Quix帮助进行机器数据的摄取、转换和存储。机器学习模型有助于检测潜在故障，为可扩展的数据管道奠定基础。InfluxDB专为与时间序列数据和此类管道相关的高写入和查询负载而设计。

开源技术塑造数据处理未来

讨论的另一个要点是开源的重要性。InfluxDB和Quix建立在开源技术之上，并受益于社区贡献。InfluxDB 3.0的架构包括开源技术DataFusion、Apache Arrow和Parquet。共同构成了FDAP堆栈。Clifford解释说：“[DataFusion和Apache Arrow]为您的查询提供了毫秒级返回时间。然后我们有Parquet作为我们的开放数据存储格式。”Shwe强调Quix对Python开发者社区的持续承诺，以及他们努力扩大社区和开源贡献。尽管目前还没有Quix Cloud的开源版本，Shwe说：“越来越多的人为此欢呼并分享……我们就能更快地着手这项工作。”

他们还强调了与其他开源平台，如Grafana和HiveMQ的数据管道集成。这种集成展示了开源工具提供的互操作性和灵活性，为定制数据解决方案提供了支持。

OpenTelemetry是一个强大的工具

网络研讨会介绍了OpenTelemetry，这是一个开源工具，通过收集应用程序的跟踪、指标和日志来帮助监控数据管道。Clifford解释说，OpenTelemetry不仅仅是一个标准，它是一个用于编排数据收集、处理和导出的工具包。“OpenTelemetry是统一，”他说，指的是该工具如何将日志、指标和跟踪跨各种系统汇集在一起。

使用OpenTelemetry，开发者可以更好地了解和控制他们的数据管道，确保平稳运行和可靠的数据处理。

洞察力显现

• 结合使用Quix和InfluxDB可以构建实时数据处理管道。
• Quix允许实时数据摄取和转换，而InfluxDB提供了一个时间序列数据库用于存储和查询数据。
• 会议中展示的管道使用MQTT代理将机器数据输入到Quix，并将数据写入InfluxDB。然后，查询数据，机器学习模型对其进行异常检测，并将结果存储回InfluxDB。
• OpenTelemetry可以监控数据管道并提供其性能的见解。
• 演示中使用的异常检测模型是一个训练有素的自动编码器神经网络，用于学习输入数据的压缩表示。

关键引言

• “我被驱使创造一个新常态，即数据在生成后立即被处理。” — Tun Shwe
• “我被驱使使可观察性和物联网解决方案对所有人开放。” — Jay Clifford
• “我们所做的是从那些机械臂中获取所有数据，多亏了HiveMQ和MQTT，我们能够摄取、转换并存储这些机器数据。” — Tun Shwe
• “我们已经部署了一个初始的机器学习模型，利用机器的振动数据来检测这些潜在的故障。” — Jay Clifford
• “我们提供了可扩展数据管道的基础。” — Tun Shwe
• “这正是Quix发挥其作用的地方。我认为人们真正在Quix上表现出色的地方在于，他们将Quix视为不仅仅是收集代理，还可以在这里构建任务引擎、构建数据丰富化。” — Jay Clifford

在此观看Tun和Jay的讨论和演示