网络研讨会回顾：使用 Quix 和 InfluxDB 拯救假期：开放遥测异常检测故事
作者：Jessica Wachtel / 开发者
2023 年 12 月 28 日
导航至
正值您的假期观看季！了解如何使用 Quix（使用 Kafka 和 Python 的流处理框架）和专为时间序列数据库 InfluxDB 构建的数据库，解决实时时间序列处理挑战。“使用 Quix 和 InfluxDB 拯救假期：开放遥测异常检测故事”由 Quix 数据副总裁 Tun Shwe 和 InfluxDB 开发者倡导者 Jay Clifford 主讲，还包括一个实时演示，演示了一个数据管道，该管道检测虚构工厂设置中的异常。
主要涵盖的主题
- Quix 和 InfluxDB 简介
- 数据管道和事件流的概念
- 时间序列数据概述
- 检测工厂设置中的异常
- 可观测性和开放遥测的概念
- 问答环节
要点
通过有效的数据管理拯救假期
本次网络研讨会说明了 Quix 和 InfluxDB 如何协同工作以有效地管理和分析数据，即使在与季节性假期需求相关的峰值容量和速度期间也是如此。Quix 帮助并促进实时数据处理；InfluxDB 支持长期数据存储并创建全面的数据管理解决方案。
Quix 是一个开源云原生库，旨在在 Kafka 中使用 Python 处理数据。“Quix 是一个处理器；它是一个转换器，”Shwe 说。因此，Quix 有助于机器数据的摄取、转换和存储。机器学习模型有助于检测潜在的故障，为可扩展的数据管道奠定基础。InfluxDB 专为与时间序列数据和此类管道相关的高写入和查询负载而构建。
开源技术塑造数据处理的未来
讨论的另一点是开源的重要性。InfluxDB 和 Quix 构建于开源技术之上，并受益于社区贡献。InfluxDB 3.0 的架构包括开源技术 DataFusion、Apache Arrow 和 Parquet。它们共同构成了 FDAP Stack。Clifford 解释说：“[DataFusion 和 Apache Arrow] 为您的查询提供了毫秒级的返回时间。然后我们使用 Parquet 作为我们用于存储的开放数据格式。”Shwe 强调了 Quix 对 Python 开发者社区的持续承诺以及他们为发展其社区和开源贡献所做的努力。虽然目前没有 Quix Cloud 的开源版本，但 Shwe 说，“我们呼吁和分享的人越多……我们就能越早着手解决这个问题。”
他们还强调了其他开源平台（例如 Grafana 和 HiveMQ）在其数据管道中的集成。这种集成展示了开源工具为定制数据解决方案提供的互操作性和灵活性。
OpenTelemetry 是一个强大的工具
本次网络研讨会重点介绍了 OpenTelemetry，这是一个开源工具，通过收集应用程序的跟踪、指标和日志来帮助监控数据管道。Clifford 解释说，OpenTelemetry 不仅仅是一个标准，它还是一个用于编排数据收集、处理和导出的工具包。“OpenTelemetry 是统一，”他说，指的是该工具如何将日志、指标和跟踪在各种系统中整合在一起。
使用 OpenTelemetry，开发者可以更好地了解和控制他们的数据管道，从而确保平稳运行和可靠的数据处理。
深入见解
- Quix 和 InfluxDB 结合使用可以构建实时数据处理管道。
- Quix 允许实时数据摄取和转换，而 InfluxDB 提供时间序列数据库用于存储和查询数据。
- 会话中演示的管道使用 MQTT 代理将机器数据馈送到 Quix，Quix 将数据写入 InfluxDB。然后，查询数据，机器学习模型对其进行处理以进行异常检测，并将结果存储回 InfluxDB 中。
- OpenTelemetry 可以监控数据管道并提供有关其性能的见解。
- 演示中使用的异常检测模型是一个自动编码器神经网络，经过训练以学习输入数据的压缩表示。
主要引言
- “我的动力是创造一种新的常态，即数据在生成后立即得到处理。”— Tun Shwe
- “我的动力是让所有人都能访问可观测性和物联网解决方案。”— Jay Clifford
- “我们所做的是……我们从那些机器人手臂中获取了所有数据，并且由于 HiveMQ 和 MQTT，我们已经能够摄取、转换和存储这些机器数据。”— Tun Shwe
- “我们已经部署了一个初始机器学习模型，以使用来自机器的振动数据检测这些潜在的故障。”— Jay Clifford
- “我们为可扩展的数据管道奠定了基础。”— Tun Shwe
- “这就是 Quix 的用武之地。而且我认为人们真正擅长使用 Quix 的地方在于，他们将其视为不仅仅是一个收集代理，而且还可以构建任务引擎、构建数据丰富功能。”— Jay Clifford
在此处观看 Tun 和 Jay 的讨论和演示
