利用InfluxDB释放实时分析的威力
作者:Jason Myers / 开发者
2023年12月22日
导航至
关于本次会议
在本由Tech Crunch举办的网络研讨会中,InfluxData创始人兼首席技术官Paul Dix,InfluxData员工工程师Andrew Lamb,以及InfluxData开发者倡导者Jay Clifford讨论了如何使用InfluxDB解锁时序数据以进行实时分析。本次会议重点介绍了新的InfluxDB 3.0,主持人讨论了使用传统数据库处理时序数据的挑战、InfluxDB的演变以及在其开发中使用的开源项目。
会议内容
- 理解时序数据及其用例
- 使用传统数据库处理时序数据的挑战
- InfluxDB的演变以及InfluxDB 3.0的开发
- InfluxDB 3.0中使用开源项目(Apache Flight、DataFusion、Apache Arrow、Parquet,又称FDAP栈)
- 讨论边缘到云解决方案以及InfluxDB对这些场景的支持
- InfluxDB 3.0的开源版本
- InfluxDB 3.0与其他时序数据库的比较
关键要点
要点 #1: InfluxDB 3.0在时序和观测数据管理方面提供高性能和高级功能。
InfluxDB 3.0与之前版本具有根本性的不同设计,提供高效的数据摄取以及处理各种观测数据的先进功能。系统优化查询性能,使用远低于之前的内存和CPU核心来摄取更多数据。
导致这种性能提升的一个因素是v3.0不做大量的索引。相反,它将数据组织成Parquet文件。“大多数时序数据库...实际上是围绕度量使用案例设计的。它们基于这样的想法:你有一个测量名称,你有一些标签或标记...来描述数据,然后你知道一个值,”Dix解释道。InfluxDB 3.0不仅处理度量数据,还处理各种类型的观测数据,包括结构化和半结构化数据。
要点 #2:FDAP栈提供了一个强大的数据管理、存储和处理系统。
讨论小组还讨论了FDAP栈,这是一个包括Flight、DataFusion、Arrow和Parquet的系统。FDAP栈代表了一个更加专业化的系统,可以为特定的工作负载提供更好的性能,包括时序数据。
“FDAP栈类似于LAMP栈。FDAP代表Flight、DataFusion、Arrow和Parquet。其理念是那些用于构建下一代数据应用的底层技术类似于用于构建早期Web应用的技术。[LAMP栈]基本上开启了构建应用的新世界,因为它既便宜又稳固……你不必重头来过,”Lamb指出。
要点 #3:InfluxDB 3.0使用户能够实时利用数据。
InfluxDB 3.0 支持实时数据处理。它允许用户快速摄取数据,使其几乎立即可用于查询。这一功能对于构建实时监控和警报系统的用户以及需要不断更新观测仪表盘的用户特别有益。
“在我们的案例中,当我们提到时间序列时,我们是在优化实时系统,其中人们构建的观测仪表盘会不断更新,他们构建的监控和警报系统本质上期望立即查询数据,并可能在数百毫秒内返回结果,这是在这个非常、非常大的规模上的亚秒级查询延迟……”Dix 解释说。
呈现的洞察
- 时间序列数据是任何带有时间戳的数据。它跟踪服务器、应用程序、网络、传感器数据等等,提供对随时间变化的认识。
- 由于规模、实时查询、数据生命周期管理和处理高基数数据的问题,传统数据库在处理时间序列数据方面存在困难。
- InfluxDB 设计用于解决这些挑战,其 3.0 版本围绕 Apache Arrow、Apache Arrow、DataFusion 和 Parquet 等开源项目构建。
- InfluxDB 3.0 设计用于处理所有类型的观测数据,而不仅仅是指标数据,并且针对实时系统进行了优化。
- 即将推出的开源版本 InfluxDB 3.0,InfluxDB Edge,将是一个单服务器、单进程系统,它可以作为一个孤岛运行,也可以无缝连接到集中式集群系统。
观看网络研讨会