欢迎来到 InfluxDB IOx:InfluxData 的新存储引擎

导航到

两年前,我宣布 InfluxData 正在为 InfluxDB 开发一个新核心,我们将其命名为 InfluxDB IOx。InfluxDB IOx 是一个云原生、实时、列式数据库,优化于时间序列数据,基于 Rust 在 Apache Arrow 和 DataFusion 上构建。今天,我非常高兴地宣布,我们在 InfluxDB Cloud 平台上部署了基于 InfluxDB IOx 的下一代存储引擎。这个新的存储引擎是我们核心数据库技术的重大飞跃,消除了基数限制,因此用户可以带来大量的时间序列数据,实现无限扩展,具有 SQL 查询功能、分层数据存储和快速分析查询。在这篇文章中,我将强调一些核心技术选择,以及 InfluxDB 将在不久的将来实现的一些令人激动的特性。

新的 InfluxDB

今天的公告代表了自 2016 年我们引入 TSM 存储引擎以来 InfluxDB 最大的飞跃。当时,我们构建了一个存储引擎,优化了用户最希望从 InfluxDB 获得的功能:对指标数据的快速摄取和查询。然而,我们始终有一个愿景,即 InfluxDB 应该对事件数据(即不规则的时间序列)以及指标数据(即规则的时间序列)都很有用。新的存储引擎代表了 InfluxDB 生命周期的下一阶段,我们将指标数据和事件数据的时间序列集成到一个单一的数据库核心中,使用户能够从原始的高精度事件数据中实时创建时间序列。

当我们在2020年初开始考虑重建InfluxDB的核心时,也考虑了我们将使用哪些技术。InfluxDB最初始于2013年,从那时起已经发生了许多令人兴奋的发展。我们决定新的核心应该用Rust来构建,因为它在性能系统软件方面具有许多优势,并具有许多优点。我们还决定围绕Apache Arrow生态系统来构建,以实现与更广泛的开发者群体的更大互操作性和协作。这两次从两年半前做出的赌注都取得了非常好的效果,因为Rust和Arrow项目都成熟了,并且在随后的时间里聚集了动力。我们很高兴能够为Arrow做出大量贡献,以帮助推动其作为各种新数据和分析项目的基础设施的发展。

InfluxDB-powered-by-IOx

无界基数、SQL和实时分析

InfluxDB Cloud客户使用新的存储引擎时,其基数限制完全解除。用户可以写入任何类型的事件数据,具有无限基数,并在任何维度上切片和切块数据,而不会牺牲性能。这为事件、跟踪以及各种临时无界基数数据打开了用例。

该引擎对高基数的支持不仅限于摄入。在IOx中执行涉及许多时间序列的查询比我们之前版本的InfluxDB快几个数量级。查询10个系列或100万个系列都是一样的。这使得对高基数数据进行分析成为可能。

IOx原生支持SQL,并且我们的云客户可以使用psql、Grafana的Postgres数据源和PowerBI和Tableau等BI工具兼容Postgres的客户端连接。随着标准的成熟,我们还将推出Apache Arrow FlightSQL,使用户能够以高性能访问数百万行的时间序列数据。

即将推出

新的存储引擎代表了一个先进的核心,我们打算在上面构建许多新功能。大量数据摄入、大量数据导出和与其他第三方系统的集成都计划在不久的将来进行。我们还将推出基于IOx的专用云层和新的本地企业产品。

我们对今天的发布感到非常兴奋,因为它代表了多年的辛勤工作和努力。要利用所有这些进步,请在此注册