网络研讨会重点:InfluxDB 新时序数据库引擎介绍

导航至

作为由 IOx 驱动的 InfluxDB Cloud 发布的一部分,Paul Dix 和 Balaji Palani 提供了 InfluxDB Cloud 概览和演示。如果您错过了,这篇博客是一篇快速的5 分钟阅读,总结了本次网络研讨会。我们分享了演示的录像幻灯片,供大家回顾和随时观看。

influxdb cloud powered by IOx white

TL;DR(太长不看)

  • 由 IOx 驱动的 InfluxDB Cloud 目前在两个 AWS 区域可用 - 德国法兰克福或美国弗吉尼亚州
  • 它是一个使用 Apache Arrow 生态系统用 Rust 编写的列式数据库,原生支持 SQL
  • 包括原生 InfluxQL 支持和启用无限基数

关键时间戳

  • :36 | Paul Dix 提供了由 IOx 驱动的 InfluxDB Cloud 的概览和路线图更新
  • 22:47 | Balaji Palani 演示了 InfluxDB Cloud 和 Apache Superset 可视化
  • 38:40 | 问答时间

网络研讨会亮点

概览

InfluxDB Cloud,由 IOx 驱动,是一个基于 Apache Arrow 构建的列式数据库,考虑到云环境,其中对象存储和可扩展计算层是分离的。该数据库使用对象存储进行持久化,Apache Parquet 是持久化格式。开发人员可以使用 InfluxDB Cloud 在数据落地到对象存储之前实时查询数据。它通过包含 SQL 查询、解析器、计划器和执行引擎,原生支持 SQL。InfluxDB Cloud 使用 Apache DataFusion 作为查询引擎。Paul 更深入地探讨了两种不同存储引擎(TSM 和 IOx)之间的差异、使用 Apache 生态系统的好处以及模式设计技巧和窍门。

“由 IOx 驱动的 InfluxDB Cloud 是云列式数据库,针对时序数据进行了优化,包括工作负载和查询。” - Paul Dix | InfluxData 创始人兼首席技术官

无限基数!

Paul Dix 讨论了基数问题,当时间序列数量过多时,会影响系统性能,并可能影响数据摄取成本。查询速度会减慢,特别是如果您想跨数百万个独立的唯一时间序列运行计算时。由 IOx 驱动的 InfluxDB Cloud 的底层设计和架构消除了这一限制。

IOx 的功能使我们的团队能够在未来几年开发大量功能。社区成员将能够动态地向上和向下扩展计算层,而无需太多手动工作。开发人员批量上传历史数据将更快。我们解决了那些在 边缘 收集高精度数据的人员的需求,他们不需要将数据放在中央存储中进行实时查询,但需要它进行历史分析

“我们的目标是为开发人员提供一个地方来发送所有数据、指标、事件、追踪和日志数据……由 IOx 驱动的 InfluxDB Cloud 是实时摄取数据并在其上构建自动化系统,并能够对其进行历史分析的理想场所。” - Paul Dix | InfluxData 创始人兼首席技术官

为什么选择 Rust?

Paul Dix 认为 Rust 对于系统软件的未来至关重要。Rust 编译器可以防止数据擦除和其他潜在错误。InfluxData 的开发人员期待利用 Rust 如何嵌入到其他系统和语言中。

“它可以让您精细地控制内存,具有更高级别语言的安全性,并为并发应用程序提供出色的模型。” - Paul Dix | InfluxData 创始人兼首席技术官

Apache Arrow

该团队认为 Apache Arrow Flight SQL 是数据库系统在客户端和服务器之间传输数据的新标准。Andrew Lamb 是我们工程团队的成员,也是 Apache Arrow 项目管理委员会 (PMC) 的 主席。Apache Arrow 已被数据科学家以及数据仓库和大数据工程师迅速采用。Paul 深入探讨了使用 Apache Parquet 作为持久格式和 Apache Arrow Flight SQL 的重要性。我们甚至为 Grafana 构建了一个 Flight SQL 插件,使用户能够构建传统 BI 工具中常见的报告和仪表板。InfluxDB Cloud 即将推出更多集成!

“我们的目标是使 Flight SQL 成为更大的数据库生态系统供应商的标准,并使第三方工具开发人员更容易采用它。” - Paul Dix | InfluxData 创始人兼首席技术官

演示时间!

观看产品营销副总裁 Balaji Palani 提供的由 IOx 驱动的 InfluxDB Cloud 演示。Balaji 演示了新的数据浏览器,开发人员可以在其中编写 SQL 查询并查看模式。Balaji 展示了如何在 Apache Superset 中可视化您的时间戳数据,以及如何组合指标和追踪来创建仪表板。开发人员现在可以使用 InfluxDB 在单个数据存储中收集指标、事件和追踪。查看 InfluxDB 可观测性仓库

image3

问答

与会者有很多问题。以下是一些最常被问到的问题及其答案。

问题: 使用 InfluxQL 而不是 SQL 有什么好处?

Paul: SQL 中包含的内容将是 InfluxQL 中可用内容的超集,因为 InfluxQL 使用相同的底层引擎。多年来,我们从人们那里听说,对于一些基本的时间序列查询,他们发现 InfluxQL 更容易使用。现有用户的主要好处是,由 IOx 驱动的 InfluxDB Cloud 将原生支持 InfluxQL;将有一个翻译层,它将公开 InfluxDB V. 1 查询 API 层。您将能够像在 InfluxDB V. 1 中一样提交 InfluxQL 查询。它将执行并在 InfluxQL 1 中返回相同格式的结果,这意味着,如果您正在使用 Grafana 等第三方工具,您只需像与 InfluxDB V1 数据库交互一样与它交互,而无需重写仪表板。

我们的目标是在尽可能接近原始 InfluxQL 的同时,利用数据库的新性能优势。IOx 上的许多查询将比传统 InfluxQL 引擎快几个数量级。显然,对更好性能的需求贯穿了整个项目。

问题: 由 IOx 驱动的 InfluxDB Cloud 是否支持 Flux?

Paul: Flux 在 InfluxDB Cloud 的 API 中启用,但不在用户界面中。对于想要使用 Flux 的人,他们可以在 API 中这样做。我们目前在 UI 中推广 SQL。一旦添加了原生 InfluxQL 支持,我们也可能会在 UI 中启用它。Flux 不仅仅是一种查询语言,它还是一种完整的脚本语言,我们目前没有带宽将其添加到 Rust 原生实现中。不幸的是,这意味着在由 IOx 驱动的 influxDB Cloud 中发生的许多查询优化在 Flux 中不可用。Flux 本质上充当一个脚本客户端,它会拉回大量数据并执行一些操作。为了获得最佳性能,我们鼓励人们使用 SQL,或者在 InfluxQL 推出时使用 InfluxQL。

问题: 既然是用 Rust 编写的,那么存储桶创建或数据摄取是否有任何变化?

Paul:创建存储桶的 API 是相同的。如果您在发布之前注册了 InfluxDB Cloud,您将使用 TSM,即之前的存储系统。在您的帐户中,您可以创建一个新的组织,该组织将基于 IOx。在未来几个月内,我们将把现有的 InfluxDB Cloud 帐户从 TSM 迁移到 IOx。我们的目标是在年底前将所有用户升级到由 IOx 驱动的 InfluxDB Cloud。

问题: 是否可以在 SQL 中编写 InfluxDB 任务?

Paul: 是的,那是计划的一部分。我们希望让人们能够用 SQL 编写任务。我们还在考虑在数据库中添加对 Python 或 JavaScript 脚本的支持。但这目前待定。绝对计划在路线图中加入在 SQL 和 InfluxQL 中编写任务的功能。

问题: InfluxDB OSS 和 InfluxDB Enterprise 的产品时间表是什么?

Paul: 团队主要专注于构建更多 InfluxDB Cloud 功能。我们计划在 4 月底提供云专用集群。到 8 月,我们的目标是更新 InfluxDB OSS 和 InfluxDB Enterprise。请继续关注团队的更多更新。

  • 在此处注册 InfluxDB Cloud here

  • 由 IOx GitHub repo 驱动的 InfluxDB Cloud

要查看完整的网络研讨会并收听其余的问答,请单击此处