使用 InfluxDB 3.0 规模化时间序列工作负载:新工具、改进和产品现已全面上市
作者:David Sprogis / 开发者,
2024年9月4日
导航至
自首次发布以来,InfluxDB 3.0 产品套件已经推出了许多新功能和性能改进。这些改进巩固了 InfluxDB 3.0 作为行业领先的时间序列数据库的地位,提供无与伦比的性能,具有无限基数、高速、独立可扩展的数据摄入、实时查询以及使用 Parquet 格式在成本效益高的对象存储上的卓越数据压缩。通过这些更新,InfluxDB 3.0 正在使开发者能够更容易地管理任何规模的时间序列工作负载,无论是在物联网、金融、航空航天还是依赖高分辨率数据的环境中。
鉴于此,我们非常高兴地宣布 InfluxDB 3.0 的最新改进和新功能,以及我们用于大规模时间序列工作负载的自托管产品 InfluxDB Clustered 的全面上市。
InfluxDB 3.0 产品套件中的新功能
操作仪表板
InfluxDB Cloud 专用用户现在可以访问 操作仪表板,该仪表板提供了对集群性能的全面可观察性。用于监控您的 InfluxDB Cloud 专用集群的仪表板是由 InfluxData 管理的 Grafana 仪表板。这些仪表板提供了对 InfluxDB 3.0 的每个组件的洞察,通过监控数据摄入、查询性能和压缩来识别潜在的瓶颈和优化机会。
单点登录
InfluxDB Cloud 专用现在支持 单点登录 (SSO),以实现企业级访问控制对您的 InfluxDB 集群的访问。通过将您的身份提供者连接到 InfluxData 管理的 Auth0 服务,您可以轻松地授予或撤销对 InfluxDB 集群的访问权限,就像您对任何其他系统做的那样。
管理 API
InfluxDB Cloud Dedicated 的管理 API(管理 API)简化了数据库、API 令牌和表的管理操作。通过这个 API,用户可以自动化一些操作,例如启动新的 InfluxDB 实例、创建具有自定义分区的数据库以及管理访问您 InfluxDB 实例的开发者 API 令牌。
参数化查询
InfluxQL 和 SQL 支持参数化查询(参数化查询),提供查询的重用性并有助于防止潜在的 SQL 注入攻击。此外,参数化查询可以在应用级别使用,以定义数据操作权限,并允许更细粒度的控制。
InfluxDB 集群版现已全面上市
我们的自托管产品 InfluxDB 集群版现已 全面上市,使用户能够在私有云或本地环境中利用 InfluxDB 3.0。与 InfluxDB 3.0 产品套件的其余部分一样,InfluxDB 集群版提供相同的高吞吐量数据读写性能,独立可扩展的读写性能,支持无限数据基数,实时数据分析以及对大型时序工作负载的原生 SQL 支持。
InfluxDB 集群版可以通过 Helm 图表部署到 Kubernetes 上,并具有完全解耦的摄取、查询和存储层。这种架构允许您根据需要独立扩展 InfluxDB 部署的各个组件。这种高可用性和可扩展性允许您根据特定的工作负载和需求定制技术基础设施。无论您的负载是写入密集型、读取密集型,还是两者兼备,以及如果您有严格的安全和数据居住要求,InfluxDB 集群版都能提供处理所有这些的灵活性。
InfluxDB 3.0 性能改进
InfluxDB 3.0 在多个方面继续实现显著的性能改进。主要增强包括对 InfluxDB 3.0 核心组件 Apache DataFusion 引擎的上游贡献(Apache DataFusion)。这些贡献不仅有利于 InfluxDB 3.0,也有利于整个 DataFusion 社区。其他性能改进来自于 InfluxDB 特定功能,如自定义分区,允许用户针对其特定工作负载优化 InfluxDB 以实现更好的性能。
以下是一些自 InfluxDB 3.0 发布以来实现的一些性能改进:
- 自定义分区:InfluxDB 集群版和 Cloud Dedicated 现在允许开发者定义其数据如何在底层 Parquet 文件中分组。默认情况下,数据按日分区,每天的数据存储在同一 Parquet 文件中。自定义分区允许您根据需要调整此时间范围或按特定标签进行分区。例如,如果您经常按特定标签值查询,您可以相应地进行分区,确保它存储在同一文件中,从而通过减少查询期间访问的文件数量来提高性能。分区也可以使用标签和时间的组合来创建。请阅读文档了解有关此功能的更多信息。
- 改进的聚合和分组性能:InfluxDB 3.0 通过增强 DataFusion 中的并行聚合,在各种类型的聚合和分组查询上实现了 2-3 倍的性能提升。这是通过重写 DataFusion 中 Group By 实现的部分以减少分配并更好地利用矢量化来实现的。
- 更快字符串密集型查询性能:在DataFusion中添加StringView支持后,涉及字符串的查询性能提升了20-200%。这种改进是由改进UTF-8验证和编译器优化驱动的。
这些性能提升使得像ju:niz Energy这样的公司能够将存储的数据量增加约100倍,同时在InfluxDB 3.0中利用低成本对象存储来保持查询性能并降低存储成本。另一个很好的例子是Joby Aviation,它使用InfluxDB Clustered快速摄取、高效压缩并保留从它们的电动垂直起降(eVTOL)飞机生成的大量时间序列数据,同时保持存储成本可控。
今天开始使用InfluxDB 3.0
InfluxDB 3.0持续演进和改进,提供了一套强大且功能丰富的特性和性能能力,以支持任何时间序列数据工作负载。无论您是在管理物联网传感器数据、监控应用程序,还是将火箭送入太空,InfluxDB 3.0都具有您成功所需的工具、性能和灵活性。