InfluxDB 与 Elasticsearch

InfluxDB 概览

InfluxDB 是一款高性能时序数据库，能够存储任何形式的时序数据，例如指标、事件、日志和跟踪。InfluxDB 由 InfluxData 开发，于 2013 年首次发布。InfluxDB 是一款用 Go 编写的开源数据库，专注于性能、可扩展性和开发者生产力。该数据库针对大规模处理时序数据进行了优化，使其成为涉及监控性能指标、物联网数据和实时分析的用例的常用选择。

InfluxDB 3.0 是 InfluxDB 的最新版本，目前在 InfluxDB 云 Serverless 和 InfluxDB 云 Dedicated 中提供。它采用 Rust 构建，Rust 是一种为性能、安全性和内存管理而设计的现代编程语言。InfluxDB 还具有解耦架构，允许计算和存储独立扩展。InfluxDB 3.0 为 SQL 和 InfluxQL（自定义类 SQL 查询语言，增加了对基于时间的函数的支持）提供查询支持。

Elasticsearch 概览

Elasticsearch 是一款构建于 Apache Lucene 之上的开源分布式搜索和分析引擎。它于 2010 年首次发布，此后因其可扩展性、近实时搜索功能和易用性而广受欢迎。Elasticsearch 旨在处理各种数据类型，包括结构化、非结构化和基于时间的数据。它通常与 Elastic Stack 中的其他工具结合使用，例如 Logstash 用于数据摄取，Kibana 用于数据可视化。

InfluxDB 用于时序数据

InfluxDB 专为时序数据设计，非常适合涉及随时间推移跟踪和分析数据点的应用程序。它在以下场景中表现出色：数据以高容量连续写入，同时用户还需要能够在摄取后快速查询该数据，以用于监控和实时分析用例。

Elasticsearch 用于时序数据

借助其分布式架构、近实时搜索功能以及对聚合的支持，Elasticsearch 可用于时序数据存储和分析。但是，对于时序数据而言，它可能不如专用时序数据库那样优化。尽管如此，Elasticsearch 仍广泛用于日志和事件数据存储和分析，可以被视为时序数据。

InfluxDB 关键概念

• 列式存储：InfluxDB 以面向列的格式存储数据，使用 Parquet 进行持久文件存储，并使用 Apache Arrow 作为数据的内存表示。列式存储可以更好地压缩数据，并加快分析工作负载的查询速度。
• 数据模型：InfluxDB 数据模型对于任何使用过其他数据库系统的人来说都很熟悉。在最高层是存储桶，这与其他系统所谓的数据库类似。InfluxDB 度量与表同义。度量的特定数据点包含标签和值。标签用作查询数据的主键的一部分，应用于识别在查询期间用于过滤的信息。InfluxDB 是无模式的，因此可以添加新字段，而无需迁移或修改架构。
• 集成：InfluxDB 的构建旨在灵活且适应您应用程序的架构。其中一个关键方面是 InfluxDB 使读取和写入数据变得容易的多种方式。首先，所有数据库功能都可以通过 HTTP API 或 InfluxDB CLI 访问。对于写入数据，InfluxDB 创建了 Telegraf，这是一种工具，可以通过插件从数百个不同的来源收集数据并将数据写入 InfluxDB。客户端库也可用于最流行的编程语言，以允许写入和查询数据。
• 解耦架构：InfluxDB 3.0 具有解耦架构，允许查询计算、数据摄取和存储独立扩展。这允许针对您的用例微调 InfluxDB，并显著节省成本。
• 查询语言：可以使用标准 SQL 或 InfluxQL 查询 InfluxDB，InfluxQL 是一种 SQL 方言，具有许多专门用于处理时序数据的函数。
• 保留策略：InfluxDB 允许您定义保留策略，以确定数据在自动删除之前存储多长时间。这对于管理大量时序数据的存储非常有用。

Elasticsearch 关键概念

• 倒排索引：Elasticsearch 使用的一种数据结构，用于实现快速高效的全文搜索。
• 集群：一组 Elasticsearch 节点，它们协同工作以分发数据和处理任务。
• 分片：Elasticsearch 索引的一个分区，允许数据分布在多个节点上，以提高性能和容错能力。

InfluxDB 架构

从宏观层面来看，InfluxDB 的架构旨在优化时序数据的存储和查询性能。InfluxDB 的确切架构会因版本以及您部署 InfluxDB 的方式而略有不同。

InfluxDB 3.0 的架构可以分解为四个关键组件，这些组件几乎彼此独立运行，从而使 InfluxDB 在配置方面非常灵活。这些组件是数据摄取、数据查询、数据压缩和垃圾回收。数据通过摄取器写入，延迟为毫秒级。数据查询器几乎可以立即查询此数据，同时压缩器在后台获取新写入的数据文件，并将它们合并为将发送到对象存储的较大文件。垃圾回收器负责数据保留和空间回收，方法是安排数据的软删除和硬删除。

InfluxDB 架构的关键部分是摄取和查询组件的分离，这允许根据当前的写入和查询工作负载独立扩展每个组件。查询器能够无缝地从摄取器以及对象存储中提取最近写入的数据，这允许廉价地存储数据，而不会增加查询延迟。

Elasticsearch 架构

Elasticsearch 是一款分布式、RESTful 搜索和分析引擎，它使用无模式 JSON 文档数据模型。它构建于 Apache Lucene 之上，并提供用于索引、搜索和分析数据的高级 API。Elasticsearch 的架构设计为水平可扩展，数据分布在集群中的多个节点上。数据使用倒排索引进行索引，从而实现快速高效的全文搜索。