Amazon Timestream for LiveAnalytics 与 Apache Druid

Amazon Timestream for LiveAnalytics 概述

Timestream for LiveAnalytics 是 AWS 开发的完全托管的无服务器时间序列数据库服务。Amazon Timestream for LiveAnalytics 于 2020 年推出，专门为处理时间序列数据而设计，使其成为需要高摄取率、高效存储和快速查询功能的物联网、监控和分析应用程序的理想选择。作为 AWS 生态系统的一部分，Timestream for LiveAnalytics 可以轻松地与其他 AWS 服务集成，从而简化了在云中构建和部署时间序列应用程序的过程。AWS 还提供 Timestream for InfluxDB，它是 InfluxDB 的托管版本，与 InfluxDB 2.x API 兼容，并与 InfluxData 合作发布。

Apache Druid 概述

Apache Druid 是一个开源的实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，并于 2018 年捐赠给 Apache 软件基金会，因其能够以低延迟处理大量数据而广受欢迎。Druid 具有独特的架构，结合了时间序列数据库、搜索系统和列式存储的元素，特别适用于涉及事件驱动型数据和交互式分析的用例。

Amazon Timestream for LiveAnalytics 用于时间序列数据

Amazon Timestream for LiveAnalytics 专为处理时间序列数据而设计，使其成为需要高摄取率和高效存储的各种应用程序的合适选择。其双层存储架构，包括内存存储和磁盘存储，允许用户根据数据年龄和访问模式管理数据保留并优化存储成本。此外，Timestream 支持类似 SQL 的查询，并与流行的分析工具集成，使用户可以轻松地从其时间序列数据中获得见解。

Apache Druid 用于时间序列数据

Apache Druid 专为实时分析而设计，非常适合处理需要在写入后快速分析的时间序列数据。Druid 还提供用于将历史数据存储在更便宜的对象存储中的集成，因此也可以使用 Druid 分析历史时间序列数据。

Amazon Timestream for LiveAnalytics 关键概念

• 内存存储：在 Amazon Timestream for LiveAnalytics 中，内存存储是一个组件，用于在内存中存储最近的、可变的时间序列数据，以便进行快速查询和分析。
• 磁盘存储：Amazon Timestream for LiveAnalytics 中的磁盘存储负责在磁盘上存储历史的、不可变的时间序列数据，以实现经济高效的长期存储。
• 生存时间 (TTL)：Amazon Timestream for LiveAnalytics 允许用户在其时间序列数据上设置 TTL，该 TTL 确定数据在内存存储中保留多长时间，然后才移动到磁盘存储或删除。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源（例如流式或批量数据源）导入到 Druid 的过程。
• 段：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
• 数据汇总：在摄取期间聚合原始数据的过程，以减少存储需求并提高查询性能。
• 节点：Druid 的架构由不同类型的节点组成，包括历史节点、Broker 节点、协调器节点和 MiddleManager/Overlord 节点，每个节点都有特定的职责。
• 索引服务：Druid 的索引服务管理摄取数据、创建段以及将段发布到深度存储的过程。

Amazon Timestream for LiveAnalytics 架构

Amazon Timestream for LiveAnalytics 构建在无服务器分布式架构之上，该架构支持类似 SQL 的查询功能。其数据模型专为时间序列数据量身定制，使用带时间戳的记录和灵活的架构，可以适应不同的数据粒度和维度。Timestream 架构的核心组件包括内存存储和磁盘存储，它们共同管理数据保留、存储和查询。内存存储针对最近数据的快速查询进行了优化，而磁盘存储为历史数据提供了经济高效的长期存储。

Apache Druid 架构

Apache Druid 是一个强大的分布式数据存储，专为对大型数据集进行实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件的概述。

• 历史节点是 Druid 数据服务功能的基础。它们的主要职责是为查询提供存储的数据。为了实现这一点，它们从深度存储中加载段，将它们保留在内存中，然后满足对这些段的查询。在考虑部署和管理时，这些节点通常位于配备大量内存和 CPU 资源的计算机上。它们的可扩展性显而易见，因为只需合并更多节点即可水平扩展它们。
• Broker 节点充当传入查询的网关。它们的主要功能是将这些查询定向到相应的历史节点或实时节点。有趣的是，它们是无状态的，这意味着可以扩展它们以适应查询并发性的增加。
• 协调器节点具有管理角色，负责监督历史节点之间的数据分布。它们关于加载或删除哪些段的决策基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动的协调器节点，以及一个备用节点以用于故障转移场景。
• Overlord 节点指示摄取任务的分配，将它们定向到中间管理器节点或索引器节点。它们的部署与协调器节点的部署类似，通常有一个活动的 Overlord 和一个备份用于冗余。
• MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力军。虽然 MiddleManager 启动用于数据摄取的短期任务，但索引器专为长期任务而设计。鉴于其密集型操作，这些节点需要高 CPU 和内存资源。它们的可扩展性很灵活，允许根据数据摄取量进行水平扩展。
• 深度存储是一个组件，它充当 Druid 的持久存储单元。Druid 与各种 Blob 存储解决方案集成，例如 HDFS、S3 和 Google Cloud Storage。
• 元数据存储库是关于段、任务和配置的关键元数据的存储库。Druid 与流行的数据库兼容，用于此目的，包括 MySQL、PostgreSQL 和 Derby。