Datadog 与 M3

Datadog 概览

Datadog 是一个监控和分析平台，它集成了基础设施监控、应用性能监控 (APM) 和日志管理，并将其自动化，从而为组织提供对其整个技术堆栈的统一、实时可观测性。Datadog 成立于 2010 年，已迅速成为云规模监控的首选解决方案，提供基于 SaaS 的功能，使企业能够提高敏捷性、提高效率，并在动态、高规模的基础设施中提供端到端的可视性。

M3 概览

M3 是一个完全用 Go 编写的分布式时序数据库。它旨在收集大量的监控时序数据，以水平可扩展的方式分发存储，并有效地利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛的使用。

Datadog 用于时序数据

Datadog 通过其基于指标的架构，在处理时序数据方面表现出色。它针对随时间推移收集和分析数据点进行了优化，例如 CPU 使用率、内存消耗或请求延迟。虽然 Datadog 不是专门的时序数据库，但它集成了长期数据保留、聚合和可视化等功能，使其非常适合监控随时间变化的指标。但是，与 InfluxDB 等专门的时序数据库相比，它可能不是大规模实时分析的理想选择。

M3 用于时序数据

M3 专为时序数据而设计。它是一个分布式且可扩展的时序数据库，针对处理大量高分辨率数据点进行了优化，使其成为存储、查询和分析时序数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询功能以及高摄取率，这对于处理时序数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

Datadog 关键概念

• Datadog Agent：Datadog Agent 是安装在您的服务器、容器或端点上的轻量级软件，用于收集和报告指标、日志和跟踪数据。它充当您的系统与 Datadog 平台之间的主要桥梁。
• 仪表板：Datadog 中的仪表板提供了一个可自定义的界面，用于可视化指标、日志和跟踪数据。它们支持各种小部件，包括时序图、仪表和热图，以有意义的方式呈现数据。
• 集成：Datadog 支持 600 多个集成，以连接各种技术，例如数据库、云提供商和容器编排器。每个集成都会收集相关的指标、日志和事件，并且可能需要通过 Agent 进行特定的配置。
• 事件：事件是通过 Agent、集成或自定义应用程序流式传输到 Datadog 的数据。它们被流式传输到 Datadog，可用于过滤和关联应用程序中正在发生的事情
• 标签：标签是分配给指标、日志和跟踪数据的元数据，用于对数据进行分组、过滤和搜索。有效使用标签（例如环境、区域或服务）对于高效地组织和分析数据至关重要。

M3 关键概念

• 时序压缩：M3 具有压缩时序数据的能力，从而显着节省内存和磁盘空间。它使用两种压缩算法，M3TSZ 和 protobuf 编码，以实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时序键被哈希到一组固定的虚拟分片，从而实现水平扩展和无缝节点管理。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

Datadog 架构

Datadog 采用 SaaS（软件即服务）模型，具有高度分布式、基于云的架构。它使用 Agent 从各种来源收集数据，然后这些数据在 Datadog 的云中进行处理和存储。该平台支持结构化和非结构化数据，其后端利用现代分布式系统原理来确保可扩展性和可靠性。关键组件包括数据摄取管道、指标存储、日志处理系统和查询引擎。

M3 架构

M3 旨在实现水平扩展并处理高数据吞吐量。它使用文件集文件作为长期存储的主要单元，存储压缩的时序值流。在块时间窗口变得不可访问后，这些文件将被刷新到磁盘。M3 有一个提交日志，相当于其他数据库中的提交日志或预写日志，这确保了数据完整性。客户端对等流负责从对等方获取块以进行引导。M3 还实施了缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。