InfluxDB 与 Datadog

InfluxDB 概述

InfluxDB 是一款高性能时间序列数据库，能够存储任何形式的时间序列数据，例如指标、事件、日志和跟踪。InfluxDB 由 InfluxData 开发，于 2013 年首次发布。InfluxDB 是一款用 Go 编写的开源数据库，专注于性能、可扩展性和开发者生产力。该数据库针对大规模处理时间序列数据进行了优化，使其成为监控性能指标、物联网数据和实时分析等用例的流行选择。

InfluxDB 3.0 是 InfluxDB 的最新版本，目前在 InfluxDB Cloud Serverless 和 InfluxDB Cloud Dedicated 中提供。用 Rust 构建，Rust 是一种为性能、安全性和内存管理而设计的现代编程语言。InfluxDB 还具有解耦架构，允许计算和存储独立扩展。InfluxDB 3.0 提供对 SQL 和 InfluxQL（自定义类 SQL 查询语言，增加了对基于时间的函数的支持）的查询支持。

Datadog 概述

Datadog 是一个监控和分析平台，集成了基础设施监控、应用性能监控 (APM) 和日志管理，并将其自动化，从而为组织整个技术堆栈提供统一的实时可观测性。Datadog 成立于 2010 年，已迅速成为云规模监控的首选解决方案，提供基于 SaaS 的功能，使企业能够提高敏捷性、提高效率，并在动态、高规模的基础设施中提供端到端的可视性。

InfluxDB 用于时间序列数据

InfluxDB 专为时间序列数据设计，使其非常适合涉及随时间推移跟踪和分析数据点的应用程序。它在数据以高容量持续写入的场景中表现出色，同时用户还需要能够在摄取后快速查询该数据，以用于监控和实时分析用例。

Datadog 用于时间序列数据

Datadog 通过其基于指标的架构在处理时间序列数据方面表现出色。它针对收集和分析随时间推移的数据点进行了优化，例如 CPU 使用率、内存消耗或请求延迟。虽然 Datadog 不是专门的时间序列数据库，但它集成了长期数据保留、聚合和可视化等功能，使其非常适合监控时间相关的指标。然而，与像 InfluxDB 这样的专用时间序列数据库相比，它可能不是大规模实时分析的理想选择。

InfluxDB 关键概念

• 列式存储：InfluxDB 以面向列的格式存储数据，使用 Parquet 进行持久文件存储，并使用 Apache Arrow 作为数据的内存表示。列式存储可以实现更好的数据压缩和更快的分析工作负载查询。
• 数据模型：InfluxDB 数据模型对于任何使用过其他数据库系统的人来说都很熟悉。在最高层是存储桶，这与其他系统称为数据库的概念类似。InfluxDB 测量值与表同义。测量的特定数据点包含标签和值。标签用作查询数据的主键的一部分，应在查询期间用于识别用于过滤的信息。InfluxDB 是无模式的，因此可以添加新字段，而无需迁移或修改模式。
• 集成：InfluxDB 的构建旨在实现灵活性并适应您的应用程序架构。其中的一个关键方面是 InfluxDB 使读取和写入数据变得容易的多种方式。首先，可以通过 HTTP API 或 InfluxDB CLI 访问所有数据库功能。对于写入数据，InfluxDB 创建了 Telegraf，这是一种可以通过插件从数百个不同来源收集数据并将数据写入 InfluxDB 的工具。客户端库也适用于最流行的编程语言，以允许写入和查询数据。
• 解耦架构：InfluxDB 3.0 具有解耦架构，允许查询计算、数据摄取和存储独立扩展。这使得 InfluxDB 可以针对您的用例进行微调，并显著节省成本。
• 查询语言：可以使用标准 SQL 或 InfluxQL（一种 SQL 方言，具有许多专门用于处理时间序列数据的功能）查询 InfluxDB。
• 保留策略：InfluxDB 允许您定义保留策略，以确定数据在被自动删除之前存储多长时间。这对于管理高容量时间序列数据的存储非常有用。

Datadog 关键概念

• Datadog Agent：Datadog Agent 是一种轻量级软件，安装在您的服务器、容器或端点上，用于收集和报告指标、日志和跟踪。它充当您的系统与 Datadog 平台之间的主要桥梁。
• 仪表板：Datadog 中的仪表板提供了一个可自定义的界面，用于可视化指标、日志和跟踪。它们支持各种小部件，包括时间序列图、仪表和热图，以有意义的方式呈现数据。
• 集成：Datadog 支持 600 多个集成，以连接各种技术，例如数据库、云提供商和容器编排器。每个集成都会收集相关的指标、日志和事件，并且可能需要通过 Agent 进行特定配置。
• 事件：事件是通过 Agent、集成或自定义应用程序流式传输到 Datadog 的数据。它们流式传输到 Datadog，可用于过滤和关联应用程序中正在发生的事情
• 标签：标签是分配给指标、日志和跟踪的元数据，用于分组、过滤和搜索数据。有效使用标签（例如环境、区域或服务）对于高效组织和分析数据至关重要。

InfluxDB 架构

在高层面上，InfluxDB 的架构旨在优化时间序列数据的存储和查询性能。InfluxDB 的确切架构会因版本和部署 InfluxDB 的方式而略有不同。

InfluxDB 3.0 的架构可以分解为四个关键组件，这些组件几乎彼此独立运行，从而使 InfluxDB 在配置方面非常灵活。这些组件是数据摄取、数据查询、数据压缩和垃圾回收。数据通过摄取器以毫秒级延迟写入。数据查询器几乎可以立即查询此数据，同时压缩器在后台获取新写入的数据文件，并将它们组合成更大的文件，这些文件将发送到对象存储。垃圾回收器负责数据保留和空间回收，方法是安排数据的软删除和硬删除。

InfluxDB 架构的关键部分是摄取和查询组件的分离，这使得每个组件都可以根据当前的写入和查询工作负载独立扩展。查询器能够无缝地从摄取器以及对象存储中提取最近写入的数据，这使得数据可以廉价地存储，而不会增加查询延迟。

Datadog 架构

Datadog 采用 SaaS（软件即服务）模型，具有高度分布式、基于云的架构。它使用 Agent 从各种来源收集数据，然后这些数据在 Datadog 的云中进行处理和存储。该平台支持结构化和非结构化数据，其后端利用现代分布式系统原则来确保可扩展性和可靠性。关键组件包括数据摄取管道、指标存储、日志处理系统和查询引擎。