将指标转化为洞见：如何构建现代智能的DevOps监控管道

作者：Suyash Joshi / 开发者
2025 年 1 月 9 日

导航至

当 Netflix 缓冲或 AWS 宕机时，团队会迅速采取行动。但他们是如何如此快速地识别和修复问题的呢？秘诀在于智能 DevOps 监控，这是一个不仅能观察，还能理解您基础设施行为的系统。

在本实践指南中，我们将构建一个现代监控管道，帮助您在用户注意到问题之前捕获并解决问题。我们准备了一个 Python 示例应用程序，我们鼓励您试用它，以了解系统的实际运行情况。

DevOps 管道图

使用开源技术的管道构建模块

1. 使用 Telegraf 进行实时数据采集

  • 目的： 大规模收集系统指标（CPU、内存、磁盘 I/O）
  • 主要特性
    • 支持数百种输入插件，用于各种数据源
    • 高效、低开销的数据采集
    • 内置聚合和处理能力

Telegraf，一个流行的开源工具，需要一个高度可定制的简单配置文件。以下是一个收集 CPU 指标的示例配置

[[inputs.cpu]]

  percpu = true

  totalcpu = true

  collect_cpu_time = false

  report_active = false

[[outputs.influxdb_v2]]

  urls = ["http://localhost:8086"]

  token = "$INFLUXDB_TOKEN"

  organization = "your-org"

  bucket = "server-metrics"

此配置收集 CPU 指标并将它们发送到 InfluxDB bucket 以进行存储。

备选方案：使用 CSV 上传进行批量处理

如果实时监控不是必需的，您可以上传存储在 CSV 文件中的批量指标。以下是 示例应用程序 如何处理这些文件

import pandas as pd
from influxdb_client_3 import InfluxDBClient3

# Load metrics from a CSV file
data = pd.read_csv("data/system-metrics-data.csv")
data["timestamp"] = pd.to_datetime(data["timestamp"])

# Write metrics to InfluxDB
client = InfluxDBClient3(
  token="your-token",
  host="https://your-influxdb-host",
  org="your-org",
  database="server-metrics"
)

client.write(bucket="server-metrics", record=data)
print("Metrics from CSV written to InfluxDB.")

此方法非常适合历史数据或批量数据处理。

2. 使用 InfluxDB Cloud 进行时序存储

  • 目的： 高效且快速地存储和查询基于时间的数据
  • 主要特性
    • 专为大规模时序数据构建
    • 高效的压缩和实时查询能力
    • 灵活的保留策略
    • 标准 SQL 支持以及与第三方系统的集成

InfluxDB 是我们监控系统的骨干，存储历史数据并以最小的开销实现实时分析。

3. 使用向量数据库进行模式识别与异常检测

  • 目的： 通过模式识别检测细微的系统异常
  • 主要特性
    • 将指标模式存储为高维向量
    • 支持基于相似性的异常检测
    • 随时间学习正常的行为模式

什么是向量数据库？

向量数据库将数据存储为向量，即数值数组。这些向量表示数据的模式或特征，例如一段时间内的系统指标。通过比较向量，向量数据库可以高精度地检测相似性或异常。这在异常检测中尤其有用，因为静态阈值可能会遗漏细微的问题。

以下是我们的应用程序如何使用 Qdrant 向量数据库来存储和查询向量化模式以进行异常检测的示例。

from qdrant_client import QdrantClient
import numpy as np
client = QdrantClient(path="./vector_db")

# Example: Create a vector from system metrics

metrics = [0.5, 0.6, 0.8, 0.9, 0.7, 0.65, 0.62, 0.7, 0.68, 0.72]  # Replace with actual metrics
vector = np.array(metrics)

# Upsert vector into Qdrant
data_point = {
  "id": "metric_1",
  "vector": vector.tolist(),
  "payload": {
  "metric_name": "cpu_usage",
  "host": "server-1",
  "mean": vector.mean(),
  "std": vector.std()
  }
}

client.upsert(
  collection_name="cpu_patterns",
  points=[data_point]
)

# Query for similar patterns
query_vector = vector.tolist()
search_results = client.search(
  collection_name="cpu_patterns",
  query_vector=query_vector,
  limit=5
)

for result in search_results:
  print(f"Found similar pattern with score: {result.score}")

使用 Qdrant，您可以将传入的指标模式与历史数据进行比较，以识别静态阈值可能遗漏的异常。

4. 使用 Grafana 进行可视化和告警

  • 目的：提供可操作的洞见和通知
  • 主要特性
    • 用于即时洞见的实时仪表板
    • 可定制的告警系统
    • 丰富的可视化选项
    • 团队协作功能

Grafana 使监控变得易于访问和可操作，提供了一种用户友好的方式来可视化指标和配置警报以进行快速响应。

实际应用

在生产环境中，您可以进一步优化您的管道，方法包括

  • 添加更多特定于您的应用程序的指标（例如，API 延迟、数据库查询）
  • 通过电子邮件、Slack 或 Grafana 设置告警
  • 创建针对您团队工作流程定制的自定义仪表板
  • 将监控管道与您的 CI/CD 流程集成，以跟踪部署影响

总结

智能监控不仅仅是收集指标；而是理解模式并尽早发现问题。此管道为现代可靠的 DevOps 监控奠定了基础，它可以随着您的需求增长。

从小处着手，并随着基础设施的演变进行迭代。借助 Telegraf、InfluxDB、Qdrant 和 Grafana 等领先技术，您将能够自信地处理现代系统的复杂性。