Suricata 和 Thanos 集成

强大的性能和简单的集成,由 Telegraf 驱动,Telegraf 是 InfluxData 构建的开源数据连接器。

info

这不是大规模实时查询的推荐配置。为了查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Suricata 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时序数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展性

收集、组织和处理海量高速数据。当您将任何数据视为时序数据时,它会更有价值。使用 InfluxDB,这是排名第一的时序平台,旨在通过 Telegraf 进行扩展。

查看入门方法

输入和输出集成概述

此插件报告 Suricata IDS/IPS 引擎的内部性能计数器,并处理传入数据以适应 Telegraf 的格式。

此插件使用基于 HTTP 的 Prometheus 远程写入协议将指标从 Telegraf 发送到 Thanos,从而可以高效且可扩展地摄取到 Thanos Receive 组件中。

集成详情

Suricata

Suricata 插件捕获并报告来自 Suricata IDS/IPS 引擎的内部性能指标,其中包括各种统计信息,例如流量、内存使用率、正常运行时间以及流和警报的计数器。此插件监听来自 Suricata 的 JSON 格式的日志输出,使其能够解析和格式化数据以便与 Telegraf 集成。它作为服务输入插件运行,这意味着它主动等待来自 Suricata 的指标或事件,而不是按预定义的时间间隔收集指标。该插件支持不同指标版本的配置,从而提高了灵活性和详细的数据收集能力。

Thanos

Telegraf 的 HTTP 插件可以通过其兼容 Remote Write 的 Receive 组件将指标直接发送到 Thanos。通过将数据格式设置为 prometheusremotewrite,Telegraf 可以将指标序列化为与原生 Prometheus 客户端使用的相同的基于 protobuf 的格式。此设置实现了高吞吐量、低延迟的指标摄取到 Thanos 中,从而促进了大规模的集中式可观测性。它在混合环境中特别有用,在这些环境中,Telegraf 从 Prometheus 原生范围之外的系统(例如 SNMP 设备、Windows 主机或自定义应用程序)收集指标,并将它们直接流式传输到 Thanos 以进行长期存储和全局查询。

配置

Suricata

[[inputs.suricata]]
  ## Source
  ## Data sink for Suricata stats log. This is expected to be a filename of a
  ## unix socket to be created for listening.
  # source = "/var/run/suricata-stats.sock"

  ## Delimiter
  ## Used for flattening field keys, e.g. subitem "alert" of "detect" becomes
  ## "detect_alert" when delimiter is "_".
  # delimiter = "_"

  ## Metric version
  ## Version 1 only collects stats and optionally will look for alerts if
  ## the configuration setting alerts is set to true.
  ## Version 2 parses any event type message by default and produced metrics
  ## under a single metric name using a tag to differentiate between event
  ## types. The timestamp for the message is applied to the generated metric.
  ## Additional tags and fields are included as well.
  # version = "1"

  ## Alerts
  ## In metric version 1, only status is captured by default, alerts must be
  ## turned on with this configuration option. This option does not apply for
  ## metric version 2.
  # alerts = false

Thanos

[[outputs.http]]
  ## Thanos Receive endpoint for remote write
  url = "http://thanos-receive.example.com/api/v1/receive"

  ## HTTP method
  method = "POST"

  ## Data format set to Prometheus remote write
  data_format = "prometheusremotewrite"

  ## Optional headers (authorization, etc.)
  # [outputs.http.headers]
  #   Authorization = "Bearer YOUR_TOKEN"

  ## Optional TLS configuration
  # tls_ca = "/path/to/ca.pem"
  # tls_cert = "/path/to/cert.pem"
  # tls_key = "/path/to/key.pem"
  # insecure_skip_verify = false

  ## Request timeout
  timeout = "10s"

输入和输出集成示例

Suricata

  1. 网络流量分析:利用 Suricata 插件跟踪有关网络入侵尝试和性能的详细指标,帮助实时威胁检测和响应。通过可视化捕获的警报和流量统计信息,安全团队可以快速查明漏洞并降低风险。

  2. 性能监控仪表板:使用 Suricata Telegraf 插件指标创建一个仪表板,以监控 IDS/IPS 引擎的健康状况和性能。此用例提供了内存使用率、捕获的数据包和警报统计信息的概览,使团队能够保持最佳运行状态。

  3. 自动化安全报告:利用此插件生成有关警报统计信息和流量模式的定期报告,帮助安全分析师识别长期趋势并制定战略防御计划。自动化报告还可以确保持续评估网络的安全性。

  4. 实时警报处理:将 Suricata 的警报指标集成到更广泛的事件响应自动化框架中。通过结合来自 Suricata 插件的输入,组织可以开发用于警报的智能触发器和自动化响应工作流程,从而提高对潜在威胁的反应时间。

Thanos

  1. 无代理云监控:在云 VM 中部署 Telegraf 代理以收集系统和应用程序指标,然后使用 Remote Write 将它们直接流式传输到 Thanos。这提供了集中式可观测性,而无需在每个位置都部署 Prometheus 节点。

  2. 可扩展的 Windows 主机监控:在 Windows 机器上使用 Telegraf 收集 OS 级别的指标,并通过 Remote Write 将它们发送到 Thanos Receive。这使得在异构环境中实现可观测性,而原生 Prometheus 仅在 Linux 上受支持。

  3. 跨区域指标联合:多个地理区域中的 Telegraf 代理可以使用此插件将数据推送到区域本地的 Thanos Receive。从那里,Thanos 可以全局去重和查询指标,从而减少延迟和网络出口成本。

  4. 将第三方数据集成到 Thanos 中:使用 Telegraf 输入从自定义遥测源(例如 REST API 或专有日志)收集指标,并通过 Remote Write 将它们转发到 Thanos。这会将非原生数据引入 Prometheus 兼容的长期分析管道中。

反馈

感谢您成为我们社区的一份子!如果您有任何一般性反馈或在这些页面上发现任何错误,我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展性

收集、组织和处理海量高速数据。当您将任何数据视为时序数据时,它会更有价值。使用 InfluxDB,这是排名第一的时序平台,旨在通过 Telegraf 进行扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许基于这些消息创建指标。它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。它支持多种输入数据格式,并提供使用 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成