TL;DR InfluxDB技术技巧——使用和理解InfluxDB Cloud使用模板

作者：Anais Dotis-Georgiou / 用例，开发者，产品
2021年6月29日

因此，您正在使用InfluxDB Cloud，并将数百万个指标写入您的账户。无论是基于InfluxDB构建IoT应用程序还是使用InfluxDB监控生产环境，您的时间序列操作终于运行顺畅。您想保持这种方式。您可能是一名免费计划云用户或一名基于使用量的计划用户，但无论如何，您需要了解您的实例大小以管理资源和成本。使用InfluxDB Cloud使用模板来了解您的使用情况，并在达到限制之前采取主动措施。

什么是InfluxDB Cloud使用模板？

如果您是InfluxData的新用户，InfluxDB模板 是一个预配置并可共享的仪表板、任务、警报、Telegraf配置等集合。您可以通过以下方式应用它们：1）使用CLI和influx apply命令；或2）从社区模板中复制您感兴趣的模板的URL，并将其粘贴到UI中。今天，我们将应用InfluxDB Cloud使用模板到我们的InfluxDB Cloud账户中，以监控我们的使用情况和速率限制事件。当用户超过其云账户的使用限制时，将发生速率限制事件。使用以下命令通过CLI应用InfluxDB Cloud使用模板：

influx apply --file https://raw.githubusercontent.com/influxdata/community-templates/master/usage_dashboard/usage_dashboard.yml

或者，您也可以使用UI来应用模板。导航到设置页面的模板标签页，并将要应用的模板的YAML或JSON链接粘贴进去。

InfluxDB Cloud使用模板包含以下资源

• 1 仪表板：使用情况仪表板。此仪表板允许您跟踪您的InfluxDB Cloud数据使用情况和限制事件。
• 1 任务：基数限制警报（使用情况仪表板），每小时运行一次。此任务负责确定您的基数是否超过了与您的云账户关联的基数限制。
• 1 标签：usage_dashboard。此标签帮助您在UI和API中更容易地找到属于此模板的资源。

使用情况仪表板的说明

InfluxDB Cloud使用模板包含使用情况仪表板，它使您能够了解数据输入、查询次数、存储、数据输出和速率限制事件。

仪表板中的单元格显示以下信息

• 数据输入（图形）可视化通过/write端点写入到您的InfluxDB组织中的总字节数。
• 查询次数（图形）可视化执行的查询数量。
• 存储（按存储桶）可视化每个存储桶中的总字节数以及所有存储桶的总数。
• 数据输出（图形）可视化通过/query端点从您的InfluxDB组织查询的总字节数。
• 速率限制事件可视化限制被达到的次数。
• 速率限制事件在底部右边的单元格中按事件类型分割，以显示写入限制、查询限制和基数限制事件的数量以及您组织的总基数限制。

所有这些可视化自动将数据聚合到1小时分辨率。实际上，此仪表板补充了InfluxDB UI中“使用情况”页面的数据，以为您提供更多关于使用情况的洞察。

理解使用情况仪表板背后的Flux

为了全面理解 InfluxDB Cloud 使用模板，您必须了解使用仪表板背后的 Flux。让我们看看第一个单元格中产生“数据输入（图形）”可视化的查询。

import "math"
import "experimental/usage"
 
usage.from(
start: v.timeRangeStart,
stop: v.timeRangeStop,
)
|> filter(fn: (r) =>
r._measurement == "http_request"
and (r.endpoint == "/api/v2/write" or r.endpoint == "/write")
and r._field == "req_bytes"
)
|> group()
|> keep(columns: ["_value", "_field", "_time"])
|> fill(column: "_value", value: 0)
|> map(fn: (r) =>
({r with
write_mb: math.round(x: float(v: r._value) / 10000.0) / 100.0
}))

首先，我们导入所有相关的包以执行生成我们所需可视化的 Flux 查询。Flux 数学包提供了基本数学函数和常数。Flux 实验性/使用包提供了收集与您的 InfluxDB Cloud 账户相关的使用和使用限制数据的函数。InfluxDB Cloud 使用模板中的所有单元格、仪表板和任务都使用 Flux 实验性/使用包。函数 usage.from() 返回使用数据。我们过滤出任何写入中的“req_bytes”字段的使用数据。然后我们对写入数据进行分组，用 0 填充任何空行，并计算兆字节数，将值存储在新列“write_mb”中。

探索实验性/使用 Flux 包

实验性/使用包包含两个函数：usage.from() 和 usage.limits()。

函数 usage.from() 对应于 InfluxDB v2 API 中的 org/{orgID}/usage 端点。函数 usage.from() 返回您 InfluxDB 组织的使用数据。函数 usage.from() 需要您指定 start 和 stop 参数。默认情况下，该函数返回按小时汇总的聚合使用数据。此默认下采样使您能够有效地查询长时间段的使用数据。如果您想查看原始高分辨率数据，请查询短时间范围（几小时）并设置 raw:true。默认情况下，usage.from() 返回您当前使用的 InfluxDB Org 的使用数据。要查询外部 InfluxDB Cloud Org，请提供 host、orgID 和 token 参数。函数 usage.from() 返回具有以下模式的使用数据

• _time: 使用事件的时刻（raw:true）或下采样使用数据（raw:false）。
• _bucket_id: 每个存储桶特定使用的存储桶 id，如 storage_usage_bucket_bytes 测量值标签。
• _org_id: 正在查询使用数据的组织 id 标签。
• _endpoint: 收集使用数据的 InfluxDB v2 API 端点标签。
• _status: HTTP 状态码标签。
• _measurement: 测量值。
  • http_request
  • storage_usage_buckets_bytes
  • query _count
  • events
• _field: 字段键。
  • resp_bytes: 一个响应中的字节数或 raw:true。在下采样数据中，raw:false 每个端点按小时汇总。
  • gauge: 在 _time 指示的时刻，由 _bucket_id 标签指示的存储桶中的字节数。如果您的存储桶具有无限保留策略，则从您开始向存储桶写入数据到此刻的 req_bytes 之和将等于 gauge 值。
  • req_bytes: 一个请求的字节数（raw:true）。在下采样数据中，raw:false 每个端点按小时汇总。
  • event_type_limited_cardinality: 卡inality 限制事件的次数。
  • event_type_limited_query: 查询限制事件的次数。
  • event_type_limited_write: 写入限制事件的次数。

函数 usage.limits() 对应 InfluxDB v2 API 中的 org/{orgID}/limits 端点。函数 usage.limits() 返回一个记录，具体是一个与您 InfluxDB Cloud 组织相关的使用限制的 json 对象。为了在 VS Code 或 InfluxDB UI 中返回记录，我建议使用 array.from 函数，如下所示

import "experimental/usage"
import "array"
limits = usage.limits()
array.from(rows: [{
    orgID: limits.orgID,
    wrte_rate: limits.rate.writeKBs,
    query_rate: limits.rate.readKBs,
    bucket: limits.bucket.maxBuckets,
    task: limits.maxTasks,
    dashboard: limits.dashboard.maxDashboards,
    check: limits.check.maxChecks,
    notificationRule: limits.notificationRule.maxNotifications,
}])

上面的 Flux 代码本质上使用 array.from 函数将 json 输出转换为注解 CSV。以下是一个 usage.limits() 返回的 json 对象示例，以帮助您了解嵌套 json 键的来源。

{
  orgID: "123",
  rate: {
    readKBs: 1000,
    concurrentReadRequests: 0,
    writeKBs: 17,
    concurrentWriteRequests: 0,
    cardinality: 10000
  },
  bucket: {
    maxBuckets: 2,
    maxRetentionDuration: 2592000000000000
  },
  task: {
    maxTasks: 5
  },
  dashboard: {
    maxDashboards: 5
  },
  check: {
    maxChecks: 2
  },
  notificationRule: {
    maxNotifications: 2,
    blockedNotificationRules: "comma, delimited, list"
  },
  notificationEndpoint: {
    blockedNotificationEndpoints: "comma, delimited, list"
  }
}

使用基数限制警报任务

基数限制警报任务负责确定您是否达到了或超过了您的基数限制，并将警报发送到 Slack 端点。为了使此任务功能正常并向 Slack 发送警报，您必须编辑任务并提供 webhook。您可以直接通过 UI 编辑任务，或者可以使用 CLI 和 Visual Studio 代码的 Flux 扩展。对于这个一行编辑，我建议使用 UI。