Algorithmia ML 模型性能可视化,使用此 InfluxDB 模板轻松实现
作者:Anais Dotis-Georgiou / 产品, 应用场景, 开发者
Jan 12, 2021
导航至
衡量您的机器学习模型将帮助您了解模型的性能、实用性以及是否可以通过更多数据来改进模型。这就是 Algorithmia Insights – Algorithmia Enterprise MLOps 平台 的一项功能 – 所实现的功能。
Algorithmia 平台通过更快、更安全地交付更多模型,加速您实现 ML 价值的时间,据估计,85% 的机器学习模型永远无法投入生产。
Algorithmia MLOps 平台简介
Algorithmia 平台包括数据科学家、应用程序开发者和 IT 运维人员部署、管理、治理和保护生产环境中的机器学习和其他概率模型的功能。
该平台最近推出的功能 Algorithmia Insights 是一种灵活的集成解决方案,用于 ML 模型性能监控。它提供了一个指标管道,可用于检测、衡量和监控您的机器学习模型。
监控您的 MLOps 管道有助于确保您的模型训练和部署成功。它还有助于数据科学家评估模型漂移并根据需要执行模型维护。预制仪表板有助于减少设置监控 ML 工作负载的时间,使数据科学家能够发挥其优势并专注于模型本身。
如何获得机器学习模型的性能洞察
Algorithmia ML 模型性能指标模板(InfluxDB 模板)允许您使用 Telegraf 和 Kafka 将来自 Algorithmia 的操作指标和用户定义的推理相关指标流式传输到 InfluxDB,以帮助您获得模型的性能洞察。借助 八种内置的时间序列可视化类型 和大量的 自定义选项,InfluxDB Algorithmia 模板使您只需查看仪表板即可快速获得关于模型的有意义的洞察。
InfluxDB 模板允许您快速定义任何技术的整个监控配置(数据源、仪表板、警报),所有配置都包含在一个易于共享的开源文本文件中,只需一个命令即可导入 InfluxDB。
要 安装此模板,请注册您的免费 InfluxDB Cloud 帐户.
InfluxDB 用于监控机器学习模型
如果您刚开始使用 InfluxDB 和机器学习,我建议您访问 github.com/influxdata/Notebooks,其中包含大量关于使用 Jupyter Notebooks 进行时间序列预测和异常检测的示例。
鉴于 InfluxDB 的高摄取率、可扩展性和灵活的内置保留策略,它非常适合机器学习。除了通过提供上面显示的预制仪表板使监控 Algorithmia ML 模型性能指标变得容易之外,Algorithmia ML 模型性能指标模板还使 InfluxDB 的属性能够为您的用例工作。
在 InfluxDB 中收集 ML 算法性能指标使您能够成功管理您的 ML 生命周期和治理。将这些指标存储在 InfluxDB 中为您轻松创建警报关于任何任务关键型 ML 工作负载并在您的算法需要维护时接收通知提供了基础。
Algorithmia ML 模型性能指标
用户可以监控的 Algorithmia ML 模型性能指标取决于算法选择和用例。但是,它们可能包括如下指标:
- 风险评分
- 批准
- 算法持续时间
风险评分和批准是此 Python Algorithmia 示例特有的指标,而算法持续时间是 每次算法执行的许多自动创建的指标之一。