宣布 InfluxDB Edge 数据复制:结合云的力量与边缘的精度
作者:Sam Dillard / 用例,产品,开发者,公司
2022年6月15日
导航到
在边缘和云中都拥有时序数据存在的技术和业务原因——InfluxDB 总是在这两个环境中扮演关键角色。今天,我们宣布 Edge Data Replication(边缘数据复制)这一新特性,它结合了这两种部署策略。随着这一公告,InfluxData 开始了一个更大的计划,以一个统一的解决方案来适应边缘和云数据工作负载。
边缘变得越来越重要。需要新边缘解决方案的企业,加上来自这些设备的快速数据增长,给开发者带来了巨大的挑战,需要有效地管理和使用这些数据。数据具有重力,当应用变得更加分布式并且边缘数据量呈指数增长时,这种重力会变得更加强大。
成千上万的企业使用 InfluxDB 开源版 (OSS) 在边缘进行本地收集、存储和处理 时序数据。这使 InfluxDB 扮演了管理边缘数据层的角色,允许 API 访问、本地服务仪表板、与自动化和控制的集成,以及将数据交付到警报系统。此外,还有成千上万的组织和发展者采用了 InfluxDB Cloud 来构建云本地的时序应用程序。
边缘和云数据的需求都很强烈——有时甚至非常严格。在选择边缘或云进行存储和计算时,有许多考虑因素,但最终,开发者想要确保这两个数据层以简单高效的方式协同工作,以便在近乎实时的方式下提供集中的业务洞察。到目前为止,设计边缘到云的集成需要大量的前期和持续投资,这既昂贵又耗时,且容易出错。
介绍 InfluxDB Edge 数据复制
今天,我们非常激动地宣布 Edge Data Replication(EDR)的立即可用性,这是一个统一边缘和云环境中时序数据处理解决方案,让开发者能够在广泛分布的环境中提供综合智能。Edge Data Replication(EDR)使实时从 InfluxDB OSS 桶复制数据到 InfluxDB Cloud 桶成为可能,这意味着用户现在可以从边缘收集、存储和分析高精度时序数据,并在云中查看这些数据。
这个新功能建立在InfluxDB OSS的两个关键特性之上。首先,InfluxDB OSS能够在资源受限的系统中非常高效地运行。其次,InfluxDB OSS运行Flux,这是一种函数式数据脚本语言和任务引擎,可以以开发人员选择的方式分析和转换时间序列数据。在InfluxData,我们专注于简化围绕时间序列数据的开发者体验,因此开发一种将这两个OSS特性连接起来以实现功能齐全的边缘到云数据管道的方法是不言而喻的。
InfluxDB的2.2版本引入了一个新功能,用于自动将时间序列数据复制到其他InfluxDB实例。耐用的磁盘支持队列增加了缓冲,可以承受计划内和计划外的网络连接中断。此外,此功能在桶级别配置复制,因此开发人员和操作人员可以精确地定义要复制的哪些数据集以及将它们发送到何处。
此复制发生在写入时。当时间序列数据到达边缘并与复制规则匹配时,OSS立即将数据镜像到配置中定义的远程桶。当InfluxDB OSS无法将数据发送到远程实例时,所有事件都将缓冲在本地持久队列中,直到连接恢复。持久队列的大小和保留时间是可以配置的。
实际上,该功能由两个新的API端点(/remotes 和 /replications)和两个新的CLI命令(remote 和 replication)组成。每个复制的桶也都有一个磁盘支持的队列,用于在出现中断时安全地缓冲数据。
为分布式应用程序提供边缘支持
边缘数据复制为开发人员提供了一种快速且持久的流式传输边缘数据到云的方法,配置简单。此功能使用户能够在云中获取所需数据,以构建对所有边缘活动的全局视图。优势包括
- 集成边缘和云工作负载:允许业务快速参与边缘和云计算的时间序列工作负载,无需工程人员引入或管理任何第三方软件。
- 降低网络成本:边缘数据复制通过利用Flux任务引擎的内置功能,帮助用户智能地减少发送到云的数据量。边缘OSS节点的操作员可以在预先计算聚合和过滤,从而将互联网上发送的最关键数据量限制到最低。他们还可以使用此功能过滤或计算有趣的事件,仅将那些事件转发到云进行监控。
- 转换边缘数据:动态地为云中处理所需的边缘数据添加上下文,这可能需要额外的维度以满足查询或特征工程。
- 实施边缘-云一致性:在网络连接中断时,通过在边缘排队数据,直到可以安全地将其传输到云,以承受计划内和计划外的中断。
重新构想TSDB架构
数据架构师需要一种强大且可重复的方法来设计系统,该系统在边缘和云的限制内工作;理解各自的优点和缺点。通过边缘数据复制,我们正在解锁一种方法,以灵活地适应边缘和云数据工作负载,无论其起源点或目标位置如何。
在开发者所在之处提供服务
今天的公告是InfluxData更广泛愿景的早期一步,即使用InfluxDB平台支持明天的技术、应用程序和开发人员挑战。我们总是希望在开发者所在之处提供服务。通过这次发布,我们帮助他们实现更快的“时间到出色”,以便他们可以发现关键的边缘见解,并继续构建应用程序的其他方面。
今天开始使用边缘数据复制
要开始构建您的边缘云计算管道,如果您还没有注册,请前往 InfluxDB Cloud 进行注册。否则,请查阅 文档。如果您想了解更多信息并启用时序数据的边缘云计算双重性,请注册我们即将于6月28日举办的 EDR 网络研讨会。