InfluxData 正在使用 c2goasm 和 SIMD 在 Go 中构建 Apache Arrow 的快速实现

作者：Stuart Carnie / 产品, 用例, 开发者, 公司
2018 年 3 月 22 日

InfluxData 很高兴宣布我们为 Apache Arrow 项目做出的贡献。本质上，我们正在贡献我们已经开始的工作：开发 Apache Arrow 的 Go 实现。我们相信开源，并致力于以有意义的方式参与和贡献开源社区。我们出于多种原因对 Apache Arrow 产生了兴趣，我们将在下面更详细地描述这些原因，并且将我们的初步努力贡献给 Apache 软件基金会，以确保社区在存储库中保持关注。

Apache Arrow 为平面和分层数据指定了一种标准化的、语言无关的、列式内存格式，该格式经过组织，可在现代硬件上高效执行分析操作。它还提供计算库以及零拷贝流式消息传递和进程间通信。正如我们一直在开发 InfluxDB 的新查询处理引擎和语言，目前称为 Flux f.k.a. IFQL，Arrow 提供了一种在数据库和查询处理引擎之间交换数据的卓越方式，同时还为 InfluxData 参与更广泛的数据处理和分析工具生态系统提供了额外的手段。

为什么选择 Arrow？

Flux f.k.a. IFQL 的众多目标之一是使用行业标准工具实现高效查询和分析数据的新方法。一个这样的例子是 pandas，一个开源库，为数据分析和可视化提供高级功能。另一个是 Apache Spark，一个可扩展的数据处理引擎。我们发现这些以及许多其他开源项目和商业软件产品都在采用 Apache Arrow 来解决高效共享列式数据的挑战。Apache Arrow 的使命宣言定义了许多与 InfluxData 团队产生共鸣的目标

Apache Arrow 是一个用于内存数据的跨语言开发平台。它为平面和分层数据指定了一种标准化的语言无关的列式内存格式，该格式经过组织，可在现代硬件上高效执行分析操作。它还提供计算库以及零拷贝流式消息传递和进程间通信。目前支持的语言包括 C、C++、Java、JavaScript、Python 和 Ruby。

具体来说

• 标准化：数据科学和分析领域的许多项目都在采用 Arrow，因为它解决了一组常见的设计问题，包括如何高效地交换大型数据集。早期采用者的例子包括 pandas 和 Spark，并且列表 持续增长。
• 性能：规范明确指出性能是 存在的理由。Arrow 数据结构旨在在现代处理器上高效工作，从而可以使用单指令多数据 (SIMD) 等功能。
• 语言无关：C/C++、Python、Java 和 Javascript 的成熟库已经存在，Ruby 和 Go 的库正在积极开发中。更多的库意味着更多处理数据的方法。

我们还将 Apache Arrow 视为参与并贡献于将面临类似挑战的社区的机会。共同的问题，解决一半。

InfluxData 中的 Apache Arrow

我们已经确定了 InfluxDB 将从 Apache Arrow 中受益的几个领域

• 表示内存中的 TSM 列式数据，
• 使用 SIMD 数学内核执行聚合，以及
• InfluxDB 和 Flux f.k.a. IFQL 之间的数据通信协议。

对于 Flux f.k.a. IFQL

• 表示块数据结构，
• 使用 SIMD 数学内核执行聚合，以及
• 客户端的主要通信协议。

未来，我们预计用户可以创建一个 Jupyter Notebook，在 Python 中执行 Flux f.k.a. IFQL 查询，并在 pandas 中高效地操作数据，几乎没有开销。

Go 中的 Apache Arrow

在撰写本文时，Go 实现支持以下功能

内存管理

• 分配为 64 字节对齐，并填充为 8 字节

数组和构建器支持

原始类型

• 有符号和无符号 8 位、16 位、32 位和 64 位整数
• 32 位和 64 位浮点数
• 打包的 LSB 布尔值
• 变长二进制数组

参数类型

• 时间戳

类型元数据

• 数据类型

SIMD 数学内核

• SIMD 优化的 Sum 操作，适用于 64 位浮点数、整数和无符号整数数组

使用这个奇怪的技巧，无需汇编即可为您的 Go 代码进行 SIMD 优化！

在我们分享魔法之前，让我们更深入地探讨一下为什么 SIMD 或单指令多数据是相关的。Apache Arrow 中的大多数数据结构都占据连续的内存块作为数组或向量，这绝非偶然。使用特殊指令，当今的许多 CPU 可以并行处理像这样紧密打包的数据，从而提高特定算法和操作的性能。更妙的是，编译器内置了许多高级优化，例如 自动向量化，无需开发人员编写任何汇编代码即可利用这些功能。在编译期间，编译器可能会识别出将数组作为自动向量化候选对象的循环，并生成更有效利用 SIMD 指令的机器代码。唉，Go 编译器缺乏这些优化，让我们不得不自力更生。我们可以用汇编语言编写这些例程，但这已经够难的了，更不用说还要使用 Go 深奥的 Plan 9 语法了。更糟糕的是，为了针对特定架构以汇编语言编写最佳代码，您必须熟悉其他问题，如指令调度、数据依赖性、AVX-SSE 过渡惩罚 等。

clang + c2goasm = ??

c2goasm 是由 minio 开发的一个很棒的命令行工具，它可以将用 C/C++ 编写的函数的汇编输出转换为 Go Plan 9 汇编器可以理解的东西。这些 不是 与 CGO 相同的东西，并且与调用任何其他 Go 函数一样高效。以 Go 汇编语言编写的例程的一个缺点是它们无法内联，因此重要的是它们要完成足够的工作来抵消函数调用的开销。发布公告 中的示例使用了内在函数，这些内在函数是编译器扩展，可提供对处理器特定功能的访问，例如宽数据类型 (__m256) 和映射到处理器指令的函数 (_mm256_load_ps)。与编写纯汇编代码相比，使用内在函数允许开发人员将高级 C 代码与低级处理器功能混合使用，同时仍然允许编译器执行一组有限的优化。

我们的 第一个实验 是采用一个 Go 函数，该函数对 64 位浮点数切片求和，并确定我们是否可以使用 c2goasm 来改进它。我们对 1,000 个元素的切片进行了基准测试，因为它们与 InfluxDB 中 TSM 块的最大大小相匹配。基准测试是在 2017 年初的 MacBook Pro 上以 2.9GHz 运行收集的。

Go 中的参考实现以 1200 纳秒/操作或 6,664 MB/秒 的速度运行

func SumFloat64(buf []float64) float64 {
	acc := float64(0)
	for i := range buf {
		acc += buf[i]
	}
	return acc
}

按照与 c2goasm 帖子类似的方法，我们使用 AVX2 内在函数生成了这个简化的实现

void sum_float64_avx_intrinsics(double buf[], size_t len, double *res) {
    __m256d acc = _mm256_set1_pd(0);
    for (int i = 0; i < len; i += 4) {
        __m256d v = _mm256_load_pd(&buf[i]);
        acc = _mm256_add_pd(acc, v);
    }

    acc = _mm256_hadd_pd(acc, acc); // a[0] = a[0] + a[1], a[2] = a[2] + a[3]
    *res = _mm256_cvtsd_f64(acc) + _mm_cvtsd_f64(_mm256_extractf128_pd(acc, 1));
}

void sum_float64(double buf[], int len, double *res) {
    double acc = 0.0;
    for(int i = 0; i < len; i++) {
        acc += buf[i];
    }
    *res = acc;
}

$ INTEL_DISABLE_EXT=AVX2 myapp

结论

要达到与 Apache Arrow 的 C++ 实现相同的功能，还有很多工作要做，我们期待分享我们未来的贡献。