如何加速矩阵乘法——优化GEMM (CPU单线程篇)
|
矩阵乘法GEMM(General matrix multiply)是一个被广泛使用的基础算法，各种领域都需要应用，例如神经网络的核心计算任务就是矩阵乘法，交易中的各种信号计算也可能用到矩阵乘法。因此矩阵乘法的效率是极其关键的。
关于如何优化矩阵乘法，我准备写一个较短的系列博文，包括CPU单线程篇、CPU多线程篇、GPU篇。原本计划还有一个稀疏矩阵乘法篇，由于这学期毕业前也没有时间把GPU篇做到满意，因此，稀疏矩阵篇就没了，GPU篇也很不完整。如果日后有时间且有那冲动可能会补上（大概率没有）。
这是矩阵乘法优化第一篇，CPU单线程篇。
矩阵乘法对于同样的抽象算法，不同的优化带来的性能差异极大，现代的部分CPU上最朴素的矩阵乘法实现和最优实现甚至可以有百倍以上的性能差距，这比一些有更低时间复杂度的矩阵乘法算法的优化效果都有效。而这都是针对现代CPU的体系结构作出的针对性优化带来的，SIMD向量指令更是增加了CPU的处理大批量数据时的效率。在本文中，我们将介绍如何针对CPU进行单线程GEMM实现的优化。