矩阵乘法是AI、数值计算等领域的“地基”任务，想要让它在GPU上跑快，得顺着硬件特性一步步拆解优化。最开始的基础实现很直接：每个线程分配计算输出矩阵的一个元素，CPU负责把矩阵数据从自身内存传到GPU显存，等GPU线程完成计算密集型任务后，再把结果复制回来。但这种方式频繁访问GPU的全局内存，性能和英伟达官方版本比起来差距明显。

要解决全局内存访问的问题，第一步是调整线程与输出矩阵的映射——把线程的x轴索引对应输出矩阵的行，y轴对应列，让内存访问变得连续，也就是“合并内存访问”。这一步优化后，性能直接提升了7倍，终于告别了基础版本的“尴尬”。

接下来要利用GPU的片上存储。GPU的共享内存是线程块内共享的高速存储，比全局内存快得多。于是把输入矩阵分割成和线程块大小一致的“瓦片”，每个线程块先把瓦片从全局内存复制到共享内存，再进行计算。但这只是铺垫，真正的性能飞跃来自寄存器——让一个线程计算多个输出元素，比如原本一个线程算1个，现在算2个甚至更多。虽然牺牲了一点并行性，但寄存器的超高速访问完全弥补了这点损失，性能又翻了倍。

再进一步是矢量化技术。如果内存里的元素是连续的，一个线程可以用一条指令同时访问多个元素，比如一次读2个。比如访问输入矩阵A的连续元素，转置后存到共享内存，再用同样的方式访问矩阵B的元素，这样又能省不少内存访问时间。做完这步，性能已经接近英伟达官方版本的70%，离目标越来越近。

其实不止GPU，其他硬件也有自己的优化套路。多核CPU用FMA指令把“乘加”操作合并成一步，AVX2向量指令一次处理多个数，相当于给矩阵乘法装了“涡轮增压”；DeepSeek的DeepGEMM库在Hopper GPU上用FP8精度，能达到1350+TFLOPS，核心逻辑只有约300行代码；移动端GPU比如Adreno用纹理内存的L1 Cache加速，Mali增强纹理访存能力，还通过转置矩阵让内存访问更连续，单线程计算多个点减少重复加载。

这些优化看似复杂，本质都是一个逻辑：顺着硬件的“脾气”来——内存要连续访问，片上存储要多用，能并行的操作绝不串行。从基础版本到接近官方性能，每一步都是对硬件原理的深入拆解，最终把GPU的算力“榨”到极致。