张量分片

用Einsum推导张量分片逻辑，提升分布式训练效率

本文介绍了如何使用 Einstein summation（einsum）符号高效地推导和计算张量分片。相比传统的画图法，这种方法能更快速准确地处理分片矩阵的乘法逻辑。作者阐述了 einsum 的基本规则及反向传播中的梯度计算，并通过张量并行...