图灵奖得主David Patterson：LLM推理硬件的挑战与破局之道

图灵奖得主David Patterson与Xiaoyu Ma联名撰文，深入剖析了大语言模型推理硬件面临的严峻挑战。文章指出，由于自回归解码阶段的特性，LLM推理与训练存在根本差异，当前的主要瓶颈已从计算能力转变为内存容量和互连带宽。为此，作者提出了四大重点研究方向：采用高带宽闪存、存内处理技术、3D存储逻辑堆叠以及低延迟互连。这些架构创新旨在突破“内存墙”限制，不仅适用于数据中心，也对移动端AI硬件发展具有指导意义。