微软BitNet让1000亿参数模型跑上CPU：算力效率翻倍，能耗骤降80%

微软正式发布了专为1位大语言模型设计的推理框架`bitnet.cpp`。该框架通过优化的计算内核，支持在CPU和GPU上进行无损且高效的推理。数据显示，其在x86和ARM CPU上实现了最高6.17倍的速度提升，同时能耗降低幅度高达82%。更关键的是，该技术实现了在单个CPU上运行1000亿参数模型，且生成速度达到人类阅读水平，极大地推动了高性能AI在本地设备上的落地。