微软开源BitNet.cpp：CPU高效运行百亿参数大模型的新方案

微软正式开源1-bit大模型推理框架bitnet.cpp，旨在优化CPU上的本地模型部署。该框架最大的突破在于，使100B参数级别的巨型模型能够直接在CPU上高效运行，打破了必须依赖昂贵GPU集群的硬件壁垒。官方数据显示，该方案将推理速度提升了6.17倍，同时降低了82.2%的CPU能耗，未来用户或可在MacBook及普通服务器上流畅运行超大模型。