实测阿里大模型纯CPU推理:17.3B参数跑出47 token/s,MoE架构潜力显现
近日,有开发者在技术社区实测了阿里的一款名为“marco-mini-instruct”的大模型。该模型总参数量达17.3B,但激活参数仅为0.86B,显露出混合专家(MoE)架构的特征。令人惊讶的是,在完全不使用GPU、仅依靠纯CPU的环境...
近日,有开发者在技术社区实测了阿里的一款名为“marco-mini-instruct”的大模型。该模型总参数量达17.3B,但激活参数仅为0.86B,显露出混合专家(MoE)架构的特征。令人惊讶的是,在完全不使用GPU、仅依靠纯CPU的环境...
微软正式发布了专为1位大语言模型设计的推理框架`bitnet.cpp`。该框架通过优化的计算内核,支持在CPU和GPU上进行无损且高效的推理。数据显示,其在x86和ARM CPU上实现了最高6.17倍的速度提升,同时能耗降低幅度高达82%。...

ECS / OSS / CDN / 云数据库一站采购,常用云资源集中选配;新用户与续费均有专场优惠,适合个人开发者与小团队长期使用。
微软正式开源1-bit大模型推理框架bitnet.cpp,旨在优化CPU上的本地模型部署。该框架最大的突破在于,使100B参数级别的巨型模型能够直接在CPU上高效运行,打破了必须依赖昂贵GPU集群的硬件壁垒。官方数据显示,该方案将推理速度提...
开发者发布了名为 `gemma3.c` 的项目,成功用纯 C 语言实现了 Google Gemma 3 4B IT 模型的推理引擎。该项目完全不依赖 Python、PyTorch 或 GPU,展示了现代大模型在低资源环境下的运行能力。该引擎...
近日,有用户发现在使用MiniCPM-V2.6模型时,CPU推理一张图片需要大量时间,据称可能达到255秒甚至360秒,而模型加载仅需5秒左右。这一现象引发了对CPU推理性能优化的讨论。在AI应用日益普及的背景下,如何在普通硬件上提高模型推...
本文介绍了一款开源的NSFW(不适合工作场所)图像识别方案,专为需要检测色情图像的应用场景设计。该方案基于AdamCodd/vit-base-nsfw-detector实现,采用纯CPU推理方式,适合大多数云服务器或VPS部署。项目支持jp...