阿里大模型

实测阿里大模型纯CPU推理：17.3B参数跑出47 token/s，MoE架构潜力显现

近日，有开发者在技术社区实测了阿里的一款名为“marco-mini-instruct”的大模型。该模型总参数量达17.3B，但激活参数仅为0.86B，显露出混合专家（MoE）架构的特征。令人惊讶的是，在完全不使用GPU、仅依靠纯CPU的环境...