标签索引

CPU推理

这个标签下有 6 篇文章。按时间回看相关判断与实践记录。

标签精选

实测阿里大模型纯CPU推理：17.3B参数跑出47 token/s，MoE架构潜力显现

近日，有开发者在技术社区实测了阿里的一款名为“marco-mini-instruct”的大模型。该模型总参数量达17.3B，但激活参数仅为0.86B，显露出混合专家（MoE）架构的特征。令人惊讶的是，在完全不使用GPU、仅依靠纯CPU的环境...

2026-04-151 分钟阅读242 阅读

微软正式发布了专为1位大语言模型设计的推理框架`bitnet.cpp`。该框架通过优化的计算内核，支持在CPU和GPU上进行无损且高效的推理。数据显示，其在x86和ARM CPU上实现了最高6.17倍的速度提升，同时能耗降低幅度高达82%。...

2026-03-111 分钟阅读80 阅读

微软正式开源1-bit大模型推理框架bitnet.cpp，旨在优化CPU上的本地模型部署。该框架最大的突破在于，使100B参数级别的巨型模型能够直接在CPU上高效运行，打破了必须依赖昂贵GPU集群的硬件壁垒。官方数据显示，该方案将推理速度提...

2026-01-301 分钟阅读195 阅读

开发者发布了名为 `gemma3.c` 的项目，成功用纯 C 语言实现了 Google Gemma 3 4B IT 模型的推理引擎。该项目完全不依赖 Python、PyTorch 或 GPU，展示了现代大模型在低资源环境下的运行能力。该引擎...

2026-01-291 分钟阅读280 阅读

近日，有用户发现在使用MiniCPM-V2.6模型时，CPU推理一张图片需要大量时间，据称可能达到255秒甚至360秒，而模型加载仅需5秒左右。这一现象引发了对CPU推理性能优化的讨论。在AI应用日益普及的背景下，如何在普通硬件上提高模型推...

2025-12-231 分钟阅读140 阅读

本文介绍了一款开源的NSFW（不适合工作场所）图像识别方案，专为需要检测色情图像的应用场景设计。该方案基于AdamCodd/vit-base-nsfw-detector实现，采用纯CPU推理方式，适合大多数云服务器或VPS部署。项目支持jp...

2025-12-051 分钟阅读223 阅读