玩转苹果M系列芯片NPU：OpenClaw保姆级中文教程开源，解决AI落地“找钉子”难题
针对开发者“手持锤子（算力）却找不到钉子（应用场景）”的痛点，社区近期发布了《从零开始玩转OpenClaw》的GitHub开源项目。该项目提供了详尽的中文教程，涵盖OpenClaw（用于调用苹果M系列芯片神经引擎的工具）的安装、配置、实战案...
标签索引 / 第 4 页
AI推理
这个标签下有 51 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
谷歌 Gemini 3.1 Flash-lite 预览版上线：速度飙升2.5倍，性价比再破极限
Google DeepMind 悄然推出了 Gemini 3.1 Flash-lite 预览版，旨在为高频任务提供极致的效率与智能。根据官方数据及 Artificial Analysis 基准测试，该模型速度相比 2.5 Flash 提升了...
硬件资源受限也能跑大模型？新工具实现LLM自动适配CPU与显存
针对本地部署大模型时硬件资源不足的痛点，GitHub上的新项目（作者alexsjones）提出了一种解决方案，能够根据系统现有的RAM、CPU和GPU资源自动“调整”LLM模型的规模。该工具致力于解决大模型推理对硬件的高依赖问题，通过智能检...
AWS开源挑战者Ubicloud招聘：重点关注DeepSeek与Kimi的AI推理架构
开源云基础设施服务商Ubicloud（YC W24批次）正在招聘软件工程师，致力于构建Postgres、CI/CD及AI推理产品，以挑战AWS的市场地位。值得注意的是，招聘信息透露，该公司在构建分布式推理架构时，特别关注DeepSeek（V...
打造超级预测AI：基于贝叶斯思维的多模态推理Prompt解析
该文本介绍了一种名为“预测分析师”的高级AI Prompt框架，旨在赋予大模型类似侦探与科学家的多学科推理能力。该框架核心采用贝叶斯思维更新概率，并结合多模态融合与分层推理技术，处理碎片化信息。文章详细展示了五步预测流程：从信息拆解、生成可...
多模态模型传输优化新思路：以 Token 序列替代原图片能否大幅降低带宽？
针对多模态大模型在应用场景中因传输高清图片和视频而产生的巨大带宽与流量消耗问题，近期技术社区提出了一个极简但具启发性的优化设想。该提议认为，既然模型最终将媒体转化为 Token 进行处理，且一张图片往往仅对应不到 2000 个 Token，...
速度提升14倍且零损耗，一致性扩散语言模型重塑AI推理效率
Together.ai 推出了基于一致性扩散模型的全新语言模型。这项技术突破了传统扩散模型需要多次迭代采样的限制，在完全保持生成质量的前提下，将推理速度惊人地提升了14倍。这不仅大幅降低了API调用的延迟和成本，还为开源模型的高效部署提供了...
Step 3.5 Flash发布：196B参数MoE大模型，多项基准测试超越Kimi K2.5
AI初创公司StepFun发布了最新大模型Step 3.5 Flash，主打“快到能思考，可靠到能行动”。该模型采用混合专家（MoE）架构，拥有1960亿总参数，但推理时每个Token仅激活110亿参数，显著提升了效率。性能方面，该模型在多...
因需求火爆，Cerebras 暂时下调部分高级模型的免费层速率限制
AI芯片独角兽Cerebras近日发布公告，由于两款特定的高级模型（包括zai-glm-4.7和qwen-3-235b相关变体）访问量激增，导致资源紧张，平台不得不暂时降低免费使用层的速率限制。这一调整侧面反映了市场对高性能AI推理服务的强...
需求激增致服务降级？Cerebras 临时限制两款热门模型免费额度
AI 推理领域的“性能黑马” Cerebras 近期遭遇了成长的烦恼。由于用户量激增，官方宣布临时降低两款预览模型——zai-glm-4.7 和 qwen-3-235b-a22b-instruct-2507 的免费层调用频率限制，甚至导致部...