实测DeepSeek推理能力进化：耗时600秒解开高难逻辑题，疑似模型静默升级
近期有科技爱好者通过一道涉及多种口味与形状组合的复杂逻辑题，对DeepSeek进行了极限测试。该题目要求计算在特定条件下，同时持有不同形状苹果味和桃子味糖果的最少取样数量，逻辑极具陷阱性。测试结果显示，相比昨日模型在“专家模式”下的错误回答...
标签索引 / 第 3 页
AI推理
这个标签下有 51 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
Intel Arc 显卡实测运行 Qwen 3.5：多模态与思维链优化实战
开源项目“Anna”近日取得突破，成功在 Intel Arc A770/A750 显卡上部署并运行 Qwen 3.5 多模态大模型。通过权重 INT4 量化、自动内存管理及针对多模态的特定分支优化，该项目在保持精度的同时，将推理速度提升至每...
Cursor 推出 Warp Decode 技术，将 MoE 模型推理速度提升 1.8 倍
针对AI领域日益突出的“算力供需矛盾”，AI代码编辑器Cursor推出“Warp Decode”技术，成功攻克了混合专家模型的推理瓶颈。通过翻转并行性轴，该技术不仅将MoE模型推理速度提升了1.8倍，还同步提高了模型精度。这一创新恰逢小米A...
Ollama接入MiniMax云端模型：零GPU依赖，仅需9M内存即可运行
近日，AI运行框架Ollama引入了MiniMax的云端模型`minimax-m2.7:cloud`，为用户提供了“云端算力+本地接口”的解决方案。得益于云端推理架构，该模型在本地侧仅占用约9M内存，彻底摆脱了对昂贵GPU硬件的依赖，即使是...
GitHub新库SALOMI：直面极端低位Transformer量化中的“虚假繁荣”
一个名为SALOMI的研究库在GitHub上发布，专注于Transformer模型的极端低位量化技术。研究者 Edward9055 强调，该项目的核心价值并非简单验证“1-bit量化可行”，而是揭示了一个关键陷阱：基于相关性的重构指标可能看...
大模型架构革命：如何将Token的KV Cache从300KB锐减至69KB？
本文深入探讨了大语言模型（LLM）推理效率的核心瓶颈——KV Cache。文章指出，KV Cache作为模型“记忆”的物理载体，占据了大量GPU显存。通过先进的架构优化，工程师们成功将每个Token的KV Cache大小从300KB大幅压缩...
社区项目 NihaoAPI 更新：为 Sonnet 4.6 强开“思考模式”，提升推理稳定性
来自 Linux.do 社区的个人开发者项目 NihaoAPI 宣布完成升级。该项目主要针对 Claude Sonnet 4.6 模型进行了技术优化，在后台强制开启了类似 o1 的“Thinking”深度思考模式，并将相关接口进行了重定向。...
谷歌TurboQuant算法揭秘：AI推理内存无损压缩6倍，大模型落地成本有望大降
谷歌研究院发布TurboQuant压缩算法，直击大模型推理中内存消耗巨大的痛点。该技术能将最占显存的KV Cache压缩至少6倍且保持零精度损失，不仅提升了Gemini等大模型的运行效率，还能加速万亿级向量索引的语义搜索。尽管目前尚处实验室...
xAI深夜动作频频：Grok灰度测试独立“Companion”模型与超长思考Agent
据社区消息，Grok 在深夜悄然进行了灰度测试，引发了技术圈的热议。此次更新主要涉及两方面：一是将具备聊天陪伴属性的“Companion”独立为单独模型，暗示 xAI 可能正在针对不同使用场景对模型进行垂直分工；二是出现了一个代号为“4.2...
GitHub 热门：RunAnwhere 推出高性能工具，大幅提升 Apple Silicon AI 推理速度
开源社区新项目 RunAnwhere (rcli) 旨在解决 Apple Silicon 芯片在运行 AI 模型时的推理效率问题。通过针对 M 系列芯片架构的深度优化，该工具能够显著加快本地 AI 推理速度，允许开发者在 Mac 设备上以更...