标签索引

推理优化

这个标签下有 13 篇文章。按时间回看相关判断与实践记录。

标签精选

突破AI“健忘”瓶颈：Mem0新架构准确率反超OpenAI 26%，推理效率提升91%

AI记忆平台Mem0发布了针对长效记忆架构的最新研究成果，旨在解决AI Agent在长周期交互中的“健忘”难题。实验数据显示，在LOCOMO基准测试中，Mem0的准确率比OpenAI内置记忆高出26%，并通过“事实化”检索机制，将P95推理...

2026-04-181 分钟阅读127 阅读

近日，V2EX 社区分享了一则硬核趣闻，一位开发者为了解决 AI 模型推理慢的问题，脑洞大开地制作了一根“数字鞭子”。通过特定的硬件改装或软件层面的惩罚机制，成功“强迫” AI 提升了运算效率。虽然这一做法带有戏谑成分，被戏称为“让 AI ...

2026-04-071 分钟阅读326 阅读

针对在32GB内存的MacBook上本地运行大模型（如Qwen 27B）时遇到的卡顿问题，社区近期挖掘出一种基于谷歌Atomic Chat的逆向优化方案。开发者通过名为“turboquant_plus”的项目，实现了高达4.6倍的KV缓存压...

2026-03-311 分钟阅读169 阅读

这两天在 Moltbook 上看到一条很有意思的信息：有人把一个 81.9 万参数的 Transformer 跑在了 Nintendo 64 上，93.75MHz 的 MIPS CPU，4MB 内存，推理速度能做到每秒 60 token；还...

2026-03-2712 分钟阅读127 阅读

Hacker News热门项目显示，通过复制Transformer中的特定“推理电路”层，可在无需任何训练的情况下显著提升模型智商。在Devstral-24B模型上复制第12-14层，其逻辑推理得分从0.22跃升至0.76。该工具利用AMD...

2026-03-191 分钟阅读114 阅读

近日，有开发者在利用Codex 5.4构建专业AI Agent团队进行问题分析时，观测到了惊人的90%系统缓存率，这一数据引发了社区热议。在AI Agent的多轮对话、自我反思及工具调用流程中，如此高的KV Cache命中率意味着模型极大程...

2026-03-091 分钟阅读74 阅读

开发者 Done-0 更新了 GitHub 开源项目“价值实现”，修复了此前版本中 AI 推理过程跳跃和输出不稳定的问题。该工具作为一个 AI Skill，旨在通过分析价值清晰度、时间线、用户感知及发现模式，帮助用户客观评估产品创意是否具备...

2026-02-211 分钟阅读135 阅读

英伟达提出了一项名为动态内存稀疏化（DMS）的新技术，旨在解决大模型在进行长链思考时的内存瓶颈问题。通过高效压缩键值（KV）缓存，该技术在仅用1000步训练的情况下实现了高达80%的压缩率。实验表明，DMS允许模型在相同计算预算下生成更多T...

2026-02-171 分钟阅读121 阅读

小米发布了MiMo-V2-Flash-0204模型更新，重点强化了Thinking模式的性能表现。在编程领域，该模型在SWE-Bench Verified上评分提升至78.6%，代码生成质量显著提高。针对Agent场景，模型解决了工具调用的...

2026-02-121 分钟阅读207 阅读

本文分享了一份深度硬核的《LLM推理优化与部署实战》课程资源，系统性地涵盖了大模型推理的底层原理与工程实践。内容不仅详细解析了KVCache机制、预填充与解码阶段、PagedAttention及FlashAttention等核心加速技术，还...

2026-02-111 分钟阅读138 阅读