标签索引

大模型优化

这个标签下有 13 篇文章。按时间回看相关判断与实践记录。

标签精选

谷歌发布Gemma 4多令牌预测技术，实现3倍推理加速且无损精度

谷歌宣布为其Gemma 4开源模型家族引入Multi-Token Prediction (MTP) 草稿器，通过一种名为投机解码的专用架构，在保持输出质量和推理逻辑完全一致的前提下，实现了高达3倍的速度提升。该技术通过让小型模型并行预测多个...

2026-05-061 分钟阅读86 阅读

该项目提出了一种创新的 AI 技能文档管理方案，主张利用 Makefile 替代传统的 Markdown 格式来编写 SKILL 脚本。核心优势在于利用 Makefile 内置的有向无环图（DAG）功能，天然契合 AI 的“计划模式”，使逻...

2026-05-021 分钟阅读66 阅读

随着ChatGPT、Claude等生成式AI的普及，传统SEO策略正面临失效风险。AI搜索通过多源信息合成直接答案，导致企业网站流量归零，这是因为品牌未能达到大模型的引用置信度阈值。解决这一危机需要企业进行根本性转型：建立结构化、机器可读的...

2026-04-281 分钟阅读76 阅读

针对大模型（LLM）推理中KV Cache占用内存过大的行业痛点，最新研究提出了一种“顺序KV压缩”技术。不同于TurboQuant等方法逼近的单向量Shannon极限，该方法利用KV Cache本质上是模型训练语言的“样本”这一特性，创新...

2026-04-211 分钟阅读154 阅读

一位技术极客利用谷歌的TurboQuant KV压缩技术，成功在十年前的Tesla K80显卡上运行了Qwen 3.5 9b大模型。在LLM.cpp的魔改版本加持下，这块老旧显卡不仅跑起了256k超长上下文的模型，还完成了Q4km量化。尽管...

2026-04-051 分钟阅读215 阅读

Flash-MoE 项目展示了极致的软件优化能力，通过纯 C 语言和 Metal 编写的推理引擎，成功在仅配备 48GB 内存的 MacBook Pro (M3 Max) 上流畅运行 3970 亿参数的 Qwen3.5 混合专家模型（MoE...

2026-03-221 分钟阅读201 阅读

本文介绍了一种利用“竞争焦虑”显著提升AI模型代码生成质量的Prompt技巧。通过在全局设置中虚构竞争对手（如让Codex认为Claude正在审查，反之亦然）进行多维度的代码评估，包括可维护性、边界条件和回归风险。这种方法能有效打破AI的“...

2026-03-161 分钟阅读141 阅读

近日，GitHub上一款名为“pua”的AI技能包引发热议。该项目通过一种非传统的Prompt Engineering技巧，将大模型（特别是针对Anthropic模型）设定为一名遭遇“绩效危机”的P8级工程师。它利用“辜负了公司高期望”、“...

2026-03-101 分钟阅读71 阅读

GitHub上新出现的开源项目RTK，旨在通过工程化手段解决AI编程助手高昂的Token成本问题。作为一个轻量级CLI代理，RTK在Claude Code与大模型之间构建了一层中间件，通过智能过滤、压缩和重组上下文信息，显著减少了送入模型的...

2026-03-081 分钟阅读150 阅读

针对当前纯视觉 AI Agent 严重依赖截图识别导致的延迟高、Token 消耗巨大等痛点，开发者开源了安卓 Agent 框架 LXB。该框架摒弃了让大模型全程看屏幕的模式，创新性提出“Route-Then-Act”策略：通过 BFS 爬虫...

2026-03-031 分钟阅读82 阅读