把 Agent 送上生产：RAG、工程、安全、评测
作者：toy 一、为什么最后一篇要把这四件事放在一起 这个系列到了第九篇，前八篇依次拆解了 Agent 的基础理论、规划推理、开发框架、工具调用、记忆模块、微调方案、推理服务、显存优化。每一篇都可以单独成立，但如果你真的要把 Agent 推...
持续更新
更多文章
榨干每块显存：LLM 底层显存优化
作者：toy GPU 显存是 LLM 推理与训练的硬约束，不是软性资源。当一个 70B 参数模型以 BF16 格式加载时，光是参数本身就需要约 140GB，单张 H100 的 80GB 显存根本装不下。工程师的任务不是抱怨硬件贵，而是理解显...
让 Agent 跑得快：LLM 推理服务
作者：toy 一个 Agent 工作流，最终的性能瓶颈往往不在路由逻辑、工具调用，而在 LLM 推理本身。同样的模型，同样的硬件，不同的推理框架可以带来 10 倍以上的吞吐差距。这篇文章讨论推理服务的底层机制，以及三个主流框架：vLLM、S...
把模型练成你的 Agent：微调方案
作者：toy 一、为什么需要微调 Prompt Engineering 的三类失效 用 Prompt 调教通用模型，是大多数 Agent 项目的第一站。这条路走得顺时，能省掉大量工程复杂度。但在三类场景下，它会系统性失效。 第一类是领域术语...
Agent 的记忆：从上下文到向量库
作者：toy 一、Agent 为什么需要记忆 无状态 LLM 的根本局限 把一个 LLM 想象成一位每隔五分钟就会彻底失忆的顾问。你在上午告诉他你的背景、偏好、当前项目的约束条件，五分钟后他已经一无所知，对话只能从头开始。这不是比喻，而是 ...
Agent 的手脚：工具调用
作者：toy 一、工具调用是什么：让模型伸手摸真实世界 从纯文本生成到”有手有脚” 大语言模型在工具调用出现之前，本质上是一台极其复杂的文字处理机器。你问它”今天北京的 PM2.5 是多少”，...
搭 Agent 的脚手架：主流开发框架
作者：toy 一、为什么需要 Agent 框架 从”手写循环”到框架 构建一个最简单的 ReAct Agent，大概需要五十行 Python：一个 while 循环，调 LLM，解析输出，调工具，把结果塞回上下文，再...
让 Agent 会思考：规划与推理范式
作者：toy 大多数人第一次看到 ChatGPT 流式输出时，误以为模型在”思考”。实际上它在做一件更机械的事：每次预测下一个 token 的概率分布，然后采样。这个过程里没有回溯，没有规划，没有对全局的感知。一个字...
Agent 是什么：从闭环到自主决策
作者：toy 一、智能体不是聊天机器人 有一个误解在 2025 年前后反复出现：只要套上”AI Agent”的名字，就算 Agent 了。实则不然。一个每次都从零开始的对话框，无论填了多么精心的 system pro...
大模型周刊 第 32 期：上市、融资与一份来自梵蒂冈的警告
作者：toy | 覆盖周期：2026.5.16 – 2026.5.29 这一周，AI 公司密集地按下了两个按钮：上市和融资。OpenAI 在 5 月 22 日向 SEC 秘密递交了招股书，目标估值最高一万亿美元；六天后，Anthropic ...
Opus 4.8 把"诚实"当成了卖点
Anthropic 今天发布了 Claude Opus 4.8。价格没变，跑分照常往上走，这本来是一次很常规的小版本升级。但发布稿里花了不小的篇幅讲一件事：这个模型更”诚实”了。 诚实度被拿出来当主打，这是个值得留意...
Superpowers 不是 vibe coding 的对立面
最近 GitHub 上 spec-driven 工具一片虚火。OpenSpec、SpecKit、BMAD 一字排开，每个都说自己是”让 AI 不再 vibe coding 的那一个”。WorldofAI 频道这周又加...
Superpowers 把 vibe coding 推回 TDD
最近几个月，社区里出来一批”反 vibe coding”的 Claude Code 插件。它们的共同形态都差不多：把一段写代码的过程拆成 brainstorm、spec、plan、worktree、subagent ...
大模型时代的 Agent 框架，不只是比谁写得快
这篇文章整理自 The Gray Cat 对 GSD 和 OpenSpec 的一次实测对比：同一个中型写作社区产品，同一个 PRD、同一个模型、同一个 Codex CLI。真正值得看的是，它把 Agent 框架到底在约束“改动”还是“项目”...
推理慢不在语言慢，慢在加载、量化和调度
你可能听过一个直觉：C++ 比 Python 快很多倍，所以 llama.cpp（C++ 写的）应该比 vLLM（Python 写的）快很多倍。实测打脸——同一个模型同一张卡，vLLM 在不少场景下比 llama.cpp 还快。这就是 Ca...
OpenSpec：给 AI 写代码这件事加一层"规格说明书"的逻辑
**什么改变了我的想法？** 以前我认为"规格说明书"这种东西是给大团队、正式项目用的，个人用 AI 写代码根本不需要这套流程。看完这个视频我意识到，恰恰因为 AI 写代码时的"自行补全"倾向太强，你反而更需要一个清晰的规格来约束它，否则它...
大型代码库里的 AI，真正先放大的不是写代码，而是“理解代码”
这篇分享最有价值的地方，不是又一次鼓吹 AI 写代码，而是把一个更容易被忽略的事实说透了：在大型代码库里，真正提升产出的常常不是生成能力，而是理解能力。 本文整理自 Sentry 工程师 Priscila Andre de Oliveira...
闲鱼是信息差的二手市场
我最近刷到一个短视频，标题里说闲鱼藏着「中国人办事变通的暗门」。我换个说法：闲鱼真正在卖的不是二手货，是信息差和经验差的标价单。视频是「另眼看世界」的一期 5 分钟短片，例子很密，结论却被它自己的震惊体盖住了，我想把那条结论单独捞出来说。 ...
AI 代理的四种记忆：从上下文窗口到跨会话学习
这期视频表面上在讲 AI agent 的四种记忆，真正有价值的地方是它把今天已经落地的几套工程做法放进了同一张图里：上下文窗口负责眼前，Claude.md 这类项目文档负责常识，skills 负责做事的方法，跨会话记忆才负责真正意义上的“越...
最好的 AI Agent 其实都在收敛到四个产品原则
本文整理自 Flinn AI 的一场短讲。演讲者把 Harvey、Cursor、Claude 和 Manus/Manifold 放在一起比较，最后提炼出四个正在反复出现的 agent 产品原则：模式收敛、过程透明、个性化理解，以及可逆性设计...