云聚 AI Token Plan 满 199 减 35 元
port:80 AI Junkie
AI 重度玩家的工程笔记本

Toy的文章

把 Agent 送上生产:RAG、工程、安全、评测-80aj

把 Agent 送上生产:RAG、工程、安全、评测

作者:toy 一、为什么最后一篇要把这四件事放在一起 这个系列到了第九篇,前八篇依次拆解了 Agent 的基础理论、规划推理、开发框架、工具调用、记忆模块、微调方案、推理服务、显存优化。每一篇都可以单独成立,但如果你真的要把 Agent 推...

赞(0)ToyToyAI 阅读(126)
榨干每块显存:LLM 底层显存优化-80aj

榨干每块显存:LLM 底层显存优化

作者:toy GPU 显存是 LLM 推理与训练的硬约束,不是软性资源。当一个 70B 参数模型以 BF16 格式加载时,光是参数本身就需要约 140GB,单张 H100 的 80GB 显存根本装不下。工程师的任务不是抱怨硬件贵,而是理解显...

赞(0)ToyToyAI 阅读(177)
让 Agent 跑得快:LLM 推理服务-80aj

让 Agent 跑得快:LLM 推理服务

作者:toy 一个 Agent 工作流,最终的性能瓶颈往往不在路由逻辑、工具调用,而在 LLM 推理本身。同样的模型,同样的硬件,不同的推理框架可以带来 10 倍以上的吞吐差距。这篇文章讨论推理服务的底层机制,以及三个主流框架:vLLM、S...

赞(0)ToyToyAI 阅读(130)
把模型练成你的 Agent:微调方案-80aj

把模型练成你的 Agent:微调方案

作者:toy 一、为什么需要微调 Prompt Engineering 的三类失效 用 Prompt 调教通用模型,是大多数 Agent 项目的第一站。这条路走得顺时,能省掉大量工程复杂度。但在三类场景下,它会系统性失效。 第一类是领域术语...

赞(0)ToyToyAI 阅读(124)
Agent 的记忆:从上下文到向量库-80aj

Agent 的记忆:从上下文到向量库

作者:toy 一、Agent 为什么需要记忆 无状态 LLM 的根本局限 把一个 LLM 想象成一位每隔五分钟就会彻底失忆的顾问。你在上午告诉他你的背景、偏好、当前项目的约束条件,五分钟后他已经一无所知,对话只能从头开始。这不是比喻,而是 ...

赞(0)ToyToyAI 阅读(142)
Agent 的手脚:工具调用-80aj

Agent 的手脚:工具调用

作者:toy 一、工具调用是什么:让模型伸手摸真实世界 从纯文本生成到”有手有脚” 大语言模型在工具调用出现之前,本质上是一台极其复杂的文字处理机器。你问它”今天北京的 PM2.5 是多少”,...

赞(0)ToyToyAI 阅读(82)
搭 Agent 的脚手架:主流开发框架-80aj

搭 Agent 的脚手架:主流开发框架

作者:toy 一、为什么需要 Agent 框架 从”手写循环”到框架 构建一个最简单的 ReAct Agent,大概需要五十行 Python:一个 while 循环,调 LLM,解析输出,调工具,把结果塞回上下文,再...

赞(0)ToyToyAI 阅读(128)
让 Agent 会思考:规划与推理范式-80aj

让 Agent 会思考:规划与推理范式

作者:toy 大多数人第一次看到 ChatGPT 流式输出时,误以为模型在”思考”。实际上它在做一件更机械的事:每次预测下一个 token 的概率分布,然后采样。这个过程里没有回溯,没有规划,没有对全局的感知。一个字...

赞(0)ToyToyAI 阅读(109)
Agent 是什么:从闭环到自主决策-80aj

Agent 是什么:从闭环到自主决策

作者:toy 一、智能体不是聊天机器人 有一个误解在 2025 年前后反复出现:只要套上”AI Agent”的名字,就算 Agent 了。实则不然。一个每次都从零开始的对话框,无论填了多么精心的 system pro...

赞(0)ToyToyAI 阅读(87)