Toy的文章

ECS / OSS / CDN / 云数据库一站采购,常用云资源集中选配;新用户与续费均有专场优惠,适合个人开发者与小团队长期使用。

作者：toy 一、为什么最后一篇要把这四件事放在一起 这个系列到了第九篇，前八篇依次拆解了 Agent 的基础理论、规划推理、开发框架、工具调用、记忆模块、微调方案、推理服务、显存优化。每一篇都可以单独成立，但如果你真的要把 Agent 推...

赞(0)Toy2026-05-30AI 大模型 阅读(308)

作者：toy GPU 显存是 LLM 推理与训练的硬约束，不是软性资源。当一个 70B 参数模型以 BF16 格式加载时，光是参数本身就需要约 140GB，单张 H100 的 80GB 显存根本装不下。工程师的任务不是抱怨硬件贵，而是理解显...

赞(0)Toy2026-05-30AI 大模型 阅读(448)

作者：toy 一个 Agent 工作流，最终的性能瓶颈往往不在路由逻辑、工具调用，而在 LLM 推理本身。同样的模型，同样的硬件，不同的推理框架可以带来 10 倍以上的吞吐差距。这篇文章讨论推理服务的底层机制，以及三个主流框架：vLLM、S...

赞(0)Toy2026-05-30AI 大模型 阅读(289)

作者：toy 一、为什么需要微调 Prompt Engineering 的三类失效 用 Prompt 调教通用模型，是大多数 Agent 项目的第一站。这条路走得顺时，能省掉大量工程复杂度。但在三类场景下，它会系统性失效。 第一类是领域术语...

赞(0)Toy2026-05-30AI 大模型 阅读(338)

作者：toy 一、Agent 为什么需要记忆 无状态 LLM 的根本局限 把一个 LLM 想象成一位每隔五分钟就会彻底失忆的顾问。你在上午告诉他你的背景、偏好、当前项目的约束条件，五分钟后他已经一无所知，对话只能从头开始。这不是比喻，而是 ...

赞(0)Toy2026-05-30AI 大模型 阅读(446)

作者：toy 一、工具调用是什么：让模型伸手摸真实世界 从纯文本生成到”有手有脚” 大语言模型在工具调用出现之前，本质上是一台极其复杂的文字处理机器。你问它”今天北京的 PM2.5 是多少”，...

赞(0)Toy2026-05-30AI 大模型 阅读(203)