Claude Code 合租
AI编程 · 架构思考 · 技术人生
DigitalOcean 开发者云

Toy的文章

榨干每块显存:LLM 底层显存优化-Toy's Tech Notes

榨干每块显存:LLM 底层显存优化

作者:toy GPU 显存是 LLM 推理与训练的硬约束,不是软性资源。当一个 70B 参数模型以 BF16 格式加载时,光是参数本身就需要约 140GB,单张 H100 的 80GB 显存根本装不下。工程师的任务不是抱怨硬件贵,而是理解显...

赞(0)ToyToyAI 阅读()
让 Agent 跑得快:LLM 推理服务-Toy's Tech Notes

让 Agent 跑得快:LLM 推理服务

作者:toy 一个 Agent 工作流,最终的性能瓶颈往往不在路由逻辑、工具调用,而在 LLM 推理本身。同样的模型,同样的硬件,不同的推理框架可以带来 10 倍以上的吞吐差距。这篇文章讨论推理服务的底层机制,以及三个主流框架:vLLM、S...

赞(0)ToyToyAI 阅读()
Claude Code 合租,4 人车 400 一个月,KYC 封号都不用你管

Claude Code 合租,4 人车 400 一个月,KYC 封号都不用你管

官方 Claude Code 又涨价又 KYC,封号了还得自己重新折腾环境?ReClaude 拼车了解一下——200 / 400 / 800 / 1600 四档随便挑,账号、风控、切换全平台托管,触发风控自动换号不计次。本地 daemon 三行命令装好,Claude Code / Codex / Cursor / MCP 原来怎么用还怎么用。我自己跑 4 人车那档,性价比最平衡。

把模型练成你的 Agent:微调方案-Toy's Tech Notes

把模型练成你的 Agent:微调方案

作者:toy 一、为什么需要微调 Prompt Engineering 的三类失效 用 Prompt 调教通用模型,是大多数 Agent 项目的第一站。这条路走得顺时,能省掉大量工程复杂度。但在三类场景下,它会系统性失效。 第一类是领域术语...

赞(0)ToyToyAI 阅读()
Agent 的记忆:从上下文到向量库-Toy's Tech Notes

Agent 的记忆:从上下文到向量库

作者:toy 一、Agent 为什么需要记忆 无状态 LLM 的根本局限 把一个 LLM 想象成一位每隔五分钟就会彻底失忆的顾问。你在上午告诉他你的背景、偏好、当前项目的约束条件,五分钟后他已经一无所知,对话只能从头开始。这不是比喻,而是 ...

赞(0)ToyToyAI 阅读()
Agent 的手脚:工具调用-Toy's Tech Notes

Agent 的手脚:工具调用

作者:toy 一、工具调用是什么:让模型伸手摸真实世界 从纯文本生成到”有手有脚” 大语言模型在工具调用出现之前,本质上是一台极其复杂的文字处理机器。你问它”今天北京的 PM2.5 是多少”,...

赞(0)ToyToyAI 阅读()
搭 Agent 的脚手架:主流开发框架-Toy's Tech Notes

搭 Agent 的脚手架:主流开发框架

作者:toy 一、为什么需要 Agent 框架 从”手写循环”到框架 构建一个最简单的 ReAct Agent,大概需要五十行 Python:一个 while 循环,调 LLM,解析输出,调工具,把结果塞回上下文,再...

赞(0)ToyToyAI 阅读()
让 Agent 会思考:规划与推理范式-Toy's Tech Notes

让 Agent 会思考:规划与推理范式

作者:toy 大多数人第一次看到 ChatGPT 流式输出时,误以为模型在”思考”。实际上它在做一件更机械的事:每次预测下一个 token 的概率分布,然后采样。这个过程里没有回溯,没有规划,没有对全局的感知。一个字...

赞(0)ToyToyAI 阅读()
Agent 是什么:从闭环到自主决策-Toy's Tech Notes

Agent 是什么:从闭环到自主决策

作者:toy 一、智能体不是聊天机器人 有一个误解在 2025 年前后反复出现:只要套上”AI Agent”的名字,就算 Agent 了。实则不然。一个每次都从零开始的对话框,无论填了多么精心的 system pro...

赞(0)ToyToyAI 阅读()

Claude Code 合租 · KYC 封号全托管

官方又涨价又 KYC,封号还得自己重新折腾?ReClaude 拼车了解一下——200 / 400 / 800 / 1600 四档随便挑,账号、风控、切换全平台托管,触发风控自动换号不计次。

上车 4 人车 400/月查看四档套餐