云聚 AI Token Plan 满 199 减 35 元
port:80 AI Junkie
AI 重度玩家的工程笔记本
DigitalOcean 开发者云
Anyrouter 开放可编程的智能路由
共 200 篇文章

标签:性能优化

Codex 磁盘占用异常: 失控写盘的根因与排查清理-80aj

Codex 磁盘占用异常: 失控写盘的根因与排查清理

“Codex 会把磁盘给烧了吗?” 这句听上去夸张的吐槽,背后其实是一个很现实的问题: 当你把一个能自己读写文件、跑命令、装依赖、起容器的自主编程 agent 放到本地长时间运行,它确实有可能在你不注意的时候把磁盘占...

赞(0)ToyToyAI 阅读(612)
Prompt Learning 的两个反馈圈-80aj

Prompt Learning 的两个反馈圈

最近半年,业界几乎所有团队都在抱怨 agent 不可靠。模型选了最贵的,工具调用接全了,上下文也尽量塞满,可输出依然时好时坏。换一个模型也救不回来。问题出在哪里? Arize 的 SallyAnn DeLucia 和 Fuad Ali 在 ...

赞(0)ToyToy架构 阅读(51)
榨干每块显存:LLM 底层显存优化-80aj

榨干每块显存:LLM 底层显存优化

作者:toy GPU 显存是 LLM 推理与训练的硬约束,不是软性资源。当一个 70B 参数模型以 BF16 格式加载时,光是参数本身就需要约 140GB,单张 H100 的 80GB 显存根本装不下。工程师的任务不是抱怨硬件贵,而是理解显...

赞(0)ToyToyAI 阅读(167)
让 Agent 跑得快:LLM 推理服务-80aj

让 Agent 跑得快:LLM 推理服务

作者:toy 一个 Agent 工作流,最终的性能瓶颈往往不在路由逻辑、工具调用,而在 LLM 推理本身。同样的模型,同样的硬件,不同的推理框架可以带来 10 倍以上的吞吐差距。这篇文章讨论推理服务的底层机制,以及三个主流框架:vLLM、S...

赞(0)ToyToyAI 阅读(118)

GLM Claude Code · 国产平替不封号

官方 Claude Code 又涨价又要 KYC,封号还得重配环境?智谱 GLM 兼容 Claude Code,稳定不封号、价格友好,注册后把现有 Claude Code 工作流直接切过来继续用。

立即体验 GLM查看套餐价格