LLM Agent 工程实践：如何将 Prompt 缓存命中率提升至 90%+ 并大幅降低成本
本文深入探讨了 LLM Agent 开发中的核心痛点——成本与效率，详细解析了如何通过精细化的 Prompt 缓存策略，将缓存命中率提升至 90% 以上。文章基于 OpenClacky 的工程重构经验，对比了包括 Claude Code 在...
标签索引
工程优化
这个标签下有 6 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
OpenAI图像生成惊艳背后的真相：是模型进化还是Agent工作流的胜利？
针对OpenAI最新图像生成技术在UI布局和中文渲染上的惊人表现，社区提出了一个极具洞察力的技术猜想。作者指出，这种像素级的精确度很难通过传统的单次推理实现，推测其底层可能采用了一套类似PS的Agent工作流：先通过代码生成前端框架，再嵌入...
OpenAI能否反超Anthropic？从“CC泄露”看大模型竞争的工程决胜局
针对OpenAI与Anthropic（文中称A/）的竞争，分析指出顶尖AI产品的性能由70%的大模型能力与30%的工程能力组成。近期“CC（Claude类）泄露”事件为OpenAI提供了宝贵的工程优化参考，尽管目前Anthropic在模型性...
攻克VLM多图幻觉难题：解析API差异与两阶段工程解法
本文深入探讨了视觉语言模型（VLM）在处理多张图像时面临的“幻觉”挑战，特别是在跨场景三维理解等复杂任务中。研究发现，当输入图片超过一定数量，模型常出现逻辑混乱，且网页端与API调用表现差异显著。文章分析了注意力分散与Token成本之间的矛...
挑战30亿向量检索：从代码优化到工程思维的本质转变
本文详细记录了作者受Jeff Dean启发，尝试实现30亿规模向量搜索的技术探索过程。通过利用NumPy向量化操作和Float32数据类型，作者成功将查询速度提升了数百倍。然而，当数据规模扩展至30亿时，系统遭遇了高达8.6PB的内存墙瓶颈...
Vercel 揭秘：如何将 v0 打造成高效 AI 编程代理
本文探讨了 Vercel 如何优化其 AI 编程代理 v0 的性能。主要策略包括：在调用大模型前，将长 URL 替换为短字符串以节省 Token 并提升速度；以及在只读文件系统中提供人工精选的代码示例。这些示例帮助模型识别特定模式（如图像生...