LLM Agent 工程实践：如何将 Prompt 缓存命中率提升至 90%+ 并大幅降低成本
本文深入探讨了 LLM Agent 开发中的核心痛点——成本与效率，详细解析了如何通过精细化的 Prompt 缓存策略，将缓存命中率提升至 90% 以上。文章基于 OpenClacky 的工程重构经验，对比了包括 Claude Code 在...
标签索引
AI架构
这个标签下有 33 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
一人团队如何驾驭AI？揭秘“堡垒+通道”架构应对大型项目维护难题
本文探讨了个人开发者如何利用Claude、Coze等AI工具构建和维护如“AI跑团主持人”这类复杂项目。针对个人认知负载过高和AI生成代码质量难以把控（屎山）的问题，作者提出了一种三层架构思路：一是建立基于TDD的“堡垒”层，确保核心模块的...
技术探讨：API网关多源轮询机制是否会破坏大模型Prompt缓存命中？
随着DeepSeek等大模型应用的深入，开发者面临如何高效调度API请求的挑战。近期技术社区讨论指出，在使用CPA等API聚合工具配置多个上游服务时，其多源轮询机制可能导致同一个长上下文会话的请求被分发至不同的服务器。由于大模型服务商的Pr...
Agent开发进阶：利用Context Provider解决工具混乱与上下文管理难题
本文深入探讨了AI Agent开发中的上下文管理架构。作者指出Agent的质量取决于其访问的上下文，并介绍了三种核心优化手段：利用Knowledge库实现从传统RAG到Agentic RAG的进阶；通过Dependencies动态注入运行时...
Kepler：利用Claude构建金融领域的“可验证AI”，让每一个数据都有据可查
Anthropic发布案例分析，展示Kepler如何利用Claude构建金融领域的可验证AI。其核心架构是将LLM用于意图识别，而将数据检索与计算交给确定性代码，并确保所有数据均可追溯。这种“LLM+验证层”的组合有效解决了大模型在金融等高...
AI Agent 不应该是你的同事：告别对话式交互，将其嵌入软件架构实现“平静计算”
当前主流的 AI Agent 产品倾向于将其打造为类似人类的协作者，导致用户需要进行大量对话、提示词编写及结果解释，这种高认知负荷的交互模式违背了“平静技术”的初衷。本文主张应改变思路，不要将 Agent 视为外部对话者，而是通过 CLI、...
“熟悉”是创新的大敌：为何企业软件系统在60年间持续失效？
本文深刻剖析了过去60年来企业知识管理系统屡战屡败的根本原因：决策者因过度规避风险，倾向于选择“熟悉”的供应商（如Microsoft）和技术栈（如Java/Postgres），而非真正“正确”的方案。从早期的专家系统、SharePoint到...
上下文即软件，权重即硬件：为何单纯扩大上下文无法取代模型微调
文章深入探讨了AI领域中“长上下文”与“模型微调”的争论。作者提出，通过 KV Cache 实现的上下文学习本质上是在固定的“硬件”（权重）上运行临时的“软件”，虽然灵活但受限于预训练分布的“元学习天花板”。相比之下，权重更新（微调）相当于...
生成式UI工具实践：引入“规划评审”流程反而效果更差？
本文探讨了AI生成式UI工具的开发实践与优化路径。目前主流方法是利用Prompt和辅助工具直接生成HTML代码，虽已成熟但仍存在架构混乱和视觉漂移等问题。作者尝试引入“Plan规划模式”，试图通过先拆解结构、经评审后再生成代码的方式来提升质...
软硬结合新视角：利用编译器技术自动发现高效的硬件电路结构
本文探讨了一个前沿的交叉领域问题：硬件电路变换是否可以等同于编译器优化？作者通过数学归纳法证明，经典的硬件加速技术——保留进位加法器，实际上可以通过编译器中的“循环融合”优化技术自动推导得出。这一发现打破了软件与硬件的界限，表明利用编译器的...