Linux.do社区用户对Gemini模型的上下文缓存机制进行了实测分析。测试环境为Antigravity IDE,订阅Google AI Ultra 20x套餐,使用gemini-4-carbon模型。实测结果显示,Gemini隐式上下文缓存的存活时间(TTL)约为3分钟,超过该时限缓存即告失效。测试还排除了多个假设:缓存失效并非只影响子代理,也并非仅在峰值负载时才出现。值得注意的是,即使在3分钟TTL窗口内,缓存仍有可能未命中,社区推测或与服务器峰值负载有关。此外,首次请求、请求前缀发生变化、请求中途中止等情况均会导致缓存无法命中。作者同时指出,部分测试图表数据存在噪声,个别环节样本不足,结论存在一定局限性。上下文缓存直接影响API调用成本与响应速度,命中缓存可大幅降低重复前缀部分的计费。对于Antigravity这类依赖多轮对话与子代理协作的Agentic开发工具而言,约3分钟的缓存窗口意味着任务间隔稍长,重复上下文的token开销便会明显增加。该实测为理解Gemini缓存行为提供了第一手社区参考,但官方尚未公布确切的TTL数值,相关结论仍待更大规模验证。
事件分析
上下文缓存正成为大模型API竞争的关键细节。Anthropic、OpenAI等厂商早已公开缓存计费与TTL策略,而谷歌的隐式缓存此前缺乏明确的官方参数说明,此次社区实测填补了信息空白。3分钟的缓存窗口对交互式编程场景影响有限,开发者在IDE中连续操作通常不会超时;但对多代理并行、调用间隔较长的Agentic工作流而言,缓存频繁失效意味着token成本显著上升。若测试结论属实,谷歌可能在高峰期动态回收缓存资源以保障算力供给,这种近似’软TTL’的策略与其低价、大方的订阅策略一脉相承。后续值得关注的是:谷歌是否会在官方文档中明确TTL数值,Antigravity是否会在产品层面做出优化,例如自动预热缓存或调整请求时序,以及其他模型厂商是否会借此对比宣传自身更稳定的缓存能力。
核心观点:缓存TTL是大模型成本战的隐形战场,3分钟窗口背后是低价策略与算力供给之间的现实权衡。
原文链接:Linux.do