实战复盘：Claude API反向代理遭遇1300+并发瓶颈，CPU未满载为何严重卡顿？

近日，一位开发者在搭建基于Claude的公益API时遭遇了棘手的高并发性能瓶颈。该项目采用账号池（CPA）结合Claude Code Hub（CCH）作为路由分发层，部署在配置为E3-1270v6和32G内存的OVH服务器上。尽管系统在并发会话数超过1300时仍能维持核心调度，但首字生成时间（TTFT）从正常的1.5秒以内飙升至20秒，用户体验极差。令人困惑的是，监控显示服务器CPU实际负载仅约30%，硬件并未满载，这表明瓶颈可能在于软件层面的单线程调度效率、I/O阻塞或内存锁竞争。此外，作者怀疑在线会话数的剧烈波动（瞬间从600跳至1200）可能源于恶意压测。该案例真实揭示了在构建低成本AI反向代理服务时，如何突破中间件架构的隐形限制以应对突发流量的技术难题。