大模型API路由怎么选？开发者热议负载均衡与中转站稳定性方案

针对个人使用的大模型路由项目，开发者社区正在讨论最佳选择。用户核心需求集中在负载均衡、竞速机制和缓存复用等功能上。鉴于近期公益API极不稳定，部分开发者开始尝试使用实时状态检测（如check-cx）替代真实请求延迟作为路由依据，并计划将429状态码及断流信息纳入权重计算。讨论对比了New API、Metapi及Octopus等项目，反映了在多模型混合调用趋势下，构建高可用、低延迟的个人AI基础设施已成为技术圈的热门话题。