开源大模型网关选型：多模态调度与多租户管理的技术考量

某科技团队近期在推进多模态大模型（如千问8B）的企业级部署工作，主要目标是通过算力调度平台对内及对外提供算法服务。由于现有架构缺乏统一的模型网关，项目面临严峻的选型挑战。核心需求包括：能够将多个相同模型实例聚合为单一服务入口，并支持权重或策略路由；兼容国内与国际主流模型协议；具备全量调用日志记录功能；以及实现基于主子账号体系的多租户配额管理。在技术选型过程中，团队曾考察New-API，但因其开源协议存在商业限制被公司合规部门否决。目前团队倾向于基于One-API进行二次开发以适配业务，并公开寻求其他合规的开源网关方案。

事件分析

💡 核心观点：大模型落地正从模型比拼转向基础设施，统一网关的协议兼容与合规性成为企业规模化部署的关键。