企业AI落地实战：自研RAG遇阻，为何最终选定DeepSeek-Qwen蒸馏版模型？

一位技术负责人分享了公司AI模型落地的实战经历。在尝试自研基于RAG架构的POC（概念验证）后，发现全流程自研涉及向量库维护与数据清洗，工作量过于庞大。随后考察了成熟开源方案MaxKB，虽功能完善但存在付费墙限制。在经过多轮测试至凌晨3点后，最终从性能与效率平衡的角度出发，锁定了DeepSeek-R1-Distill-Qwen-32B-AWQ模型。这一案例折射出当前企业在私有化部署大模型时面临的工程化挑战与选型思考。