为何SSE不适合LLM token传输？

本文深入分析了使用SSE（服务器发送事件）传输大语言模型token的局限性。作者指出，SSE虽然简单兼容HTTP基础设施，但在网络连接不稳定时会导致用户体验差且成本增加。当SSE连接中断时，客户端必须重新提交提示并重新运行模型推理，这既浪费计算资源又影响用户体验。文章对比了WebSockets的不足，并提出了基于Pub/Sub的替代方案，该方案允许客户端在断开连接后重新订阅并接收剩余token，无需重新运行整个推理过程。然而，作者也指出使用第三方Pub/Sub服务可能带来额外成本问题，开发者需在用户体验和成本间权衡。