传输协议

为何SSE不适合LLM token传输？

本文深入分析了使用SSE（服务器发送事件）传输大语言模型token的局限性。作者指出，SSE虽然简单兼容HTTP基础设施，但在网络连接不稳定时会导致用户体验差且成本增加。当SSE连接中断时，客户端必须重新提交提示并重新运行模型推理，这既浪费...