算力瓶颈还是扩容失败？用户实测 Kimi 2.6 旗舰版响应需2分钟
近日，有月付99元的Kimi 2.6用户在技术社区反馈，模型在回答问题时出现极度延迟，单次生成耗时接近2分钟，严重影响了使用体验。这一现象引发了业界对于大模型推理效率与基础设施负载能力的担忧。尽管Kimi在模型能力和上下文窗口上持续迭代，但...
标签索引
推理延迟
这个标签下有 3 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
大模型推理实测：华为云2核2G服务器TTFT延迟超10秒引热议
近日，技术社区关于大模型（LLM）推理性能的讨论引发关注。有用户反馈，在配置为2核2G的华为云新加坡节点服务器上运行模型时，首字生成时间（TTFT）长达10至20秒，远低于流畅交互所需的标准。TTFT是衡量大模型响应速度的核心指标，通常低延...
探讨“三省六部式”AI Agent架构：低效与高昂Token成本引发实用性担忧
本文源自V2EX技术社区，针对一种被称为“三省六部式”的复杂AI Agent架构提出了尖锐质疑。作者在实际体验中发现，这种模仿传统官僚层级设计的架构存在显著弊端：除了推理过程极度缓慢导致响应延迟高企外，Token消耗量也大得惊人，导致使用成...