长文本结构化任务的性能瓶颈：4k Prompt下的LLM加速方案探讨

一位开发者在尝试利用LLM从试卷文本中切割题目时遭遇了性能瓶颈。为了应对不规范的输入格式，他编写了长达4k token的Prompt以确保解析质量，但这导致处理速度极慢，因为所有内容都需要一次性输入模型。目前的讨论集中在分片并行处理和聚合上。这一案例深刻揭示了在实际工程落地中，如何平衡大模型的复杂指令理解能力与处理速度的矛盾，是长文本应用开发面临的普遍挑战。