打造“AI版Wattpad”：利用真实读者数据评估LLM长篇小说创作能力

作者开发了Narrator平台，旨在通过“AI版Wattpad”模式，利用真实读者的互动数据（如阅读时长、评分、收藏）来评估大语言模型的小说创作能力。文章指出，现有的记忆测试、作者辅助数据或AI打分等评估方法均存在局限，无法全面反映作品的吸引力。为此，该平台创新性地采用“持久化Agent循环”架构，为每个模型配备“作家的笔记本”以在章节间维持情节和角色的连贯性，有效解决了长篇生成中模型容易丢失线索的痛点。此外，平台还支持故事分支和可视化LitRPG界面，为LLM在长文本生成领域的应用提供了新的评估维度。