Linux.do论坛一位用户发起了一场日文翻译LLM盲测活动。测试选取了轻小说《刀剑神域》第一卷中的经典情感片段作为翻译素材,并列展示五个中文译本供社区成员盲选投票。五份译文中,两份来自网页端聊天模型,一份来自本地部署的35B参数模型,一份来自12B参数模型,还有一份取自盗版小说网站上的现成汉化版本,后者通常被视为人工翻译或出版级译文的参照。作者邀请网友为最喜欢的译文投票,并尝试猜测每段译文分别对应哪个模型。从译文内容看,各版本在游戏系统术语的处理上差异明显,例如“防骚扰代码”“部位缺损状态”“黑铁宫”等专有名词,有的版本采取直译保留原味,有的则做了中文语境的润色改写。在文学性层面,各译文对角色语气、情感递进和长句结构的还原度也不尽相同。此类由社区自发组织的盲测,为评估大模型在轻小说汉化等文学翻译场景下的真实表现提供了直观样本,也反映出开源社区对本地部署中型模型翻译能力的持续关注,目前帖子尚处早期阶段,投票结果有待积累。
事件分析
这场盲测的核心价值在于以真实文学翻译场景检验模型能力,弥补了常规基准测试对长文本语境、角色语气和专有名词一致性考察不足的短板。35B与12B本地模型的参与,说明社区正验证消费级硬件上量化模型在翻译任务中的实际可用性,这对本地化部署和隐私敏感场景具有参考意义。各译文在系统术语上的分歧,如“部位缺损”与“三分钟内无法使用”的不同处理,暴露出模型对轻小说游戏化语境理解深度的差异。后续可能的走向包括扩大测试语料规模、引入更多模型横向对比、逐步形成社区化的翻译质量评价标准。从产业角度看,这类众包评测若持续积累,可能影响轻小说汉化工作流,推动AI初翻与人工审校结合的混合模式普及。
核心观点:盲测显示LLM译文已难与人工版本区分,社区众评正成为检验大模型文学翻译能力最接地气的方式。
原文链接:Linux.do