GPT真的理解人类语言吗？从乔姆斯基层级看AI的认知边界

本文深入探讨了GPT模型在乔姆斯基层级中的位置，揭示了其计算能力的根本性限制。作者通过严谨的数学分析指出，即使拥有无限上下文窗口，GPT也无法实现图灵完备性，因为其词汇量有限导致嵌入空间有界，使得模型在有限步骤内停止输出的概率为1。这种有限表达能力实际上是GPT易于训练的优势，但也限制了其学习通用算法的能力。文章认为，这种架构差异可能是人们对AI能力预期分歧的根源，也暗示了未来AI发展的可能方向。这一分析对理解当前大型语言模型的本质局限具有重要意义。