分词算法

深入浅出大模型基石：从 jieba 分词看文本表示的算法演进

本文源自 Datawhale 开源项目，系统梳理了自然语言处理（NLP）的底层逻辑——文本表示与分词技术。文章以经典的 jieba 库为例，深入浅出地讲解了基于词典构建有向无环图（DAG）及利用动态规划寻找最大概率路径的算法原理，并剖析了隐...