中文分词技术

1. 中文分词概述

1.1 什么是词？

词的性质--齐夫定律：一个单词的词频与它的词频排名成反比。

1.2 分词流派

中文分词目前可归纳为

• 规则分词：简单高效，难以处理新词
• 统计分词：能够较好地应对新词发现
• 混合分词（规则+统计）：实践中常采用

2. 规则分词

主要基于词典，常见词典：

• 互联网词库(SogouW， 15万个词条)
• 清华大学开放中文词库(THUOCL)、
• HanLP词库(千万级词条)

局限很大，3种方法没有哪种最优。此外，词典的细粒度不一对分词结果的影响很大

1.1正向最大匹配法

• 顾名思义，从头到尾扫描分词

Python-正向最长匹配

1.2 逆向最大匹配法

• 顾名思义，从后往前扫描分词

Python-逆向最长匹配

1.3 双向最大匹配法

• 同时执行正向和逆向最长匹配，若两者的词数不同，则返回词数更少的那一个。
• 若两者的词数相同，返回两者中单字更少的那一个。
• 当单字数也相同时，优先返回逆向最长匹配的结果。

Python - 双向最长匹配

基于字典的其他应用：

• 停用词过滤
• 繁简转换
• 拼音转换

3. 统计分词

步骤：

1）建立统计语言模型（N元）

2）单词划分及结果概率计算

2.1 语言模型n-gram

• N越大，词序信息越丰富，但数据稀疏问题越严峻，计算量也越大

2.2 HMM（隐性马尔可夫）模型

• 将分词作为字在字串中的序列标注任务来实现

2.3 其他统计分词算法

• 采用CNN、LSTM等深度学习网络自动发现一些模式和特征，然后结合CRF、softmax等分类算法进行分词预测。

4. 混合分词

最常见的方式就是先基于词典的方式进行分词，然后再用统计分词方法进行辅助。在保证词典分词准确率的基础上，对未登录词和歧义词有较好的识别。

5. 准确率评估

在P、R、F1基础上进行改进，以单词在文本的区间构建元素，如：

分词结果：[1,2],[3,3],[4,5],[6,7,8][9,9]

标准结果：[1,2],[3,3],[4,4],][5,6],[7,8],[9,9]

分词结果∩标准结果：[1,2],[3,3],[9,9]

• P = 分词结果∩标准结果/分词结果 = 3/5 = 60%
• R = 分词结果∩标准结果/标准结果 =3/6 = 50%
• F1 = 55%

6. 中文分词语料库

一般采用MSR作为分词语料的首选，有以下原因：

• 标注一致性上MSR要优于PKU。
• 切分颗粒度上MSR要优于PKU，MSR的机构名称不予切分，而PKU拆开。
• MSR中姓名作为一个整体，更符合习惯。
• MSR量级是PKU的两倍。