汉语分词系统

Date:	10/07 2018

Contents

• 介绍
• 算法
• 字典来源
• 其它相关项目
• 参考

介绍

一个使用 Rust 语言实现的汉语分词系统。

算法

1. 隐式马尔可夫模型（HMM）
2. 基于字典的正向最大化匹配（MMSEG）

字典来源

1. MMSEG 中文分词字典来源于 chenlb/mmseg4j-from-googlecode 。
2. HMM 中文分词算法所使用到的模型数据来源于 yanyiwu/cppjieba 。

其它相关项目

• fxsjy/jieba , 结巴中文分词
• chenlb/mmseg4j-from-googlecode , MMSEG 中文分词 (Java)
• archerhu/scel2mmseg , 一个搜狗细胞词库转换为MMSEG词库的工具
• baidu/lac , 中文词法分析（LAC）
• baidu/AnyQ , 百度FAQ自动问答系统
• baidu/Senta , 百度情感识别系统

参考

• MMSEG , A Word Identification System for Mandarin Chinese Text Based on Two Variants of the Maximum Matching Algorithm
• 国家语委现代汉语语料库
• 互联网上开放的中文语料库有哪些
• 搜狗实验室_语料数据