大数据文本分析：自然语言挖掘NLPIR分词系统

　　随着 Internet 中信息的*膨胀，自然语言处理方面的需求是逐年的增加。而在自然语言处理方面用的比较好的是汉语词法分析系统NLPIR 分词。汉语词法分析系统 NLPIR 分词(ICTCLAS2013) (Institute of Computing Technology, Chinese Lexical Analysis System)，主要功能包括中文分词;词性标注;命名实体识别;新词识别;同时支持用户词典。目前已经升级到了 NLPIR 分词(ICTCLAS2013)。
　　NLPIR 分词(ICTCLAS2013)的五大特色：
　　1.综合性能较优
　　分词系统能否达到实用性要求主要取决于两个因素：分词精度与分析速度，这两者相互制 约，难以平衡。大多数系统往往陷入“快而不准，准而不快”的窘境。我们研制出了** PDAT 大规模知识库管理技术，在高速度与高精度之间取得了重大突破，该技 术可以管理**别的词典知识库，单机每秒可以查询 100 *条，而内存消耗不到知识库 大小的 1.5 倍。基于该技术，NLPIR 分词(ICTCLAS2013)分词速度单机 996KB/s，分词精度 98.45%，API 不**过 200KB，各种词典数据压缩后不到 3M，是当前世界上技术比较高的汉语词法分析器。
　　2.统一的语言计算理论框架
　　汉语分词牵涉到汉语分词、未定义词识别、词性标注以及语言特例等多个因素，大多数系 统缺乏统一的处理方法，往往采用松散耦合的模块组合方式，较终模型并不能准确有效地表达 千差万别的语言现象，而 NLPIR 分词(ICTCLAS2013)采用了层叠隐马尔可夫模型 (Hierarchical Hidden Markov Model)，将汉语词法分析的所有环节都统一到了一个完整的 理论框架中，获得较好的总体效果，相关理论研究发表在**国际会议和杂志上，从理论上和 实践上都证实了该模型的先进性。
　　3.*支持各种环境下的应用开发
　　NLPIR 分词(ICTCLAS2013)全部采用 C/C++编写，支持 Linux、FreeBSD 及 Windows 系列操作系统，支持 C/C++/C#/Delphi/Java 等主流的开发语言;
　　4.应需而变，量身定做
　　所有功能模块均可拆卸组装,NLPIR 分词(ICTCLAS2013)有 GB2312 和 BIG5 版本，可分别处理目简繁体中文;支持当前广泛承认的分词和词类标准，包括计算所词类标注集 ICTPOS3.0，*标准、滨州大学标准、国家语委标准、闽台“中研院”、中国香港“城市大学”;用户可以直接自定义输出的词类标准，定义输出格式;用户可以根据自己的需求，进行量身自助 式定做适合自己的分词系统。
　　5.国内和国际*的公开评测、五万客户的认可
　　有些公司为了商业目的，关门自测，自称准确度 99.50%，没有介绍测试环境和测试方法， 封闭测试或者小规模的开放测试准确度 **都不足为奇的。NLPIR 分词(ICTCLAS2013) 1.0 在国内 973 *和国际中文处理研究机构 SigHan 组织的评测认可。