pymmseg安装方法以及乱码解决

王朝学院·作者佚名  2016-08-27
窄屏简体版  字體: 小  |  中  |  大  |  超大  

pymmseg-cpp is a Python port of the rmmseg-cppPRoject. rmmseg-cpp is a MMSEG ChineseWordsegmenting algorithm implemented in C++ with a Ruby interface.

下载地址:http://code.google.com/p/pymmseg-cpp/

windows下用户可以下载pymmseg-cpp-win32-1.0.1.tar.gz,安装方法如下:

1.将压缩包解压

2.安装vs2008,使用VS2008的命令行窗口来编译程序,位置在 工具/visual studio 2008 command prompt

从这个命令行窗口进入pymmseg/mmseg-cpp文件夹。输入python build.py,回车

编写程序如下

#coding:UTF-8frompymmsegimportmmseg

mmseg.dict_load_defaults()

text='今天我真的好开心'algor=mmseg.Algorithm(text)fortokinalgor:print'%s [%d..%d]'%(tok.text,tok.start,tok.end)

运行后会出现乱码,这是因为mmseg支持的是utf8, windows的本地默认编码是cp936,也就是gbk编码

将代码改写如下即可

#coding: UTF-8frompymmsegimportmmseg

mmseg.dict_load_defaults()

text='今天我真的好开心'algor=mmseg.Algorithm(text)fortokinalgor:print'%s [%d..%d]'% (tok.text.decode('UTF-8').encode('GBK'), tok.start, tok.end)

 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
 
© 2005- 王朝網路 版權所有 導航