小叮咚切分词方法加入sourceforge.net中WebLucene分词模块

王朝java/jsp·作者佚名  2006-01-09
窄屏简体版  字體: |||超大  

小叮咚采用的是逆向最大匹配分词法,算法简单,可以满足大部分的分词应用。现在已经集成到WebLucene项目中,开放源代码。有需要的朋友可以下载代码使用。

这个版本还没有实现我在一种面向搜索引擎的中文切分词方法 一文中提到的分词思路。比如: 汉字的StopWords,对标点符号的处理等等。

也希望对分词感兴趣的朋友一起讨论实现改进实现小叮咚分词的切分效果。

下面是Readme.txt中的内容:

使用说明:

-------------------------------------------------------------------------

||| !!! 注意分词的词库位置:

||| Util.java 中的配置路径一定要正确,指向:dict\chinesePhraseIndex

||| 词库包括3个文件:

||| 2005-01-13 16:05 4 deletable

||| 2005-01-13 16:24 0 a.txt

||| 2005-01-13 16:05 30 segments

||| 2005-01-13 16:05 1,485,193 _11p5.cfs

||| 4 个文件 1,485,227 字节

-------------------------------------------------------------------------

java类说明:

SentenceSpliter.java

分词主类,可以直接运行来打印测试分词语句.

ChineseAnalyzer.java

ChineseTokenizer.java

是为lucene写的中文分词算法,其中调用了SentenceSpliter.java来获得分词结果。

SearchUtil.java 中说明了使用ChineseAnalyzer的方法。

-------------------------------------------------------------------------

使用的类库:

java jdk 1.4.2

lucene-1.4.3.jar

java-getopt.jar

下载地址:http://apache.justdn.org/jakarta/lucene/binaries/lucene-1.4.3.zip

相关说明:

http://jakarta.apache.org/lucene/docs/index.html

http://blog.csdn.net/accesine960/archive/2004/12/23/227134.aspx

可以使用eclipse 直接打开这个项目

-------------------------------------------------------------------------

其他信息:

**************************************************************************

作者信息:

* @time Created on 2005-1-13

* @author tcf

* @mail xiaodingdong@gmail.com

* @website http://blog.csdn.net/accesine960

* @info 欢迎大家来 http://blog.csdn.net/accesine960/category/35308.aspx

* 这个算法还是beta版本,大家共同努力,把中文分词做的更好

**************************************************************************

近期将推出C#版本的实现。

有相关问题请写信给小叮咚: xiaodingdong A T Gmail dot Com

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
 
 
© 2005- 王朝網路 版權所有 導航