怎么会是lucene?
在好朋友lhelper的帮助下，开始学习全文搜索引擎lucene了。从网上搜索了一些全文搜索的资料后发现这方面的产品很多，光是在http://www.searchtools.com 上你可以查到100多个搜索的工具（包括源代码）。如果你在百度上以“全文搜索”为关键字 搜索的话，会发现除了理论上的介绍以外，大部分的实例都是来自lucene。为什么只有lucene这么广为接受呢？
这种感觉对我来讲，就好比keso张大嘴巴说：怎么会是新浪？。
我想一个产品的普及有技术上的先进是必要条件，产品推广是充分条件。
而这两条lucene都具备了。
首先Lucene的贡献者Doug Cutting是一位资深全文索引/检索专家。这样的大腕开发出来的产品自然让大家心服口服。可我认为这还不是lucene如此广受欢迎的主要原因。我认为主要原因是：
1、 Lucene不是一个完整的全文索引应用，而是是一个用JAVA写的全文索引引擎工具包，它可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能。这样的定位，使得lucene有很高的抽象层次，便于扩展和整合到已有的系统。因为对于大多数的全文搜索应用来说，我们需要的是一个开发工具包而不是最终产品（虽然很多搜索引擎也可以扩展特性功能）。这也是程序员最愿意接受的封装层次。
2、 Lucene的API接口设计的比较通用，输入输出结构都很像数据库的表==>记录==>字段，所以很多传统的应用的文件、数据库等都可以比较方便的映射到Lucene的存储结构/接口中。（上面语句有些来自 在应用中加入全文检索功能——基于JAVA的全文索引引擎Lucene简介）。
第二条关于Lucne 的推广。 Lucene在国内如此普及，我想车东的一系列搜索相关的文章介绍起了很大的推动作用。正如竹笋炒肉说的：不仅仅在推广和介绍方面，车东在Lucene的汉化及web应用，也作出了极大的极大的贡献。
尽管有一些介绍其他搜索引擎的文章，但是影响要小多了。
在阅读了国内关于lucene的很多文章后，我发现大部分的介绍都和车东的文章雷同（文字出入很大，估计不是抄袭，呵呵），但都是介绍如何迅速构建一个lucene式的服务，大部分属于hello world级别的。
在车东的文章中提到中文索引文件所占的空间和原文几乎一样大！这一点可让人无法接受，即使英文资料索引所占空间也达到了原文的30%到50%。如此发展下去google、百度们一定是海量硬盘消费的最大客户了。很显然对索引文件的优化是搜索引擎一个重要的部分。
另外如果要想让lucene成为分布式的搜索引擎，也要从索引文件下手，要么扩展索引文件成为分布式文件系统，要么把索引文件放到数据库中，利用数据库的分布式性能提供分布式搜索服务。
既然如此，我就有了分析lucene索引文件格式的想法。
我会在以后的文章中重点分析lucene索引的文件格式。
lucene目前已经提供了lucene索引文件格式的标准文档，很多人基于此开发出了多种语言版本的lucene.
ref: http://java2.5341.com/1_98.html
田春峰
2004-12-23
