草根也能做搜索引擎 站长进军高新领域不是梦

王朝互联网·作者佚名  2011-12-18
窄屏简体版  字體: 小  |  中  |  大  |  超大  

目前垂直搜索引擎正悄悄地改变着人们的生活!

所谓垂直搜索引擎是指特定行业或者特定领域内的信息搜索引擎,通过定向抓取行业内的网页并经过提取,分类,索引,给特定信息需求者提供搜索引擎服务!垂直搜索引擎具有“专、精、深”的特点,具有行业色彩,相比通用搜索引擎的通用性,垂直搜索引擎更显得专注,具体和深入!

大家看到搜索引擎这个字眼,第一感觉就是,技术含量高,门槛高,一般站长是做不了的,但是,在技术迅猛发展的今天,我们草根站长也可以做搜索引擎。

分析下搜索引擎的结构,无疑是三部分:

后端spider数据采集系统;

前端索引系统;

搜索系统。

关于spider采集系统,其实就是一个采集器,现在网络上面有很多优秀的采集器,我们把行业内的网站找齐了,分别加入抓取配置,对抓取回来的信息经过提取和分类,即可入库给索引做数据源。

索引系统,这个比较的高深,涉及到中文分词和全文索引。中文分词,技术含量比较高,全文索引又涉及到高并发下的效率问题,但是不要着急,又有第三方的工具可以帮助我们实现这点。Sphinx,优秀的全文索引系统,配合libmmseg中文分词工具,即可解决全文索引和中文分词的问题。Sphinx是优秀的索引系统,单一索引最大可包含1亿条记录,在1千万条记录情况下的查询速度为0.x秒(毫秒级),效率问题完全不用考虑,交给Sphinx处理就可以了。至于分词,libmmseg即可满足基本的中文分词需求,给我们草根,够用了,我们也可以针对特殊行业或者领域,给libmmseg扩充行业词库,使得我们的分词更准确!

搜索系统,其实很简单,就是用我们熟悉的网页语言,PHP,ASP,JSP来查询我们做好的索引系统,然后将搜索结果用网页的形式展现给用户,相信有点编程基础的站长完全可胜任!

一句话,草根做搜索引擎不是梦,只要我们肯专研,善于利用第三方的工具,如spider采集器,Sphinx索引系统等,完全可以构架出使用价值极高的行业垂直搜索引擎来!

目前本人用PHP和Sphinx搭建了一个招聘信息搜索网站,GMJ招聘搜索,http://www.getmyjob.cn/,目前Spider一天更新10多万条招聘信息,新增2万多条招聘信息,数据采集流程实现完全自动化,前端搜索响应也在毫秒级内,基本实现了招聘信息搜索的需求!

我们草根站长完全可以进军垂直搜索领域,有兴趣的站长可以联系本人,一起探讨垂直搜索领域!

 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
 
© 2005- 王朝網路 版權所有 導航