侠客抓取目标网站内容实战

王朝互联网·作者佚名  2012-04-03
窄屏简体版  字體: 小  |  中  |  大  |  超大  

之前提及,侠客站群内置了丰富的抓取模块,能够实现从主流搜索引擎、门户网站、博客等处抓取相关内容。但是如果想获得更高质量的内容,使用侠客站群的高级功能,自建抓取模块, 从目标网站上进行抓取无疑是一种好办法。现在,就以案例为导向,分享下本人利用侠客站群制作抓取模块,抓取特定目标网站的内容的经验。

侠客站群抓取模块有四种模式——关键词智能抓取模式、自定义抓取模式、蜘蛛抓取模式和同步追踪模式,抓取特定目标网站的内容,我们通常使用自定义抓取模式和蜘蛛抓取模式,现在以自定义抓取模式为例,一步步拆分讲解。

1、在制作新模块菜单中,新建抓取模块;

2、勾选自定义抓取模式

3、点击进入“流程1:获取列表链接”,进行设置。这一步主要功能是,获取各文章栏目页地址。

a) 从目标网站源码中,获取网站源码,并勾选

b) 输入需要采集的网站栏目页地址

c) 设定分页提取规则,提取需要采集栏目页下所有分页

分页提取规则具体操作在侠客站群官方视频教程中写得非常详细,可以通过侠客官方教学视频观看。

d) 测试结果,并保存。

4、进入“流程2:获取内容链接”,进行设置。这一步主要功能是,通过文章栏目页下溯,获取所需要抓取文章的URL地址。

a) 点击新建结果提取规则,填写相关参数。

b) 填入测试的列表页地址

c) 测试规则,并保存。

5、进入“流程3:内容取得参数”,进行设置,这一步主要实现在文章页抓取文章内容的功能。

该步骤比较简单,一般来说,选取“智能提取正文、标题模式”即可,由于侠客站群软件有强大的智能抓取能力,一般能较完美地准确抓取正文内容和标题。输入目标页面,进行测试,再预览查看效果,点击保存,就搞定了。下图过程简单图示和效果,规则准确抓取了目标页面的内容。

6、将规则保存到本地,以防丢失

7、将规则提交到侠客站群服务器,此时再查看软件模块后台,就可以看到,自己新建的抓取模块存在于模块后台。

至此,侠客站群抓取目标站点的模块新建完成。我们就在任务中使用自己的抓取规则了。在使用中,我们可以随时根据自己的需要,对抓取模块进行修改。本过程参照官方视频教程入口:http://www.xiake5.com/demo侠客站群官方教程完成。官方教程很完善,新人上手起来,也非常简单。感想:采集模块的制作,一直以为很难,但实际操作起来,一步步也挺简单的。天下事有难易乎,只要去做,难得也会变成简单的,就是这个道理。。“执行力”,确实重要!

 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
 
© 2005- 王朝網路 版權所有 導航