如何判断一个网页是不是一个Blog的首页?
最近碰到一个问题,如何从一组链接中,判断链接是不是Blog的首页链接?
先从 Blog 存放的地点说起:
1、由BSP托管的Blog,一般采用开源或者BSP独立开发的Blog系统;
2、由个人空间存放的Blog,一般采用开源的Blog系统。而个人空间存放的Blog大都是 比较职业的 价值比较高的Blogger。
对于第一类,BSP的Blog链接地址都是固定的,加上成规模的BSP数量较少,其Blog的首页链接可以列举出来。
对于第二类,问题要复杂些,
有的 www 首页就是 blog 的主页,
有的是采用子域名的方式,
有的采用目录的方式;
但无论哪种链接方式,Blog 首页都有以下属性:
1、blog首页链接的长度短;可以在这个链接下面发现更多以此链接为开头层级更深的链接;
2、连接中一般包含blog字样;
3、blog的作者为方便他人订阅其Blog,都有类似:bloglines , rss feed 的链接。
不知道各位有没有更好的判断方法。
我现在正在以donews的 10 大金刚为起点,抓取其blogroll,收集blogge地址呢。
* 博客:飞雪残剑无间道http://www.donews.net/tycoo
*
* 博客:互联生活每一天http://www.donews.net/liuren
*
* 博客:对牛乱弹琴http://www.donews.net/keso
*
* 博客:胡一郎是谁http://blog.donews.com/fanggang/
*
* 博客:Xin观点http://blog.donews.com/panxin/
*
* 博客:温柔的人生http://www.donews.net/chinabright
*
* 博客:求缺草堂 伟大是熬出来的!http://blog.donews.com/zhongzhan/
*
* 博客:快马黑蹄SP踏乱,乐庭羌鼓IT迷离http://blog.donews.com/banly/
*
* 博客:努力谁不是历史怀胎的时代人物http://www.donews.net/chennian
*
* 博客:努力做一个最懂法律的IT人/最懂IT的律师http://blog.donews.com/yuguofu/
最终的目的是,学习page rank算法,根据blogroll的链接做一个blog rank 的donews数据库。
希望这个可以作为keso的brand rank 的一个补充。
keso 现在的blog的回复量是:22063 ,可谓惊人。
keso的blog( include yesterday news )数量是:1986 , 平均每个blog 11个回复。