分享
 
 
 

搜索引擎收录页面流程原理和方式-设计理念

王朝数码·作者佚名  2009-11-13
窄屏简体版  字體: |||超大  

本文并非空洞文章,里面一些关于搜索引擎的原理还是值得一看的,至少可以大致了解搜索引擎的工作方式,当然是否有用还看个人偏好。

搜索引擎收录页面实际上就是在互联网上进行数据采集,这是搜索引擎最基础的工作,而搜索引擎的内容都来自后台的庞大的URL列表,通过这些URL,不断的收录,储存及维护,而学习搜索引擎收录的流程,收录原理及收录方式,有效的提高搜索引擎对网站的收录的数量!

1. 页面收录流程,

在互联网中,URL是每个页面的入口地址,”蜘蛛程序”通过这些URL列表抓取到页面的,“蜘蛛”不断的从这些页面中获取URL资源及存储页面,并加入URL列表,如此不断的循环,搜索引擎就可以从互联网中获取到足够的页面。

URL是页面的入口,则域名则是网站的入口,搜索引擎就是通过域名进入网站,挖掘URL资源,换而言之搜索引擎在互联网中抓取页面的首要任务就是要有庞大的域名列表,在不断的通过域名,进入网站抓取网站中的页面,

而对于咱们而言,想搜索引擎收录,首要条件就是加入搜索引擎的域名列表,常见加入搜索引擎的域名列表的有以下两种方式

利用搜索引擎提供的网站登录入口,向搜索引擎提交网站域名,例如百度的:http://www.baidu.com/search/url_submit.html,可在此提交自己的网站域名,不过用此方法搜索引擎只会定期进行抓取并更新,这种做法比较被动,从域名提交网站被收录花费的时间也比较长

通过与有质量的“外链”,使搜索引擎在抓取“别人”的网站页面时发现我们的网站,从而实现对网站的收录,这种方法主动权在我们手上,(只要我们有足够多的“外链”)且收录速度比第一种方法快,根据外部链接的数量、质量相关性,一般2-7天就会被搜索引擎收录

2.页面收录原理

通过学习“页面收录流程”可以掌握加快网站被收录的方法,接着来学习页面收录原理,从而提高搜索引擎收录的数量!

如果把一个网站页面组成的页面看做是一个有向图,从指定的页面出发,沿着页面中的链接,按照某种特定的策略对网站中的页面进行遍历。不停地从URL 列表中移出已经访问的URL,并存储原始页面,同时提取原始页面中的URL的信息:再将URL分为域名及内部URL两大类,同时判断URL是否被访问过, 将未访问过的URL加入URL列表中。递归地扫描URL列表,直至耗尽所有URL资源为止。经过这些工作,搜索引擎就可以建立庞大的域名列表、页面URL 列表并储存足够多的原始页面。

3.页面收录方式,

知道了 “页面收录流程”和“页面收录原理” 然而在搜索引擎中要获取相对重要页面,就涉及到了搜索引擎的页面收录方式,

页面收录方式是指搜索引擎抓取页面时所使用的策略,目的是为了能在互联网中筛选出相对重要的信息,页面收录的方式的制定取决于搜索引擎对网络结构的 理解。如果使用相同的抓取策略,搜索引擎在同样的时间内可以在某一网站中抓取到更多的页面资源,则会在该网站停留更长的时间,收录的页面数自然也就多了。 因此,加深对搜索引擎页面收录方式的认识,有利于为网站建立友好的结构,提高被收录的数量。

搜索引擎搜收录页面的方式主要要有“广度优先”、“深度优先“及”用户提交“(用户提交暂时不讲)三种,认识这三种页面收录方式及各自的优缺点!

广度优先

如果把整个网站看做一棵树,首页就是根,每个页面就是叶子。广度优先是一种横向的页面抓取方式,先从树的较浅层开始抓取页面,直接抓完同层次的所有 页面后才进入下一层。因此,在对网站进行优化时,我们应该把网站相对重要的信息展示在层次比较浅的页面上(例如:在首页推荐一些热门的内容)。反过来,通 过广度优先的抓取方式,搜索引擎就可以首先抓取到网站中相对重要的页面。

首先,”蜘蛛“从网站的首页出发,抓取首页上所有连接指向的页面,形成页面集合A,并分析出A中所有页面中的链接:在跟踪这些链接抓取下一层的页面,形成页面集合B:就这样递归地从浅层页面中解析出链接,再从深层页面,直至满足某个设定的条件才停止抓取进程

深度优先

与广度优先的抓取方式相反,深度优先首先跟踪浅层页面中的某一连接后逐步抓取深层页面,直至抓完最深层的页面才返回浅层页面再跟踪其另一链接,继续 向深层页面抓取,这是一种纵向的页面抓取方式。使用深度优先的抓取方式,搜索引擎可以抓取到网站中较为隐蔽、冷门的页面,这样就能满足更多用户的需求。

首先,搜索引擎会抓取网站的首页,并提取首页中的链接:再沿着其中的一个连接抓取到页面 A-1,同时获取A-1中的链接并抓取页面B-1,获取B-1中的来链接并抓取页面C-1 ,如此不断的重复,满足到某个条件后,再从A-2抓取页面及链接!

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有