最近工信部扫黄查备案,百度凤巢系统更新,双重打击下,本人近期上线的新网站,表现很不好,都是遇到同样的问题:快照回档、每日更新收录却不变、网站整体流量下滑,以上问题困扰了我们几天,我们开始主动去找原因。首先要看的就是网站日志,反复看百度蜘蛛的爬行路线,加链接指向www.zhengxing88.com的栏目12小时后再看,觉得此种发方法能够很有效的帮助我们找出网站所存在的隐患~
了解搜索引擎抓取网页的问题:
分析搜索引擎爬虫访问情况,我们可以分析出搜索引擎收录网页的一些线索:
搜索引擎最近访问网站的频率是否正常?
搜索引擎比较喜欢访问哪部分网页?
搜索引擎很少访问哪部分的网页?
搜索引擎是否访问了一些我们禁止访问的内容?
了解网站内容及链接是否正常:
通过分析服务器返回的状态代码,可分析以下问题:
是否有死链接;
是否有页面元素被误删,比如图片、css脚本等等;
服务器是否曾出现暂时故障;
是否有临时重定向;
是否有权限控制导致搜索引擎无法抓取数据;
网站日志研究对于网站安全的作用:
了解网站被盗链的情况;
如果有第三方网站调用我们网站的图片、视频或者网页文件,将会浪费我们的服务器资源,通过对日志的研究,可以很快发现这种问题。
可初步分析网站是否被黑客植入程序
如果黑客利用网站程序的一些BUG,通过植入代码的进行进行攻击破解的话,通过日志分析就有可能找到这种痕迹。
可初步分析是否有程序在大量抓取数据
搜索引擎或者第三方网站如果使用采集程序,大量反复采集我方网站数据,既会对服务器性能造成严重影响,而且会让我们的资料流转到其它网站上。
通过分析日志数据,可以让我们发现这种采集现象。