站内有一些页面需要具有会员权限才能够访问.
我想让这些有会员权限的页面内容能够被搜索引擎收录.
而通过浏览器正常访问时需要登陆.
不知道应该怎样去做这样的网页?
希望有会做的朋友能够帮帮我.
參考答案:你可以根据搜索引擎的User-Agent来判断是否需要登录,不过这要小心,有可能会被判定为作蔽,而且有的搜索引擎是不一定遵守规则的。
各大搜索引擎的UserAgent如下:
百度爬虫
Baiduspider+(+)
google爬虫 有三个
Googlebot/2.1 (+)
Googlebot/2.1 (+)
Googlebot/Test (+)
google图片爬虫
Googlebot-Image/1.0 (+) Google image crawler
Alexa / 爬虫(共四个)
ia_archiver
ia_archiver-web.archive.org
ia_archiver/1.6
IAArchiver-1.0
搜狐蜘蛛
sohu-search
Oracle 蜘蛛
Oracle Ultra Search
ASPSeek 蜘蛛
ASPSeek/1.2.5
雅虎蜘蛛
YahooSeeker/1.1
你可以在这里找到各个搜索引擎的登录入口:
也可以查询你的网站被哪些搜索引擎收录过。
可以直接访问你的网址的收录情况,地址为:
将baidu.com 换成你自己的地址即可。
如果要查询Pagerank, 提供随机从Google 678个数据中心中取出的40个的PR值,你还可以获得免费代码,使用在你的网站上可以随时查看自己网站的PR值。