学习python不久，最近爬的网页都是直接源代码中直接就有的，看到网易新闻的评论时，发现评论时以json格式加载的.....
爬的网页是习大大2015访英的评论页http://comment.news.163.com/news_guonei8_bbs/SPEC0001B60046CG.html
步骤如下：
1.使用谷歌浏览器分析网页首页加载的数据
打开网页----按下F12----点击Network，此时是空的
刷新以后，会出现如下图：(我以前加载过页面，所以json数据显示的不全)
点击其中的一个json格式的文件，找到url，并在网页中打开，看看是不是自己想要的数据：
我第一次访问网页的时候打了三个，只有一个是并论的内容，首页的网址为：
http://comment.news.163.com/data/news_guonei8_bbs/df/SPEC0001B60046CG_1.html?_=14455959217790
数据为：
2.其他评论页
在点击其他评论页时，先点击一下Network中的清除按钮，方便查找json---从第二页开始观察，几乎都一样
点击找到url，并在浏览器中打开
数据虽然是乱码的，在Python中读取到的是可以正常查看的
3.网址规律
一开始以为网址后面的有什么规律，后来发现去掉也没影响，
所以只要把页数换成对应的评论页就好了(我只能打开34页??)
4.代码
注：由于数据开始有变量名，结尾有分号，在使用json.loads(data)时报错，所以先对数据进行处理
1#encoding=utf-823importurllib24importjson5importre6importtime7classJSON():8def__init__(self):9self.user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'10self.headers={'User-Agent':self.user_agent}11self.url1='http://comment.news.163.com/data/news_guonei8_bbs/df/SPEC0001B60046CG_1.html'12defgetUrls(self,pageIndex):13url2='http://comment.news.163.com/cache/newlist/news_guonei8_bbs/SPEC0001B60046CG_'+str(pageIndex)+'.html'14returnurl215defgetHtml(self,url):16try:17request=urllib2.Request(url,headers=self.headers)18respone=urllib2.urlopen(request)19html=respone.read()20returnhtml21excepturllib2.URLError,e:22ifhasattr(e,'reason'):23PRintu"连接失败",e.reason24returnNone25#处理字符串，没有处理干净的可以再打开文件进行处理26defstrDeal(self,data,pageIndex):27ifpageIndex==1:28data=data.replace('var replyData=','')29else:30data=data.replace('var newPostList=','')31reg=re.compile(" \[<a href=''>")32data=reg.sub('--',data)33reg2=re.compile('<\\\/a>\]')#<\/a>]的正则?34data=reg2.sub('',data)35reg3=re.compile('<br>')36data=reg3.sub('',data)37returndata38#解析json数据并存入文件39defparserJson(self):40with open('wangyi2.txt','a') as f:41f.write('用户ID'+'|'+'评论'+'|'+'点赞数'+'\n')42foriinrange(1,35):43ifi==1:44url=self.url145data=self.getHtml(url)46data=self.strDeal(data,i)[:-1]47value=json.loads(data)48f=open('wangyi2.txt','a')4950foriteminvalue['hotPosts']:51f.write(item['1']['f'].encode('utf-8')+'|')52f.write(item['1']['b'].encode('utf-8')+'|')53f.write(item['1']['v'].encode('utf-8')+'\n')54f.close()55print'sleeping pageload %d/34'%i56time.sleep(6)57else:58url=self.getUrls(i)59data=self.getHtml(url)60data=self.strDeal(data,i)[:-2]61#转换，一开始得到的数据类型为str，使用json.loads()函数，得到原始数据，此时的value的数据类型为dict，接下来就可以正常访问字典了。62value=json.loads(data)63f=open('wangyi2.txt','a')6465foriteminvalue['newPosts']:66f.write(item['1']['f'].encode('utf-8')+'|')67f.write(item['1']['b'].encode('utf-8')+'|')68f.write(item['1']['v'].encode('utf-8')+'\n')6970f.close()71print'sleeping pageload %d/34'%i72time.sleep(6)737475js=JSON()76js.parserJson()