Python网页爬虫

王朝学院·作者佚名  2016-08-27
窄屏简体版  字體: 小  |  中  |  大  |  超大  

解决问题:获取网页上的内容。特别是加载主框架后,再用Ajax获取数据生成内容的网页。

PyQuery:可以像jQuery的py实现。你给他一个PyQuery一个HTML,他给你一个类似jQuery的操作.只能获取普通网页。AJAX的网页就无能为力。

Ghost.py:一个封装Webkit(浏览器核心)的类库。就是模拟浏览器访问网页。

安装类库

pipinstall PyQuery

pip install PySide

pip install Ghost.py

fromghostimportGhostfrompyqueryimportPyQuery as pq

 

g=Ghost()session=g.start()

session.open('http://www.163.com',wait=None)

session.wait_for_page_loaded()

doc=pq(session.content)

这样 doc 就可以当作$用了

 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
 
© 2005- 王朝網路 版權所有 導航