Python开源框架Scrapy安装及使用

王朝学院·作者佚名  2016-08-27
窄屏简体版  字體: 小  |  中  |  大  |  超大  

一、安装问题

环境: CentOS + Python 2.7 + Pip

1) 安装时遇到 ”UnicodeDecodeError: 'ascii' codec can't decode byte 0xe9” 错误,安装libffi-devel 和 Python-devel:

yum install libffi-devel

yum install python-devel

2) 安装 lxml时 遇到错误,可能是缺少 libxml2-devel 和 libxslt-devel,使用yum安装:

yum install libxslt-devel libxml2-devel

3) 遇到 bz2 错误,则需要:

yum install bzip2-devel

4) 安装 Twisted 时遇到解压错误,需要先手动将twisted 包当下来,自行解压进行安装:

cd ~

wgethttp://pypi.python.org/packages/source/T/Twisted/Twisted-13.2.0.tar.bz2

tar xjvf Twisted-13.2.0.tar.bz2

cd Twisted-13.2.0

python2.7setup.pyinstall

然后使用 pip 安装 Scrapy:

pip2.7 install Scrapy

二、中文乱码问题

先安装一个chardet:

pip2.7 install chardet

在程序中判断一下输入并转码输出:

text =response.body

content_type=chardet.detect(text)ifcontent_type['encoding'] !='UTF-8':

text= text.decode(content_type['encoding'])

text= text.encode('utf-8')

 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
 
© 2005- 王朝網路 版權所有 導航