Django如何设置proxy

王朝学院·作者佚名  2016-08-27
窄屏简体版  字體: 小  |  中  |  大  |  超大  

设置porxy的原因一般情况下我们代理设置是针对与浏览器而言,通常只需在浏览器设置中进行配置,但它只针对浏览器有效,对我们自己编写的程序并任何效果,这时就需要我们在软件编码中加入代理设置。

--- ---

Django的代理设置使用Python访问网页一般有三种常用的方式,分别是urllib,urllib2和httplib。其中urllib比较简单,功能相对也比较弱。而httplib简单强大,但好像不支持session。所以在Django开发中一般采用urllib2的方式,即下文所介绍的方式。

urllib2的功能非常强大,在这里就只做其一般使用流程的介绍。

//代理地址PRoxy = "http://10.167.251.83:8080"

//设置代理接口

opener = urllib2.build_opener(urllib2.ProxyHandler({'http':proxy}))

//进行全局代理

urllib2.install_opener(opener)

//获取网页信息

data= urllib2.urlopen(webUrl).read()

关于install_opener(opener)的问题产生在设置全局代理install_opener(opener)之后,好处是后面使用很方便,你可以理解为java中的一个static方法,配置成功后就无需再次配置,直接使用即可。可弊端也随之而来,例如:在我的一个图书馆管理系统项目中,图书入库的信息来源分为两处,一处是来自公司内网服务器,一处是来自豆瓣第三方服务器,所以 urllib2的代理设置需要频繁的切换。而我一开始的写法是:

if request.GET.get('json_inner'):

data= urllib2.urlopen(InnerUrl).read()

if request.GET.get('json_douban'):

//外网代理

proxy = "http://10.167.251.83:8080"

opener = urllib2.build_opener(

urllib2.ProxyHandler({'http':proxy})

)

urllib2.install_opener(opener)

data= urllib2.urlopen(DoubanUrl).read()

这样就导致程序第一次运行是没有任何问题的,但当第二次图书信息检索操作时由于之前urllib2设置全局代理install_opener(opener),所以当从公司内网服务器获取图书信息时就会直接从外网进行连接,从而导致信息无法获取。

最后自己想到一个可行的折中方案:

//外网代理

proxy = "http://10.167.251.83:8080"

if request.GET.get('json_inner'):

opener = urllib2.build_opener(

urllib2.ProxyHandler({'http':proxy})

).close()

urllib2.install_opener(opener)

data= urllib2.urlopen(InnerUrl).read()

if request.GET.get('json_douban'):

opener = urllib2.build_opener(

urllib2.ProxyHandler({'http':proxy})

)

urllib2.install_opener(opener)

data= urllib2.urlopen(DoubanUrl).read()

大概的思路就是,每次在进行内网连接前,都将全局的外网代理设置进行关闭(调用close方法),然后在需要访问外网数据时再将外网代理设置重新恢复。

当然还有一种更好的方式(我暂时还未使用过,正确性有待验证),是不使用 install_opener 去更改全局的设置,而只是直接调用 opener 的 open 方法代替全局的 urlopen 方法,大家如果感兴趣可以实践一下。

--- ---

最后一个“坑”之所以称之为最后一个坑是因为这个“坑”是在发生在了软件开发的收尾阶段:部署。

由于我撰写的Django编码部分是在window环境下进行,而最后程序的部署环境是在Ubuntu上的。本不会出现意外的问题,因为Python是脚本语言跨平台的,但部署之后却发现无论urllib2怎么设置,项目程序始终只能访问外部网络o(︶︿︶)o 。最后发现原来是之前Ubuntu为了方便使用,在系统配置文件.bashrc中设置了全局proxy代理,这就导致了项目软件程序将默认从外网连接,urllib2配置将失效。

但问题还没有结束,因为我们发现就算改了系统配置文件brash后项目程序仍只能访问外网程序,然后在继续寻找原因,最后万般无奈之下只能重启电脑进行最后的尝试,然后程序居然可以正确运行了!

后来问题总结时发现:我们解决问题的思路并没有问题,就是因为在系统配置文件.bashrc中设置了全局proxy代理而导致了urllib2配置失效,但关键在于修改了系统配置文件.bashrc后需要进行重启或注销配置才会生效!!!这是多么痛的感悟,一个小小的考虑不足就导致几个小时的浪费,真是个”大坑“啊!

查看原文:http://www.xyczero.com/blog/article/4/.

 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
 
© 2005- 王朝網路 版權所有 導航