python爬取了很多代理ip怎么验证是否可用

python爬取了很多代理ip怎么验证是否可用？

你可以用爬取到的代理打开一个网页，看代理是否可以访问网页来进行判断。

urllib2可以通过urllib2.ProxyHandler设置代理来访问网页，流程如下

#设置代理proxy_handler = urllib2.ProxyHandler({ 'http': 'http://'+ip+':'+str(port)+'/'} )opener = urllib2.build_opener(proxy_handler)urllib2.install_opener(opener)# 访问网页req = urllib2.Request(url)

然后你就可以根据req返回的内容或状态码来判断代理是否能够打开指定url页面，从而判断代理ip是否可用

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！