Python网络爬虫怎么入门，要了解哪些

这是一篇很好的python技术文章，好东西应该跟大家分享，重新排版了一下发到这里，觉得好就请收藏下。

网络爬虫python不难学，在入手方面也是非常简单的。

1、爬虫概念

网络爬虫，又称网页蜘蛛，是一种根据一定规则自动捕捉万维网信息的程序或脚本。

2、爬虫运行方式

大多数爬行器的运行方式是像“发送请求—获取页面—解析页面—提取并存储内容”这样，实际上也模拟了我们使用浏览器获取网页信息的过程。

简而言之，当我们将请求发送到服务器时，返回页面，通过对页面进行解析，我们可以提取所需的信息部分，并将其存储到指定文档或数据库中。

3、爬虫实例

importre
defgeturllist():
#不访问网站，而是实例一个对象，为了模拟浏览器访问服务器
req=urllib2.Request("http://www.budejie.com/video/")

#添加申请访问的header，让对方服务器误以为是浏览器申请访问
req.add_header('User-Agent','Mozilla/5.0(WindowsNT10.0;
    Win64;
    x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/71.0.3578.98Safari/537.36')

#打开我刚才创建的实例对象
res=urllib2.urlopen(req)
html=res.read()
printhtml#访问到了资源代码

#定义一个正则化表达式为了获取我要的视频网址
reg=r'data-mp4="(.*?)"'
#将网页源码中的视频网址找出来
urllist=re.findall(reg,html)
#printurllist

#有20个视频网址，用for循环一个一个下载出来
n=1
forurlinurllist:
#url视频网址，'%s.mp4'下载后的名字，url.split('/')[-1]将字符串按照‘/'分开
urllib.urlretrieve(url,'%s.mp4'%url.split('/')[-1])#下载视频
n=n+1

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！