请问像携程网这种网站怎么爬取

请问像携程网这种网站怎么爬取？

扫除运行Scrapy爬虫程序的bug之后，现在便可以开始进行编写爬虫逻辑了。在正式开始爬虫编写之前，在这里介绍四种小技巧，可以方便我们操纵和调试爬虫。

一、建立main.py文件，直接在Pycharm下进行调试

很多时候我们在使用Scrapy爬虫框架的时候，如果想运行Scrapy爬虫项目的话，一般都会想着去命令行中直接执行命令“scrapy crawl crawler_name”，其中crawler_name指的是爬虫的名字，在一开始创建Scrapy爬虫模板的时候就指定了的，而且在该爬虫项目中具有唯一性。但是每次跑到命令行下去执行，看交互的结果，有时候并不是很清晰，所以这里介绍一种方法，可以帮助大家提高开发效率，尤其是调试的时候更是显得方便。

在与爬虫项目的scrapy.cfg文件同级目录下建立一个main.py文件，用于控制整个爬虫项目的执行。

在该文件夹中写入的代码见下图。其中execute函数是内嵌在scrapy中的，调用这个函数可以直接调用该Scrapy工程项目的爬虫脚本，这个函数的执行需要在爬虫项目的父目录下进行。而第7行代码的意思就是获取当前py文件的父目录，省去我们直接复制路径的精力和时间，同时也方便我们将该项目放到其他的平台上去运行，不会报路径的错误。execute函数里边的参数其实就是将Scrapy爬虫执行命令拆分，然后分别以一个字符的方式放到了一个数组中。

之后我们直接运行这个main.py文件便可以调用Scrapy爬虫程序了。

二、多用Debug进行调试，提高开发速度

相信用过Pycharm的小伙伴都看到过Debug这个东东，它的英文意思就是“小虫子”，在Pycharm中的logo也是个小虫子，像是七星瓢虫一样，不过很多小伙伴可能还没有怎么用过，这里简单的介绍给大家，希望大家日后可以多多用到，对于项目的调试十分有帮助。

在进行Debug调试之前，我们需要在我们想要调试的代码左侧进行打断点，断点一般是红色的，打断点的方式很简单，只需要在代码的左侧点击一下左键即可，如下图所示。

断点设置完成之后，便可以去main.py文件进行调试了。在main.py文件点击右键，然后选择“Debug ‘main’”，如下图所示。

之后爬虫程序便开始进行调试，并且会返回一系列结果，如下图所示，可以方便的进行拖拽查看。同时也会在爬虫文件中以绿色的字体进行显示爬虫的结果，很漂亮。

如果想退出或者停止该调试，则点击Pycharm上方选项卡的Run，然后点击“Stop ‘main’”即可，如下图所示。

之后该爬虫程序就会退出调试，恢复正常的Pycharm界面，如下图所示。

三、设置网站robots.txt规则为False

一般的，我们在运用Scrapy框架抓取数据之前，需要提前到settings.py文件中，将“ROBOTSTXT_OBEY = True”改为ROBOTSTXT_OBEY = False。

在未改动之后settings.py文件中默认爬虫是遵守网站的robots.txt规则的，如下图所示。

如果遵守robots.txt规则的话，那么爬取的结果会自动过滤掉很多我们想要的目标信息，因此有必要将该参数设置为False，如下图所示。

设置好robots.txt规则之后，我们便可以抓到更多网页的信息。

四、利用Scrapy shell进行调试

通常我们要运行Scrapy爬虫程序的时候会在命令行中输入“scrapy crawl crawler_name”，细心的小伙伴应该知道上篇文章中创建的main.py文件也是可以提高调试效率的，不过这两种方法都是需要从头到尾运行Scrapy爬虫项目，每次都需要请求一次URL，效率十分低。运行过Scrapy爬虫项目的小伙伴都知道Scrapy运行的时候相对较慢，有时候因为网速不稳定，根部就无法动弹。针对每次都需要运行Scrapy爬虫的问题，这里介绍Scrapy shell调试方法给大家，可以事半功倍噢。

Scrapy给我们提供了一种shell模式，让我们可以在shell脚本之下获取整个URL对应的网页源码。在命令行中进行运行，其语法命令是“scrapy shell URL”，URL是指你需要抓取的网页网址或者链接，如下图所示。

该命令代表的意思是对该URL进行调试，当命令执行之后，我们就已经获取到了该URL所对应的网页内容，之后我们就可以在该shell下进行调试，再也不用每次都执行Scrapy爬虫程序，发起URL请求了。

通过shell脚本这种方式可以极大的提高调试的效率，具体的调试方法同爬虫主体文件中的表达式语法一致。举个栗子，如下图所示。

将两个Xpath表达式所对应的选择器放到scrapy shell调试的脚本下，我们可以很清楚的看到提取的目标信息，而且省去了每次运行Scrapy爬虫程序的重复步骤，提高了开发效率。这种方式在Scrapy爬虫过程中十分常用，而且也十分的实用，希望小伙伴们都可以掌握，并且积极主动的为自己所用。

关于Scrapy爬虫项目运行和调试的部分小技巧先分享到这里，尤其是Debug调试和Scrapy shell调试极为常用，希望小伙伴们可以多多利用起来，让其为自己的项目服务，可以事半功倍噢~

原文链接：https://www.toutiao.com/i6684589023157027342/

原文链接：https://www.toutiao.com/i6679396332777505283/

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！