Node.js抓取网站图片的方法和代码是什么
导读:这篇文章分享给大家的内容是关于Node.js抓取网站图片的方法和代码是什么,本文介绍得很详细,内容很有参考价值,希望可以帮到有需要的小伙伴,接下来就让小编带领大家一起了解看看吧。 涉及知识点 开发一个小爬虫,涉及的知识点如下所示: ht...
这篇文章分享给大家的内容是关于Node.js抓取网站图片的方法和代码是什么,本文介绍得很详细,内容很有参考价值,希望可以帮到有需要的小伙伴,接下来就让小编带领大家一起了解看看吧。涉及知识点
开发一个小爬虫,涉及的知识点如下所示:
- https模块,主要是用户获取网络资源,如:网页源码,图片资源等。
- cheerio模块,主要用于解析html源码,并可访问,查找html节点内容。
- fs模块,主要用于文件的读写操作,如保存图片,日志等。
- 闭包,主要是对于异步操作,对象的隔离保护。
cheerio简介
什么是cheerio ?
cheerio是为服务器特别定制的,快速、灵活、实施的jquery核心实现。主要用于在服务端解析html。特点如下所示:
- 易用,语法类似jquery语法,从jquery库中去除了所有 dom不一致性和浏览器尴尬的部分。
- 解析快,比jsdom快八倍。
- 灵活,cheerio 封装了兼容的htmlparser。cheerio 几乎能够解析任何的 html 和 xml document。
安装cheerio
首先在命令行,切换到程序目录,然后输入安装命令进行安装,如下所示:
cnpm install cheerio
安装过程,如下所示:
准备工作
在编写爬虫之前,首先需要分析目标内容,本次需要爬取的是某网站,星空类型的图片内容,经过分析,发现所有的图片都是在ul下每一个li中的a标签内的img中,本次只需要解析出img的src属性,即可获取图片的下载路径。如下所示:
核心代码
经过以上分析,通过node.js编写代码,分为两步,获取所有图片的url路径,即解析所有目标img元素的src属性。然后再下载具体图片进行保存即可。
引用所需要的功能模块,如下所示:
var https = require('https'); var cheerio = require('cheerio'); var fs = require('fs');
获取并解析html页面内容,如下所示:
//爬取的网址 var addrs=['https://www.*****.com/topic/show_27202_1.html','https://www.******.com/topic/show_27202_2.html','https://www.*****.com/topic/show_27202_3.html']; var logger = fs.createwritestream('./download/log.txt',{ flags:'a+',autoclose:'true'} ); for(i in addrs){ (function(num){ var addr = addrs[num]; //创建目录 var p1 = new promise(function(resolve,reject){ fs.access('./download',function(err){ if(err){ fs.mkdir('./download',function(e){ if(e){ console.log('创建失败'); } } ); } else{ resolve("success"); } } ); } ); p1.then(function(datas){ var html=''; var p2 = new promise(function(resolve,reject){ https.get(addr,function(res){ res.on('data',function(data){ html+=data.tostring(); } ) res.on('end',function(){ resolve("success"); } ); } ); } ); p2.then(function(data){ //下载完成后,进行解析 const $ =cheerio.load(html); var lis = $('#img-list-outer').find('li'); for(var j=0; jlis.length-1; j++){ var li = lis[j]; var src =$(li).find('a').find('img').attr('src'); //console.log(src); //console.log('-------------------------'); var imgurl='https:'+src; download(imgurl); var msg='['+j+']下载成功:'+imgurl; logger.write(msg+'\n'); console.log(msg); } } ); } ); } )(i); }
注意:因为所有爬取的目标共分为3页,所以用到了循环,并且在循环中用到了闭包。
下载并保存单张图片代码,如下所示:
//下载图片 function download(imgurl){ var p1 = new promise(function(resolve,reject){ https.get(imgurl,function(res){ var imgname=imgurl.substr(imgurl.lastindexof('/')+1); var stream = fs.createwritestream('./download/'+imgname); res.pipe(stream); settimeout(function(){ resolve('success'); } ,300); } ); } ); p1.then(function(data){ return; } ); }
示例截图
开发完成后,运行代码,如下所示
爬取的图片,保存在文件夹中,如下所示:
注意:添加日志,是为了方便记录程序执行过程,对比图片和日志,便于发现问题。
现在大家对于Node.js抓取网站图片的方法和代码是什么的内容应该都清楚了吧,希望大家阅读完这篇文章能有所收获。最后,想要了解更多Node.js抓取网站图片的方法和代码是什么的知识,欢迎关注网络,网络将为大家推送更多相关知识点的文章。
声明:本文内容由网友自发贡献,本站不承担相应法律责任。对本内容有异议或投诉,请联系2913721942#qq.com核实处理,我们将尽快回复您,谢谢合作!
若转载请注明出处: Node.js抓取网站图片的方法和代码是什么
本文地址: https://pptw.com/jishu/654384.html