爬取网页图片-node:爬虫爬取网页图片

node爬取网页图片:爬虫爬取网页图片前言

爬取网页图片-node:爬虫爬取网页图片

周末自己在家闲着没事,刷着微信,玩着手机,发现自己的微信头像该换了,就去网上找了一下头像,看着图片,自己就想着作为一个码农,可以把这些图片都爬取下来做成一个微信小程序,说干就干,了解一下基本都知道怎么做了,整理分享一波给大家。

爬取网页图片-node:爬虫爬取网页图片

目录

爬取网页图片-node:爬虫爬取网页图片

安装node,并下载依赖搭建服务请求我们要爬取的页面,返回json安装node

爬取网页图片-node:爬虫爬取网页图片

我们开始安装node,可以去node官网下载nodejs.org/zh-cn/,下载完成后运行node使用,

node -v复制代码安装成功后会出现你所安装的版本号。

接下来我们使用node, 打印出hello world,新建一个名为index.js文件输入

console.log(\’hello world\’)复制代码运行这个文件

node index.js复制代码就会在控制面板上输出hello world

搭建服务器

新建一个·名为node的文件夹。

首先你需要下载express依赖

npm install express 复制代码再新建一个名为demo.js的文件 目录结构如图:

在demo.js引入下载的express

const express = require(\’express\’);const app = express();app.get(\’/index\’, function(req, res) {res.end(\’111\’)})var server = app.listen(8081, function() { var host = server.address().address var port = server.address().port console.log(\”应用实例,访问地址为 :%s\”, host, port)})复制代码运行node demo.js简单的服务就搭起来了,如图:

请求我们要爬取的页面

请求我们要爬取的页面

npm install superagentnpm install superagent-charsetnpm install cheerio复制代码superagent 是用来发起请求的,是一个轻量的,渐进式的ajax api,可读性好,学习曲线低,内部依赖nodejs原生的请求api,适用于nodejs环境下.,也可以使用}

superagent-charset防止爬取下来的数据乱码,更改字符格式

cheerio为服务器特别定制的,快速、灵活、实施的jQuery核心实现.。 安装完依赖就可以引入了

var superagent = require(\’superagent\’);var charset = require(\’superagent-charset\’);charset(superagent);const cheerio = require(\’cheerio\’);复制代码引入之后就请求我们的地址,:///tx/weixintx_1.html,如图:

声明地址变量:

const baseUrl = \’:///\’复制代码这些设置完之后就是发请求了,接下来请看完整代码demo.js

var superagent = require(\’superagent\’);var charset = require(\’superagent-charset\’);charset(superagent);var express = require(\’express\’);var baseUrl = \’:///\’; //输入任何网址都可以const cheerio = require(\’cheerio\’);var app = express();app.get(\’/index\’, function(req, res) { //设置请求头 res.header(\”Access-Control-Allow-Origin\”, \”*\”); res.header(\’Access-Control-Allow-Methods\’, \’PUT, GET, POST, DELETE, OPTIONS\’); res.header(\”Access-Control-Allow-Headers\”, \”X-Requested-With\”); res.header(\’Access-Control-Allow-Headers\’, \’Content-Type\’); //类型 var type = req.query.type; //页码 var page = req.query.page; type = type || \’weixin\’; page = page || \’1\’; var route = `tx/${type}tx_${page}.html` //网页页面信息是gb2312,所以chaeset应该为.charset(\’gb2312\’),一般网页则为utf-8,可以直接使用.charset(\’utf-8\’) superagent.get(baseUrl + route) .charset(\’gb2312\’) .end(function(err, sres) { var items = []; if (err) { console.log(\’ERR: \’ + err); res.json({ code: 400, msg: err, sets: items }); return; } var $ = cheerio.load(sres.text); $(\’div.g-main-bg ul.g-gxlist-imgbox li a\’).each(function(idx, element) { var $element = $(element); var $subElement = $element.find(\’img\’); var thumbImgSrc = $subElement.attr(\’src\’); items.push({ title: $(element).attr(\’title\’), href: $element.attr(\’href\’), thumbSrc: thumbImgSrc }); }); res.json({ code: 200, msg: \”\”, data: items }); });});var server = app.listen(8081, function() { var host = server.address().address var port = server.address().port console.log(\”应用实例,访问地址为 :%s\”, host, port)})复制代码运行demo.js就会返回我们拿到的数据,如图:

一个简单的node爬虫就完成了。希望可以到 项目上点一个 star 作为你对这个项目的认可与支持,谢谢。

项目地址:github.com/Mr-MengBo/R…

本文来自网络,不代表唯米智能立场,转载请注明出处。如有侵权请联系删除。http://www.weiseo.cc/b/3472.html

作者: 小易

上一篇
下一篇
联系我们

联系我们

在线咨询: QQ交谈

邮箱: 2013723@qq.com

工作时间:周一至周五,9:00-17:30,节假日休息

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

返回顶部
在线客服系统