node.js爬虫——爬取优快云首页的文章内容

五分钟学会Python网络爬虫 但不管怎样,爬虫技术是无罪的,还是值得我们开发人员去学习了解一下的。在学习之前,我们还是要先了解一下相关概念。 什么是爬虫 网络爬虫:又被称为网页蜘蛛,网络机器人,是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。 大数据时代,要进行数据分析,首先要有数据源,可数据源从哪里来,花钱买,没预算,只能从其它网站就行抓取。 细分下来,业内分为两类:爬虫和反爬虫。 反爬虫:顾名思义,就是防止你来我网站或APP上做爬虫的。 爬虫工程师和反爬虫工程师是一对相爱相杀的小伙伴,经常因为对方要加班写代码, 阅读详情

在node.js出现之后,我们也可以使用JavaScript来实现爬虫了,对应于http和https,我们只要引入http或者https模块就可以爬取对应的数据,在爬取文章数据后我们将其保存到本地文件中,首先导入三个模块

导入模块


这里要导入三个模块,
https:用于实现爬虫
cheerio:用于处理数据
fs:用于将数据写入本地文件中

const https = require("https")
const cheerio = require("cheerio")
const fs = require("fs")

获取数据


爬虫是在获取数据后根据我们的需要,分离出一部分数据,所以首先,我们需要获取页面的数据。
将优快云的首页放入一个变量中存储,使用https的get方法获取页面的数据。

const url = "https://www.youkuaiyun.com/";
// 获取数据
https.get(url, res => {
    // 成功的回调函数
}).on("error", err => {
    // 失败的回调函数
})

可以通过console将内容打印到控制台来获取响应的部分信息,通过返回的状态码我们就可以得知是否成功得到响应了。

const url = "https://www.youkuaiyun.com/";
// 获取数据
https.get(url, res => {
    // 成功的回调函数
    console.log("res.statusCode:", res.statusCode);
}).on("error", err => {
    // 失败的回调函数
})

在这里插入图片描述
结果返回200说明得到正常的响应,接下来就开始获取页面显示的数据,由于http/https协议中,数据是一段发过来的,所以我们要监听发送并接受

https.get(url, res => {
    // 成功的回调函数

    // 打印状态码
    // console.log("res.statusCode:", res.statusCode);

    // 监听发送
    res.on("data", chunk => {
        console.log("chunk:", chunk);
    })

}).on("error", err => {
    // 失败的回调函数
})

在这里插入图片描述
这里可以看到数据以二进制的形式展现出来,这是因为数据是以流的形式传送过来的,此时,我们要做的是将数据装为我们平时看到的形式,同时将多个段拼接起来,这两个工作,可以直接由拼接字符串来完成。拼接完后我们再次打印出数据


在这里插入图片描述
可以看到此时的数据已经变成了我们熟悉的数据了

数据处理


现在数据已经收集完成了,接下来要进行数据的处理,监听数据的接收,当数据接收完毕时对数据进行处理

// 数据收集完毕
    res.on("end",()=>{

    })

要获取首页的文章内容,首先要得到文章内容所在的url,我们通过使用cheerio模块,匹配出我们要的a标签,然后获取标签对应的href,即是文章所在的url
cheerio模块可以使用jQuery的语法来匹配对应的标签,具体用法:cheerio的用法

 res.on("end", () => {
        let $ = cheerio.load(data);
        // 使用f12控制台找出标题,再用jQuery语法匹配
        $("main ul.feedlist_mod li .list_con h2 a").each(function() {
            // 打印对应的href
            console.log($(this).attr("href"))
        })
    })

在这里插入图片描述

函数封装


我们获取到了文章所在的url,所以要对这些url进行相应的get请求,当然我们不可能重复写上面的内容,所以将上面的内容封装成一个函数来调用

// 封装方法
function httpsGet(url, callback) {
    https.get(url, res => {
        let data = "";

        res.on("data", (chunk) => {
            data += chunk;
        })
        res.on("end", () => {
            let $ = cheerio.load(data);
            callback($)
        })
    }).on("error", (err) => {
        console.log(err.message);
    })
}
// 调用方法
httpsGet(url, function($) {
    $("main ul.feedlist_mod li .list_con h2 a").each(function() {
        let blogUrl = $(this).attr("href");
        httpsGet(blogUrl, function($) {
            // 打印所有的文章内容
            console.log($("#article_content").text());
        })
    })
})

在这里插入图片描述

写入本地文件

到这里我们已经成功地得到了文章的内容了,最后一步将内容写入本地文件中,我们以文章的标题为文件名,使用fs模块的writeFileSync方法,写入txt文件中

// 调用方法
httpsGet(url, function($) {
    $("main ul.feedlist_mod li .list_con h2 a").each(function() {
        let blogUrl = $(this).attr("href");
        httpsGet(blogUrl, function($) {
            // 打印所有的文章内容
            // console.log($("#article_content").text());
            // 文章标题
            let title = $("main div.blog-content-box .article-header-box .article-header div.article-title-box .title-article").text();
            // 文章内容
            let content = $("#article_content").text();
            // 写入本地
            fs.writeFileSync(`./blog/${title}.txt`, content)
        })
    })
})

在这里插入图片描述
可以看到文章已经被保留到本地了


完整代码


const https = require("https");
const cheerio = require("cheerio")
const fs = require("fs")

const url = "https://www.youkuaiyun.com/";


// // 获取数据
// https.get(url, res => {
//     // 成功的回调函数

//     // 打印状态码
//     // console.log("res.statusCode:", res.statusCode);

//     // 初始化数据字符串
//     let data = "";
//     // 监听发送
//     res.on("data", chunk => {
//             // console.log("chunk:", chunk);
//             data += chunk;
//             // console.log(data);
//         })
//         // 数据收集完毕
//     res.on("end", () => {
//         let $ = cheerio.load(data);
//         // 使用f12控制台找出标题,再用jQuery语法匹配
//         $("main ul.feedlist_mod li .list_con h2 a").each(function() {
//             // 打印对应的href
//             console.log($(this).attr("href"))
//         })
//     })
// }).on("error", err => {
//     // 失败的回调函数
// })

// 封装方法
function httpsGet(url, callback) {
    https.get(url, res => {
        let data = "";

        res.on("data", (chunk) => {
            data += chunk;
        })
        res.on("end", () => {
            let $ = cheerio.load(data);
            callback($)
        })
    }).on("error", (err) => {
        console.log(err.message);
    })
}
// 调用方法
httpsGet(url, function($) {
    $("main ul.feedlist_mod li .list_con h2 a").each(function() {
        let blogUrl = $(this).attr("href");
        httpsGet(blogUrl, function($) {
            // 打印所有的文章内容
            // console.log($("#article_content").text());
            // 文章标题
            let title = $("main div.blog-content-box .article-header-box .article-header div.article-title-box .title-article").text();
            // 文章内容
            let content = $("#article_content").text();
            // 写入本地
            fs.writeFileSync(`./blog/${title}.txt`, content)
        })
    })
})
Node.js 实现爬虫(2) —— 多页面的爬虫程序 实现多页面的爬虫,并使用Promise编程,使得回调程序更优雅,利于理解,避免回调地狱 阅读详情

相关推荐

【愚公系列】《Python网络爬虫从入门到精通》021-爬取动态渲染信息(Selenium数据的爬取)

在现代网络数据采集中,许多网站采用了复杂的JavaScript脚本和动态加载技术,使得传统的爬虫工具难以有效提取数据。这时,Selenium这个强大的自动化测试工具便成为了数据爬取的理想选择。它不仅可以模拟用户在浏览器中的操作,还能够处理动态网页,轻松抓取那些通过Ajax或JavaScript生成的数据。在本期文章中,我们将深入探讨如何使用Selenium进行数据的爬取。我们将介绍Selenium的基本使用方法,包括如何设置环境、启动浏览器、定位元素以及提取所需的信息等。

愚公智库 12万+

Node.JS - 爬虫系统基础教程

Node.JS是一套使用JavaScript语言的后台。它执行Javascript的速度非常快,性能非常好。是近几年来火的公司首选后台语言之一,同时也是前后台人员争先恐后学习的后台语言。网络爬虫(又被称为网页蜘蛛,网络机器人),按照一定的规则,自动地抓取万维网信息的程序或者脚本的技术。通过Node.JS,我们一起来学习这一精彩的这技术如何去实现。

【愚公系列】《Python网络爬虫从入门到精通》022-Splash的爬虫应用

在当今互联网技术飞速发展的时代,网页数据的提取变得愈发复杂。许多网站使用JavaScript来动态生成内容,这使得传统爬虫工具难以有效抓取所需数据。而Splash,一个基于Python的JavaScript渲染服务,提供了一种解决方案,使得我们能够轻松处理这些动态网页。在本期文章中,我们将深入探讨Splash的爬虫应用。我们将介绍Splash的基本概念、安装与配置,以及如何利用它进行网页抓取。

愚公智库 12万+

基于nodejs如何爬取csdn上自己的文章

当你想把自己在csdn上写的文章转为hexo上可以发布的文章或是将文章写入自己的数据库时,可以用到。

没得简介 678

Node.js 实现爬虫(1) —— 简单的爬虫程序

用node.js实现一个简单的单页面爬虫

hard_hpp的博客 1227

爬虫教程:五分钟带你学会Python网络爬虫

又被称为网页蜘蛛,网络机器人,是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。大数据时代,要进行数据分析,首先要有数据源,可数据源从哪里来,花钱买,没预算,只能从其它网站就行抓取。

python03013的博客 1198

Node.js实现简单爬虫 讲解

一、什么是爬虫 网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定规则,自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 搜索引擎 今日头条/网易新闻 .抢票软件 最终都指向的是 12306 比价网 ·淘宝 京东 拼多多 在生活中网络爬虫经常出现,搜索引擎就离不开网络爬虫。例如,百度搜索引擎的爬虫名字叫作百度蜘蛛(Baiduspider)。百度蜘蛛,是百度搜索引擎的一个自动程序。它每天都会在海量的互联.

woyebuzhidao321的博客 1万+

微信小程序审核避坑指南:巧用 wx.getAccountInfoSync 实现审核与线上环境无感切换

本文详细介绍了如何利用`wx.getAccountInfoSync`API实现微信小程序审核与线上环境的无感切换。通过环境识别技术和动态渲染架构设计,开发者可以优雅解决审核资质门槛问题,同时保持生产环境的完整用户体验。文章包含组件化实现、全局状态管理等实用方案,帮助开发者提升审核通过率。

weixin_30527423的博客 260

node 爬取页面数据

node + cheerio 爬取页面数据

qq_40895465的博客 1106

linux下autocad完美替代品bricscad的安装运行

前言 在Linux平台下,能完美兼容.dwg文件的软件并不多。 虽然国产的中望和浩辰为适配uos操作系统,近期都推出了linux版本,但目前好像还没有对应的破姐流出。(如果有的话请私信我或留下评论) 然而有了这一款源自比利时的软件——bricscad,linux下查看和编辑.dwg文件再也不是噩梦了! 安装pj 资源链接:https://pan.baidu.com/s/1dC7zarlqwuO5fa4CBL_KGQ 提取码:24j6 1.下载对应的压缩包,解压并安装其中对应的deb或rpm软件包。 2.在C

weixin_35259117的博客 4490

中标麒麟,postgres报错invalid value for parameter "timeZone":"Asia/Beijing"

在中标麒麟服务器上,安装postgres,启动tomcat容器时,报invalid value for parameter "timeZone":"Asia/Beijing"。 查看postgres运行日志,也报同样的错误。 报错原因:服务器的时区,在Postgres支持的时区目录中找不到。当时在服务器上信息为Beijing 解决步骤: 1. cat /etc/sysconfig/cloc

u010213931的博客 7926

【nodeJS爬虫】前端爬虫系列 -- 小爬「博客园」

写这篇 blog 其实一开始我是拒绝的,因为爬虫爬的就是cnblog博客园。搞不好编辑看到了就把我的账号给封了:)。 言归正传,前端同学可能向来对爬虫不是很感冒,觉得爬虫需要用偏后端的语言,诸如 php , python 等。当然这是在 nodejs 前了,nodejs 的出现,使得 Javascript 也可以用来写爬虫了。由于 nodejs 强大的异步特性,让我们可以轻松以异步高并发去爬取网...

weixin_34198583的博客 343

Chapter 5 Gate Drivers and Level Shifters

Gate driver如下图所示, 包括功率管(带保护), Gate driver, Level shifter, Gate Supply 和Dead-time control.

2304_76736886的博客 2244

node.js爬虫--爬取优快云首页图片

这篇文章的代码在我之前写的node.js爬虫——爬取优快云首页的文章内容的基础上进行修改,做针对图片的爬取,实际上就是读取图片的资源,将图片保存到本地 首先将之前的代码复制过来,将读取文章的部分删除 const https = require("https") const cheerio = require("cheerio") const fs = require("fs") const u...

zem 729

JESD204B Subclass 1的SYSREF机制

SYSREF 是一个系统级同步脉冲信号,用于对齐 JESD204B 中的 LMFC(Local Multi-Frame Clock),从而实现每次建链的延迟一致性。核心点内容说明是系统参考跨多个芯片、多通道实现精确同步控制 LMFC决定所有设备的 LMFC 对齐点仅用于 Subclass 1是 JESD204B 实现确定性延迟的前提条件一般通过时钟芯片生成推荐使用 AD9528、LMK04828,支持 JESD204 专用输出建链过程中关键作用。

weixin_41230430的博客 1832

Omnibox 2.11 NAS部署指南:家庭影音中枢的轻量化落地实践

家庭影音平台本质是本地化内容调度中枢,其核心在于聚合NAS媒体库、统一管理直播/IPTV/音频/视频等多源内容,并通过智能元数据匹配与硬解加速实现零门槛播放体验。技术原理上依赖Java轻量Web容器(Jetty)、SQLite嵌入式数据库双缓存架构,以及宿主机FFmpeg动态链接与HTTP/2直播代理治理能力。该方案显著降低4K播放卡顿、EPG加载失败、海报缺失等高频问题,适用于群晖、飞牛、绿联等主流NAS设备,尤其适配ARM64芯片与Realtek网卡等国产硬件生态。本文聚焦Omnibox 2.11在真实

weixin_30846347的博客 473

在Electron中爬取优快云首页的文章信息

之前分享了Electron入门然后,我就想着把之前的nodejs爬虫也集成进来演示,在Electron中做一些结合。先上效果图,这是爬取优快云首页的数据。

yan1915766026的博客 1207

MNI152 坐标空间和 fsaverage 坐标空间相互转换, 如已知fsaverage空间的坐标如何求MNI152 坐标?aparc.a2009s.annot转化到MNI152空间?

大多数神经影像学研究的结果是在体积(例如,MNI152)或表面(例如,fsaverage)坐标系中报告的。体积坐标系和表面坐标系之间的准确映射可以促进许多应用,例如将 fMRI 组分析从 MNI152 投影到 fsaverage 以进行可视化或从 fsaverage 投影静息状态 fMRI 分区对 MNI152进行新数据的体积分析。Wu et al., 2018 评估了三种在 MNI152通过模拟上述应用的 Colin27 和 fsaverage 坐标系:将组平均数据从 MNI152/Colin27 投影到

从事脑科学核磁共振方法学研究,在Nature communications等权威期刊发表研究论文,熟练掌握磁共振处理方法和统计学方法,欢迎大家和我交流。 2968

都2023年了还不会Node.js爬虫?快学起来!

爬虫(Web Crawler)是一种自动化程序,可以在互联网上自动抓取网页,并从中提取有用的信息。爬虫可以模拟人类浏览器的行为,自动访问网站、解析网页、提取数据等。通俗来说,爬虫就像是一只蜘蛛,它会沿着网页上的链接不断爬行,把整个网站的内容都爬取下来。这样,我们就可以从大量的网页中获取到我们需要的数据。动态页面:动态页面是指页面内容是通过 JavaScript 或者其他脚本语言动态生成的页面,这种页面往往需要使用浏览器来执行脚本才能获取到完整的页面内容,因此比较难以爬取。

萌萌哒的瑞萌萌的博客 3520

11、iOS设备逻辑数据分析全解析

本文深入解析iOS设备中的逻辑数据,涵盖图像相关数据库(Photos.sqlite和PhotosAux.sqlite)、录音文件、iPhoto照片存储结构、多媒体文件、第三方应用程序、社交网络应用(如Twitter、Skype、Facebook等)以及苹果相关应用(如Google Mobile、Bing)的数据存储结构和取证方法。此外,还介绍了文档类应用(如Pages、Numbers、Documents To Go)的文件存储结构及恢复方法。适用于iOS取证、数据挖掘和数字调查领域。

rain6的博客 226

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Java爬虫Java Jsoup爬取csdn等级、排名、访问量、原力等级、个人成就

咱们干技术的,总不可能自己天天手动记录,必须是使用程序自动记录每天的数据变化情况,可以使用Java爬虫Jsoup爬取个人博客数据进行记录。记录数据后,时不时查出来看一看,充值一下写博客的动力。Jsoup 是一款 Java 的 HTML 解析器,可直接解析某个 URL 地址,通过请求 URL 地址获取 HTML 文本内容。提供了一套非常省力的API,可通过DOM,CSS 以及类似于 jQuery 的操作方法(类、元素、属性等选择器)来取出和操作数据。

yueeryuanyi的博客 2716

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

爬虫(没)入门:用 node-crawler 爬取 blog

用 node-crawler 爬取 csdn 上指定用户的所有文章(标题、摘要、分类、标签、正文、发布更新日期),并将结果输出到文件。 获取文章列表的接口会遇到网站的安全验证,node-crawler 无法自行处理,需要人工获取 cookie 辅助。

笔记本 1459

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

Node.js爬虫只会Cheerio?来试试Puppeteer!

上篇文章我们学习了如何通过 Cheerio 来爬取静态页面,但是我们没有办法处理动态渲染页面的数据关于 Cheerio 的学习请查看都 2023 年了还不会 Node.js 爬虫?快学起来!今天我们学习如何使用 Puppeteer 来轻松地完成我们解决不了的爬虫任务Puppeteer是一个由 Google 开发的 Node.js 库,它提供了一组用于控制 Headless Chrome 的 API。

萌萌哒的瑞萌萌的博客 2817

node.js 爬虫的简单例子(查看优快云访客,排名,分数)

1.编写目的 一个简单的例子,使用node.js来爬虫,获得某个csdn博客博主的访客,排名,分数。 2.具体过程 下载安装node.js(此过程非常简答,不赘述) 编写一个js文件。var http = require('https'); http.get('https://blog.csdn.net/smileyan9',function(res){ var data = ''; res.o...

Smileyan's blog 1万+

Node.js实现网络新闻爬虫及搜索功能(一)

Node.js实现网络新闻爬虫及搜索功能(一)Node.js实现网络新闻爬虫及搜索功能(一)项目要求一、爬虫部分1. 引入相关包2. 建立数据库连接3. 爬取并解析网页首页4. 爬取并解析新闻URL Node.js实现网络新闻爬虫及搜索功能(一) 项目要求 一、爬虫部分         1、完成目标网站的网页分析和爬虫设计。         2、爬取

WORLDLOGIC的博客 1050

node.js(六)之crawler爬虫模块爬取王者荣耀官网所有英雄资源信息

node.js爬虫模块爬取王者荣耀所有英雄信息 一、准备工作 https://pvp.qq.com/web201605/herolist.shtml进入王者荣耀所有英雄页面: 你会看到所有的英雄,打开F12开发者模式 打开network, 下面找XHR,刷新下网页, 下面会出现一个herolist.json的文件. 鼠标左击herolist.json 得到该json文件路径 二、node.js编码环节 大概步骤: 创建一个文件夹 用cmd方式打开该文件夹 安装crawler爬虫模块:npm

马云 4395
上一篇: ES6语法实现Promise过程
下一篇: node.js爬虫--爬取优快云首页图片
前端小黑
博客等级 码龄9年 148粉丝 222原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值