2020-12-18 sync-request 和cheerio 爬虫

最新推荐文章于 2024-11-12 10:49:40 发布

糯米粥和玉米羹

最新推荐文章于 2024-11-12 10:49:40 发布

阅读量362

点赞数

分类专栏：爬虫文章标签： javascript

本文链接：https://blog.youkuaiyun.com/lxinxini/article/details/111387859

版权

本文介绍了如何使用sync-request库进行HTTP请求，并结合cheerio库解析HTML，实现简单的网页爬虫。由于sync-request的相关文档稀缺，作者在探索中总结了其API用法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sync-request 和 cheerio 爬虫

记录用

npm install sync-request

var request = require('sync-request');
var html = request(method, url, options).getBody().toString();

npm install cheerio

var cheerio = require('cheerio');
var $ = cheerio.load(html);

var cheerio = require('cheerio');
var request = require('sync-request');
var fs = require('fs');

var ofile = fs.openSync('out.html', 'w');

var url = 'http://www.runoob.com/html/html-tutorial.html';
var html = request('GET', url).getBody().toString();

var toc = getToc(html);
for(var i in toc) {
    var url = toc[i];
    console.log('page: ' + url);
    html = request('GET', url).getBody().toString();