使用Nodejs抓取<<文心雕龙>>

关注

原创最新推荐文章于 2026-10-29 09:19:38 发布 7.6k 阅读 AI 写同款· GEO 优化 ›

使用Node.js进行HTTP请求抓包编程通过抓包可以获取到HTTP请求和响应的详细信息，包括请求头、请求体、响应头和响应体等。你可以根据自己的需求，使用不同的HTTP库和处理请求的方式来实现更复杂的功能。在成功的情况下，我们打印出响应的状态码、响应头和响应数据，并将响应数据返回给客户端。在失败的情况下，我们打印出错误信息，并返回一个HTTP状态码为500的错误响应。在上面的代码中，我们创建了一个HTTP服务器，并指定了一个处理请求的回调函数。在控制台上，我们可以看到打印出的HTTP请求和响应的详细信息。，并处理了请求成功和失败的情况。阅读详情

/**
 * Created by Administrator on 2017/11/3.
 * 获取文心雕龙 保存到数据库
 */

let superagent = require("superagent");
let cheerio = require("cheerio");
let async = require("async");
let mongoose = require('mongoose');
let Schema = require('mongoose').Schema;

const setData = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
    'Referrer': 'www.baidu.com',
    'Content-Type': 'text/plain; charset=UTF-8'
};

/**
 *诗 表
 */
const Poetry = mongoose.model('poetry', new Schema({
    title  :   String,    //诗的标题
    author :   String,    //作者
    href   :   String,    //链接
    content:   String,    //诗的内容
    dynasty:   String,    //朝代
    tag    :   Array      //标签
}))

mongoose.connect('mongodb://localhost/alone', function (err) {
    if (err) {
        console.log(err.message);
    } else {
        console.log("^_^数据库已连接...请开始你的表演^_^")
    }
});

function getContent(href,title) {
    superagent.get(href)
        .set(setData)
        .end((err, res) => {
            let $ = cheerio.load(res.text);
            let obj={
                href,
                title,
                author:'刘勰',
                tag:['文心雕龙'],
                dynasty:'南朝'
            }
            obj.content=$(".contson").html();
            let new_poetry = new Poetry(obj)
            new_poetry.save();
            // return content;
        })
}
//程序主入口
let mainFun = (target_url, selector) => {
    superagent.get(target_url)
        .set(setData)
        .end((err, res) => {
        let $ = cheerio.load(res.text);
    let selectorArr = $(selector);
    let poetryArr = [];
    for (let i = 0; i < selectorArr.length; i++) {
        let item = $(selectorArr[i]);
        let href = item.attr('href');
        let title = item.text();
        if(href.indexOf('http://')!==0){
            href='http://so.gushiwen.org'+href;
        }
        getContent(href,title);
        console.log("已保存到数据库^_^");
    }
})
};

mainFun('http://www.gushiwen.org/guwen/wenxin.aspx', '.bookcont a');