nodejs写的猫眼爬虫

最新推荐文章于 2023-01-08 14:55:54 发布

原创最新推荐文章于 2023-01-08 14:55:54 发布 · 304 阅读

0 ·

CC 4.0 BY-SA版权

H5 专栏收录该内容

28 篇文章

订阅专栏

本文介绍了一个使用Node.js、cheerio和https模块的猫眼电影网站爬虫项目。该爬虫能够抓取电影列表页上的电影标题和评分，并通过创建HTTP服务器返回JSON格式的数据。文章展示了如何设置HTTP服务器，配置请求选项，解析响应数据，以及使用cheerio进行DOM操作的具体代码。

const https = require('https')
const cheerio = require('cheerio')
const http = require('http')

http.createServer((request,response)=>{
    response.writeHead(200,{
        'Access-Control-Allow-Origin':'*'
    })
    const options = {
        hostname:'maoyan.com',
        port:443,
        path:'/',
        method:'GET',
        protocol:'https:'
    
    }
    const req = https.request(options,(res)=>{
        let data = ''
        res.on('data',(chunk)=>{
            data += chunk
        })
        res.on('end',()=>{
            filterData(data)
        })
    })
    function filterData(data){
        let $ = cheerio.load(data)
        let $movieList = $('.movie-item')
        let movies=[]
        $movieList.each((index,value)=>{
           
            movies.push({
                title:$(value).find('.movie-title').attr('title'),
                score:$(value).find('.movie-score i').text()
            })
        })
        console.log(movies);
        
        response.end(JSON.stringify(movies))
    }
    
    req.end()


}).listen(8081)