nodejs获取https://ty.58.com/shengyizr/0/中id=“house-list-wrap“下面每个li标签中的class=“title“的标签内容 如果存在下一页继续采集下

const axios = require('axios');
const cheerio = require('cheerio');

const url = "https://ty.58.com/shengyizr/0/";
const pageCount = 5; // 设置采集页数
let titles = []; // 存储标题的数组

// 定义函数用于采集一页内容并递归调用该函数直到采集所有页面为止
function getTitles(url, pageNum) {
  if (pageNum > pageCount) { // 判断是否采集完成
    console.log(titles);
    return;
  }
  axios.get(url).then(response => {
    const $ = cheerio.load(response.data);
    $("#house-list-wrap li").each(function() {
      const title = $(this).find(".title").text();
      titles.push(title);
    });
    const nextPageUrl = $(".pager a.next").attr("href");
    if (nextPageUrl) { // 判断是否还有下一页
      const nextPageNum = parseInt(nextPageUrl.match(/\d+/g)[1]);
      getTitles(nextPageUrl, nextPageNum); // 递归调用该函数处理下一页
    } else {
      console.log(titles);
    }
  }).catch(error => {
    console.log(error);
  });
}

getTitles(url, 1); // 启动采集任务

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值