写了个简单的爬虫

本文介绍了一个使用JavaScript编写的简单爬虫脚本,该脚本可在神箭手云爬虫平台上运行,用于抓取京东上关于Python关键字的商品详情及用户评论。当前爬虫能够抓取商品标题、产品ID及第一页的30条用户评论。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  1. 简单写了个爬京东评论的简单网页
  2. var configs = {  
  3.     domains: ["search.jd.com","item.jd.com","club.jd.com"],  
  4.     scanUrls: ["http://search.jd.com/Search?keyword=Python&enc=utf-8&qrst=1&rt=1&stop=1&book=y&vt=2&page=1&s=1&click=0"],  
  5.     contentUrlRegexes: ["http://item\\.jd\\.com/\\d+.html"],  
  6.     helperUrlRegexes: ["http://search\\.jd\\.com/Search\\?keyword=Python&enc=utf-8&qrst=1&rt=1&stop=1&book=y&vt=2&page=\\d+&s=1&click=0"],   
  7.     fields: [  
  8.         {  
  9.             // 第一个抽取项  
  10.             name: "title",  
  11.             selector: "//div[@id='name']/h1",  
  12.             required: true  
  13.         },  
  14.         {  
  15.             // 第一个抽取项  
  16.             name: "productid",  
  17.             selector: "//div[contains(@class,'fl')]/span[2]",  
  18.             required: true  
  19.         },  
  20.         {  
  21.             name: "comments",  
  22.             sourceType: SourceType.AttachedUrl,  
  23.             attachedUrl: "http://club.jd.com/productpage/p-{productid}-s-0-t-3-p-0.html",  
  24.             selectorType: SelectorType.JsonPath,  
  25.             selector: "$.comments",  
  26.             repeated: true,  
  27.             children:[  
  28.                 {  
  29.                     name: "com_content",  
  30.                     selectorType: SelectorType.JsonPath,  
  31.                     selector: "$.content"  
  32.                 },  
  33.                 {  
  34.                     name: "com_nickname",  
  35.                     selectorType: SelectorType.JsonPath,  
  36.                     selector: "$.nickname"  
  37.                 },  
  38.             ]  
  39.         }  
  40.     ]  
  41. };  
  42. configs.onProcessHelperUrl = function(url, content, site){  
  43.     if(!content.indexOf("抱歉,没有找到")){  
  44.         var currentPage = parseInt(url.substring(url.indexOf("&page=") + 6));  
  45.         if(currentPage == 0){  
  46.             currentPage = 1;  
  47.         }  
  48.         var page = currentPage + 2;  
  49.         var nextUrl = url.replace("&page=" + currentPage, "&page=" + page);  
  50.         site.addUrl(nextUrl);  
  51.     }  
  52.     return true;  
  53. };  
  54. var crawler = new Crawler(configs);  

  1. crawler.start();  
PS:爬虫脚本是用JS写的 

PPS:是在神箭手云爬虫平台上运行的 

请教:目前只能爬第一页的,一共是30条评论,请教怎么可以爬第二页的,这个不知道如何处理,有大神知道的嘛
 


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值