webhave爬虫抓取京东数据

最新推荐文章于 2025-06-02 22:40:03 发布
最新推荐文章于 2025-06-02 22:40:03 发布
阅读量2.7k 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/superliang11/article/details/74171137
本文介绍了一种利用WebMagic框架抓取京东店铺商品信息的方法，包括配置Maven依赖、定义爬虫逻辑及提取商品详情等内容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

抓取京东店铺商品信息

webmagic使用maven管理

<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-core</artifactId>
    <version>0.7.2</version>
</dependency>
<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-extension</artifactId>
    <version>0.7.2</version>
</dependency>

//传店铺url
flag= WebMagic.running(shopUrl);

//京东店铺商品信息有的在页面能直接抓取，有的需要分析有数据的js
//分析js，游览器 f12  f5
//根据页面信息，拼接js
public class WebMagic implements PageProcessor{
	static Integer flag ;
	public static Integer running(String url) {


		Spider.create(new WebMagic())
		.addUrl(url)
		.addPipeline(new ConsolePipeline())
		.thread(5).run();	
		return flag;
	}


	public static final String URL_POST ="(http[s]{0,1})://\\w+\\.jd\\.com/view_search-\\S+\\.html";//正则匹配规则
	public static final String URL_ZIYING ="https://list.jd.com/list.html?\\w";// //自营店铺




	public static final String URL_ADVANCE ="(http[s]{0,1})://mall.jd\\.com/\\S";//匹配正则url	 //


	private Site site = Site.me().setRetryTimes(3).setSleepTime(100);


	public Site getSite() {
		return site;
	}


	public void process(Page page) {
		if(page.getUrl().regex(URL_POST).match()){
			//获取商品类目categoryId和appId
			String categoryId="";
			String appId="";
			String orderBy="";
			String direction="";
			String pageSize="";
			String pageNo="";
			String url=page.getUrl().toString();
			String [] sub_url_array = url.split("-");  
			if (sub_url_array != null && sub_url_array.length >0) {
				
					appId =sub_url_array[1];
					categoryId=sub_url_array[2];
					orderBy=sub_url_array[3];
					direction=sub_url_array[4];
					pageSize =sub_url_array[5];
					//pageNo=sub_url_array[6];
					pageNo=sub_url_array[6].replaceAll(".html", "");
				


			}
			page.putField("pageInstanceId",page.getHtml().xpath("//[@id='pageInstance_id']/@value").all());
			page.putField("venderId",page.getHtml().xpath("//[@id='vender_id']/@value").all());
		
				page.putField("instanceid",page.getHtml().xpath("//div[@class='J_LayoutWrap d-layout-wrap d-enable d-w990']/div/div[2]/div[@class='m_render_structure']/@m_render_instance_id").all());
				page.putField("prototypeid",page.getHtml().xpath("//div[@class='J_LayoutWrap d-layout-wrap d-enable d-w990']/div/div[2]/div[@class='m_render_structure loading']/@m_render_prototype_id").all());
				page.putField("templateId",page.getHtml().xpath("//div[@class='J_LayoutWrap d-layout-wrap d-enable d-w990']/div/div[2]/div[@class='m_render_structure loading']/@m_render_template_id").all());


			


			page.putField("shopId",page.getHtml().xpath("//[@id='shop_id']/@value").all());


			List<String> pageInstanceIds = (List<String>) page.getResultItems().get("pageInstanceId");
			List<String> venderIds = (List<String>) page.getResultItems().get("venderId");


			List<String> instanceids=(List<String>) page.getResultItems().get("instanceid");
			List<String> prototypeids=(List<String>) page.getResultItems().get("prototypeid");
			List<String> templateIds=(List<String>) page.getResultItems().get("templateId");




			List<String> shopIds=(List<String>) page.getResultItems().get("shopId");


			String pageInstanceId="";
			String venderId="";
			String instanceid="";
			String prototypeid="";
			String templateId="";
			String shopId="";


			if (pageInstanceIds != null && pageInstanceIds.size()>0) {
				pageInstanceId=pageInstanceIds.get(0);
				venderId=venderIds.get(0);
				instanceid=instanceids.get(0);
				prototypeid=prototypeids.get(0);
				templateId=templateIds.get(0);
				
				shopId=shopIds.get(0);
			}


			//当前时间戳获取
			String res;
			Date date = new Date();
			long ts = date.getTime();
			res = String.valueOf(ts);


			for (int i = 1; i <5; i++) {
				String surl="";
				
					surl="http://module-jshop.jd.com/module/getModuleHtml.html?appId="+appId+"&orderBy="+orderBy+"&pageNo="+i+"&direction="+direction+"&categoryId="+categoryId+"&pageSize="+pageSize+"&pagePrototypeId=8&pageInstanceId="+pageInstanceId+"&moduleInstanceId="+instanceid+"&prototypeId="+prototypeid+"&templateId="+templateId+"&layoutInstanceId="+instanceid+"&origin=0&shopId="+shopId+"&venderId="+venderId+"&callback=jshop_module_render_callback&_="+res;
				
				JDItemJsonPreocessor.running(surl);
			}
			flag=200; 
		}
	}
	
}

//获取商品数据，价格sku，名称等信息
static Map<String,String> maps = new HashMap<String, String>();
		private PageInfo pages = new PageInfo();
		private ShopItem shopitem;
		private ShopInfo shopinfo;
		private List<ShopInfo> shopInfolist;//店铺信息
		private List<ShopItem> shopItemlist;
		    
	    public static Map<String,String> running(String url) {
	    	
	        Spider.create(new JDItemJsonPreocessor()).addUrl(url).run();
	        return maps;
	    }


	   private ApplicationContext a=new ClassPathXmlApplicationContext("spring/applicationContext-db.xml"); 
	    ShopInfoService shopInfoService=(ShopInfoService) a.getBean("ShopInfoServiceImpl");
	    ShopItemService shopItemService=(ShopItemService) a.getBean("ShopItemServiceImpl");


	    public static final String URL_LIST = "(http[s]{0,1})://module-jshop\\.jd\\.com/module/getModuleHtml\\.html\\?[\\w-_/?&=#%:]*";
	    //public static final String URL_ADVANCE ="(http[s]{0,1})://\\w+\\.jd\\.com/\\S+\\.html";//匹配正则url
	    public static final String URL_ADVANCE ="(http[s]{0,1})://mall.jd\\.com/\\S+\\.html";//匹配正则url
	    public static final String URL_ZIYING ="https://list.jd.com/list.html?\\w";//匹配正则url	



static Map<String,String> maps = new HashMap<String, String>();
		private PageInfo pages = new PageInfo();
		private ShopItem shopitem;
		private ShopInfo shopinfo;
		private List<ShopInfo> shopInfolist;//店铺信息
		private List<ShopItem> shopItemlist;
		    
	    public static Map<String,String> running(String url) {
	    	
	        Spider.create(new JDItemJsonPreocessor()).addUrl(url).run();
	        return maps;
	    }


	   private ApplicationContext a=new ClassPathXmlApplicationContext("spring/applicationContext-db.xml"); 
	    ShopInfoService shopInfoService=(ShopInfoService) a.getBean("ShopInfoServiceImpl");
	    ShopItemService shopItemService=(ShopItemService) a.getBean("ShopItemServiceImpl");


	    public static final String URL_LIST = "(http[s]{0,1})://module-jshop\\.jd\\.com/module/getModuleHtml\\.html\\?[\\w-_/?&=#%:]*";
	    //public static final String URL_ADVANCE ="(http[s]{0,1})://\\w+\\.jd\\.com/\\S+\\.html";//匹配正则url
	    public static final String URL_ADVANCE ="(http[s]{0,1})://mall.jd\\.com/\\S+\\.html";//匹配正则url
	    public static final String URL_ZIYING ="https://list.jd.com/list.html?\\w";//匹配正则url	





page.putField("id",page.getHtml().xpath("//div/div/div/div[2]/ul/li/div/div[3]/div[3]/div/span[2]/@jdprice").all());
							page.putField("name",page.getHtml().xpath("//div/div/div/div[2]/ul/li/div/div[3]/div[2]/a/text()").all());
							page.putField("img",page.getHtml().xpath("//div/div/div/ul/li/div/div[1]/a/img/@original").all());
						
	 		  List<String> ids = (List<String>) page.getResultItems().get("id");
		      List<String> name = (List<String>) page.getResultItems().get("name");
		      List<String> imgs=(List<String>) page.getResultItems().get("img");
		      
 	      String makerUrl = makerUrl(ids);
	      Map<String, String> running = JDJsonPreocessor.running(makerUrl);//拼接价格js
	      for (int i = 0; i < name.size(); i++) {
	       String price = running.get("J_"+ids.get(i));
	    	  String ItemId=ids.get(i);
	    	  String productname =name.get(i);
	    	  String pImg="";
	    	  pImg="http:"+imgs.get(i).replaceAll("\\\\\"", "");



 public String makerUrl(List<String> ids){
	    	  StringBuffer sb = new StringBuffer();
	    	  for (String id : ids) {
	    	   sb.append("J_"+id+",");
	    	  }
	    	  String substring = sb.substring(0, sb.length()-1);
	    	  //获取时间戳
	     	   String res;
	           Date date = new Date();
	           long ts = date.getTime();
	           res = String.valueOf(ts);
	    	  return "http://p.3.cn/prices/mgets?callback=jQuery3944635&skuIds="+substring+"&_="+res;
	    	 }



//获取价格信息


package com.huanovo.fxprice.service.impl;


import java.util.HashMap;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Set;


import com.huanovo.fxprice.util.JsonUtil;




import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.pipeline.FilePipeline;
import us.codecraft.webmagic.processor.PageProcessor;




public class JDJsonPreocessor implements PageProcessor{
	 static Map<String,String> maps = new HashMap<String, String>();
	    
	    
	    public static Map<String,String> running(String url) {


	        Spider.create(new JDJsonPreocessor()).addUrl(url).run();
	        return maps;
	    }


	    private Site site = Site.me()
	    .setRetryTimes(3)
	    .setSleepTime(100)
	    .addHeader("Accept-Encoding", "/")
	    .setUserAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.59 Safari/537.36");


	    public Site getSite() {
	        return site;
	    }


	    public void process(Page page) {
	        page.setSkip(true);
	        String text = page.getRawText();
	        int begin = text.indexOf("[");
	        int end = text.indexOf("]");
	        String substring = text.substring(begin, end + 1);
	        String jsonName = "result";
	        String json = "{\"" + jsonName + "\":" + substring + "}";


	        Map<String, Object> map = JsonUtil.jsonToMap(json);
	        List<Map<String, Object>> list = (List<Map<String, Object>>) map.get(jsonName);
	        for (Map<String, Object> map1 : list) {
	            String key = map1.get("id").toString();
	            String value = map1.get("p").toString();
	            maps.put(key, value);
	        }
	    }
}





主要就是 ，1.拿到链接分析页面数据 2.模拟链接访问3.xpath提取页面信息over














                

        

    

    
  



    



                



	

		

			

				
					
Python 爬虫实战：京东图书类目层级解析（含价格监控与畅销榜动态分析）

				
			

			

				

					yansideyucsdn的博客
				

				

					06-20
					
					675
					
				

			

		

		

			
				
在数据驱动的今天，网络爬虫已成为获取有价值信息的关键工具。对于图书行业从业者、研究人员以及数据爱好者来说，能够从京东这样的大型电商平台获取图书类目结构、价格动态以及畅销榜信息，具有极高的实用价值。本文将带领读者深入实战，从零开始构建一个完整的京东图书爬虫系统。

			
		

	



                

            
              



	

		

			

				
					
爬虫案例—京东数据爬取、数据处理及数据可视化（效果+代码）

					
热门推荐

				
			

			

				

					m0_50902656的博客
				

				

					12-21
					
					2万+
					
				

			

		

		

			
				
利用Python知识点对京东相关数据进行爬取及数据可视化处理

			
		

	



              


  
              

                


	

		

			

				
					
京东新店采集方案

				
			

			

				

					weixin_43029785的博客
				

				

					01-17
					
					971
					
				

			

		

		

			
				
此插件经测试，在调试优化好网络环境后，可长时间持续稳定做抓取。抓取信息可用于业内营销、同行数据分析等板块。获取完整抓取演示视频或下载此插件私。

			
		

	





	

		

			

				
					
[Python爬虫] 抓取京东商品数据||京东商品API接口采集

				
			

			

				

					电商数据Girl的博客
				

				

					07-08
					
					4801
					
				

			

		

		

			
				
最开始还是常规地使用selenium库进行商品页的商品抓取，后来因为想要获取优惠信息，只能进入到商品详情页进行抓取，想着用selenium库模拟浏览器行为进行页面抓取速度有点慢，就改用了requests库直接发送请求，然后问题就来了：明明在页面看到了优惠满减字段，抓取的结果却是空白的。百度了解到的原因是，京东网页中价格等信息并不是存放在静态网页中的，我们使用requests获取到网页源码，进行html解析，只会获取到空值。最后因为商品抓取量不大，所以还是乖乖的使用了selenium库进行爬虫。

			
		

	



		

			
		



	

		

			

				
					
Python爬虫篇（四）：京东数据批量采集

				
			

			

				

					TinagirlAPI的博客
				

				

					12-28
					
					4239
					
				

			

		

		

			
				
keyword=%E7%B2%BD%E5%AD%90&qrst=1&stock=1&page=3&s=53&click=0，提取主要的参数keyword（搜索词）和page（页码），那么主要的url为：https://search.jd.com/Search?一年一度的端午节又到了，甜咸粽子之争也拉开了帷幕，它价格高昂，它味道鲜美，然而，默默无名的它却备受广大民众喜爱！发起请求-获取响应内容-解析内容-保存内容，还是熟悉的老四步曲。，那咱们能做些什么呢，当然是选择盘它啊，今天咱们就看看京东上粽子的行情。

			
		

	





	

		

			

				
					
Python爬虫实战之爬取京东商品数据并实实现数据可视化

				
			

			

				

					2301_80241064的博客
				

				

					12-11
					
					6489
					
				

			

		

		

			
				
'''模拟登录京东'''print('\[INFO\]: 检测到已有会话文件session.pkl, 将直接导入该文件...')else:f.close()接着去京东抓一波包，一样的套路，有种屡试不爽的感觉：看看请求这个接口需要提交的参数：area: 不用管，可以看作一个固定值enc: 指定编码, 可以看作固定值"utf-8"keyword: 搜索的关键词adType: 不用管，可以看作一个固定值page: 当前的页码ad\_ids: 不用管，可以看作一个固定值。

			
		

	





	

		

			

				
					
网页数据抓取公式之京东商品数据抓取

				
			

			

				

					wwxxb的博客
				

				

					07-20
					
					1581
					
				

			

		

		

			
				
使用网页抓取公式抓取京东商品信息

			
		

	





	

		

			

				
					
Python3网络爬虫实战-38、动态渲染页面抓取:Splash的使用

				
			

			

				

					Python追梦
				

				

					07-31
					
					1087
					
				

			

		

		

			
				
Splash 是一个 JavaScript 渲染服务，是一个带有 HTTP API 的轻量级浏览器，同时它对接了 Python 中的 Twisted和 QT 库，利用它我们同样可以实现动态渲染页面的抓取。
1. 功能介绍
利用 Splash 我们可以实现如下功能：

异步方式处理多个网页渲染过程
获取渲染后的页面的源代码或截图
通过关闭图片渲染或者使用 Adblock 规则来加快页面渲染速度
可执...

			
		

	





	

		

			

				
					
【Python】Python3网络爬虫实战-38、动态渲染页面抓取:Splash的使用

				
			

			

				

					Python8年程序员教程分享
				

				

					07-29
					
					1289
					
				

			

		

		

			
				
Splash 是一个 JavaScript 渲染服务，是一个带有 HTTP API 的轻量级浏览器，同时它对接了 Python 中的 Twisted和 QT 库，利用它我们同样可以实现动态渲染页面的抓取。
1. 功能介绍
利用 Splash 我们可以实现如下功能：

异步方式处理多个网页渲染过程
获取渲染后的页面的源代码或截图
通过关闭图片渲染或者使用 Adblock 规则来加快页面渲染速度
可执...

			
		

	





	

		

			

				
					
Python3网络爬虫开发实战（7）JavaScript 动态渲染页面爬取

				
			

			

				

					bigcrab的博客
				

				

					07-28
					
					2309
					
				

			

		

		

			
				
selenium，splash，playwright，没有 pyppeteer，因为 pyppeteer 无人维护

			
		

	





	

		

			

				
					
爬虫教程（ 6 ） --- 爬虫 进阶、扩展

				
			

			

				

					墨鱼菜鸡
				

				

					07-11
					
					7265
					
				

			

		

		

			
				
1. 前言 
1. 先看一个最简单的爬虫。 
import requests

url = "http://www.cricode.com"
r = requests.get(url)
print(r.text) 
2. 一个正常的爬虫程序 
上面那个最简单的爬虫，是一个不完整的残疾的爬虫。因为爬虫程序通常需要做的事情如下： 
1)给定的种子 URLs，...

			
		

	





	

		

			

				
					
利用python抓取京东手机销售数据

				
			

			

				

					08-15
				

			

		

		

			
				
爬取京东手机销售与评价数据，以excel表格形式存储，以条形图形式展示不同品牌手机在淘宝的评价人数。可以通过更改关键字手机实现对其他商品的爬取。详细介绍https://blog.youkuaiyun.com/weixin_42911616/article/details/81506154

			
		

	





	

		

			

				
					
Python抓取京东数据

				
			

			

				

					12-07
				

			

		

		

			
				
使用Python抓取京东数据，并用mySQL存取数据

			
		

	





	

		

			

				
					
京东店铺名称爬虫软件

				
			

			

				

					04-10
				

			

		

		

			
				
使用Python软件进行京东店铺名称的爬取，关键字是“零食”，统统是能够对店铺的性质做出判断，判断其是否为京东自营等。

			
		

	





	

		

			

				
					
抓取京东价格源码

				
			

			

				

					11-18
				

			

		

		

			
				
抓取京东价格源码，C#，机器学习范畴，随便写的，没整理，就这么看看吧。

			
		

	





	

		

			

				
					
[Python3网络爬虫开发实战] --Splash的使用

				
			

			

				

					u012922806的博客
				

				

					06-10
					
					1781
					
				

			

		

		

			
				
Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它同样可以实现动态渲染页面的抓取。
1. 功能介绍
利用Splash可以实现如下功能：

异步方式处理多个网页渲染过程；
获取渲染后的页面的源代码或截图；
通过关闭图片渲染或者使用Adblock规则来加快页面渲染速度；
可执行特定的JavaScript脚...

			
		

	





	

		

			

				
					
【python大作业/爬虫实战】——基于京东商品评论的爬虫数据采集+可视化+情感分析(附完整代码)

					
最新发布

				
			

			

				

					weixin_65147810的博客
				

				

					06-02
					
					2943
					
				

			

		

		

			
				
本文介绍了基于Python的京东商品评论采集与分析，采用DrissionPage+PyAutoGUI技术实现稳定爬取。项目支持多标签分类采集（好评/中评/差评等），通过监听API获取结构化数据并存储为CSV。采集字段包括用户名、评分、评论内容和时间等。还集成SnowNLP进行情感分析，自动将评论分为差评、中评和好评，并提供了可视化分析功能（情感得分分布、词云等）。该方案适用于市场分析、产品优化等场景，具有数据结构清晰、运行稳定等特点，为电商数据分析提供了完整的技术实现路径。



			
		

	





	

		

			

				
					
2024年Python最全全国计算机等级考试二级Python考试大纲

				
			

			

				

					2401_84692141的博客
				

				

					04-30
					
					3564
					
				

			

		

		

			
				
这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。１． 程序的基本语法元素：程序的格式框架、缩进、注释、变量、命名、保留字、数据类型、赋值 语句、引用。

			
		

	





	

		

			

				
					
【京东】抓取京东详情、评论_8.17

				
			

			

				

					北欧VI海盗
				

				

					08-17
					
					660
					
				

			

		

		

			
				
mark

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值