【java爬虫】使用selenium爬取优惠券

已于 2023-07-02 14:53:55 修改
阅读量1.1k 收藏 1
点赞数
分类专栏： java网络爬虫 文章标签： 爬虫 selenium
于 2023-07-02 14:49:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/haohulala/article/details/131499939
版权
本文介绍了如何使用Selenium接管已登录的Chrome浏览器来爬取淘宝联盟的优惠券信息，包括图片URL、优惠券标题、券前价格、券后价格、佣金率和佣金。通过定位HTML标签，提取所需数据，避免了JS逆向。文章还展示了处理价格和佣金信息的代码示例，并提到Selenium爬取速度较慢的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文将介绍使用selenium爬取某宝优惠券的方法，之所以使用selenium是因为我不会js逆向，如果你已经参透了淘宝联盟的js逆向方法，那么直接使用接口调数据就行了。

使用selenium接管chrome浏览器

由于淘宝联盟需要先登录，为了避免每次打开selenium都要重新登录，我们让selenium接管已经登录过账号的chrome浏览器进程进行爬虫。

在打开的浏览器中输入某宝联盟首页，然后扫码登录即可阿里妈妈https://pub.alimama.com/portal/v2/pages/promo/goods/index.htm

优惠券卡片对应的html标签

其实我感觉爬虫真的没什么难度，因为前端再写的时候一般都会把重复的元素放到一个循环里面去创建，优惠券卡片也不例外，因此我们只需要找到数组，逐个提取其中的元素即可。

很容易发现，装有优惠券卡片的数组的

class=GoodsList__CardList-sc-84so0w-1 chSSLp

我们只需要找个这个div，然后逐个遍历数据提取信息即可。

我们首先来确定一下，本文主要爬取一张卡片的以下六个信息，分别是

  • 图片url

  • 优惠券标题

  • 券前价格

  • 券后价格

  • 佣金率

  • ​佣金

 对应上述六个数据，建立一个实体类


                

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    


                



	

		

			

				
					
电商优惠券分析爬虫：使用Python爬取电商平台优惠券信息并进行数据分析

				
			

			

				

					2201_76125261的博客
				

				

					02-09
					
					1006
					
				

			

		

		

			
				
本文介绍了如何使用Python爬虫爬取电商平台的优惠券数据，并进行数据分析。通过RequestsSelenium等工具抓取优惠券数据，使用Pandas进行数据处理与分析，并通过Matplotlib进行数据可视化。通过对优惠券数据的分析，商家可以更好地了解优惠券的效果，优化促销策略。未来，随着数据分析技术的不断发展，我们可以结合机器学习等技术，对优惠券的效果进行更深入的预测和优化。通过本文的学习，您可以掌握如何构建电商优惠券分析爬虫，并利用爬取的数据为电商平台和商家的决策提供有力支持。

			
		

	



                

            
              



	

		

			

				
					
chatgpt赋能python：Python自动爬取优惠券，助你省钱无忧

				
			

			

				

					aijinglingchat的博客
				

				

					06-20
					
					841
					
				

			

		

		

			
				
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。

			
		

	



              


  
              

                


	

		

			

				
					
python简单应用！用爬虫来采集天猫所有优惠券信息，写入本地文件

				
			

			

				

					weixin_33979363的博客
				

				

					07-24
					
					917
					
				

			

		

		

			
				
2019独角兽企业重金招聘Python工程师标准>>>   
                                        
         ...

			
		

	





	

		

			

				
					
python爬虫项目（二十四）：爬取淘宝优惠券信息并自动化发布到优惠网站

				
			

			

				

					sybh的博客
				

				

					10-02
					
					1329
					
				

			

		

		

			
				
通过本项目，我们成功地爬取了淘宝优惠券信息，并将其自动化发布到指定的优惠网站。这种方法不仅提高了效率，还能及时为用户提供最新的优惠信息。在实践中，我们也要注意遵循网站的爬虫协议，避免给网站带来负担。我们的解决方案展示了Python在数据爬取、处理和自动化发布中的强大能力，为未来的项目提供了可借鉴的经验。

			
		

	



		

			
		



	

		

			

				
					
python爬虫项目（一百二）：电商网站优惠券信息爬取及分析

				
			

			

				

					sybh的博客
				

				

					10-07
					
					1496
					
				

			

		

		

			
				
定义请求函数Win64;else:本文介绍了如何从电商网站抓取优惠券信息，并对其进行数据分析。通过使用 Python 的 Requests 和 BeautifulSoup 库，我们成功实现了对优惠券信息的抓取、清洗和分析。

			
		

	





	

		

			

				
					
Python 爬虫教程：获取电商网站优惠券数据及分析

					
最新发布

				
			

			

				

					2201_76125261的博客
				

				

					01-10
					
					1710
					
				

			

		

		

			
				
电商网站的优惠券数据不仅对用户购物体验有着重要影响，同时也为商家提供了宝贵的营销数据。通过爬取电商网站的优惠券发放和使用情况，商家能够更好地了解用户的消费行为、优惠券的使用情况以及优惠策略的有效性。本文将详细介绍如何使用 Python 爬虫获取电商网站上的优惠券数据，并结合数据分析，帮助用户实现优惠券的优化策略。本文详细介绍了如何使用 Python 爬虫技术获取电商网站的优惠券数据，并进行了数据清洗、存储、分析和可视化。这些数据能够帮助商家分析优惠券的推广效果和用户的优惠券使用习惯，从而优化优惠券策略。

			
		

	





	

		

			

				
					
【java爬虫】使用selenium获取某交易所公司半年报数据

				
			

			

				

					haohulala的博客
				

				

					10-22
					
					1615
					
				

			

		

		

			
				
使用爬虫获取数据还是挺快的，也挺方便的。不过还是要提醒一句，本文分享的内容仅作为学习交流使用，请勿用于任何商业用途！

			
		

	





	

		

			

				
					
反爬虫机制与反爬虫技术(三)

				
			

			

				

					Java/Python大数据随笔
				

				

					07-29
					
					545
					
				

			

		

		

			
				
值得注意的是，在抓取店铺详情数据的过程中，综合评分（大众点评得分）的HTML解析结果为：None，进而导致提取数据报错（AttributeError：NoneType …）（类似Java空指针异常）另外，店铺各项（口味、环境、服务）评分的HTML解析结果也与网页上不同，例如原本为“口味：4.3，环境：4.3，服务：4.3”的解析结果变为了“口味：8.2，环境：8.1，服务：8.2”对于上述爬取的数据与网页实际显示的数据不一致的情况，这可能是由于网页动态加载、数据异步更新等反爬机制造成的动态网页加载。

			
		

	





	

		

			

				
					
什么值得买 Python 爬虫项目.zip

				
			

			

				

					01-31
				

			

		

		

			
				
本Python爬虫项目，名为"SmzdmSpider-master"，旨在自动化地抓取该网站上的数据，如热门商品、优惠券信息、用户评价等，以便进行数据分析或构建个人化的购物助手。  该项目的核心知识点包括：  1. **Python基础**：...

			
		

	





	

		

			

				
					
网络通信编程大作业--深度研究爬虫技术

				
			

			

				

					weixin_48302823的博客
				

				

					01-05
					
					6318
					
				

			

		

		

			
				
一：什么是网络爬虫技术？

网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤

			
		

	





	

		

			

				
					
淘宝优惠券APP

				
			

			

				

					12-16
				

			

		

		

			
				
淘宝优惠券。购物领淘宝优惠券可以省钱。一年省下好多钱，很不错的软件大家可以下载安装使用

			
		

	





	

		

			

				
					
天猫优惠券采集器

				
			

			

				

					01-29
				

			

		

		

			
				
淘宝、天猫优惠券采集器

			
		

	





	

		

			

				
					
爬虫实战1 Requests爬取折扣信息

				
			

			

				

					m0_55893050的博客
				

				

					09-13
					
					859
					
				

			

		

		

			
				
requests爬取商品折扣信息

			
		

	





	

		

			

				
					
【java爬虫】将优惠券数据存入数据库排序查询

				
			

			

				

					haohulala的博客
				

				

					07-16
					
					2733
					
				

			

		

		

			
				
前两篇文章介绍了如何获取优惠券的基础信息，本文将获取到的基本信息存到数据库中，并且利用数据库的排序获取优惠力度最大的优惠券。从上述代码中可以看出来，优惠价格和优惠率是自己计算的，在获取完券前价格和券后价格后就可以计算着两个值了，最后的结果保留四位有效数字，这里只是用了格式化保留四位小数，并没有进行四舍五入。在SQL语句中 limit 后面的两个参数分别是开始的索引和查询的数据量，比如下面这条SQL语句的意思应该是从第0条数据开始查，一共查出10条数据。上述的查询对应的sql语句如下。

			
		

	





	

		

			

				
					
获取淘宝优惠券

				
			

			

				

					apollo_miracle的博客
				

				

					07-07
					
					2620
					
				

			

		

		

			
				
经常看到别人在淘宝买东西可以领到好多优惠券，我也想要啊，于是搜刮全网信息，各种百度，终于梦想实现了，哈哈哈哈。。。好开心，今天分享给大家。


			
		

	





	

		

			

				
					
【python爬虫】自动领取福利券，剁手党的福利！

				
			

			

				

					xiaolinyui的博客
				

				

					01-02
					
					1390
					
				

			

		

		

			
				
今天给大家分享一个小网站的数据采集，并写到excel里面！目标网站是“小咪购”，这里有天猫所有的含有购物券的商品信息，我们今天就来抓它吧！随便找一段文字，然后点击右键查看网页源代码，看看是否存在该文字，如果存在，那么这个网页就是静态网站了！很幸运，这个网站居然是静态的。那就简单了，不需要去分析ajax加载数据或者找json包了，直接获取网页源代码==>>匹配相关内容==>>保存数据即可！用这几个库就可以搞定了！

			
		

	





	

		

			

				
					
Python Pyside2新手应用淘宝客API接口简单获取淘宝客大额推广优惠券的实现

				
			

			

				

					baidu_39039204的博客
				

				

					11-10
					
					1750
					
				

			

		

		

			
				
1.安装taobao-sdk-python3库
两种方式【pip install taobao_sdk_python3】或者【Pycharm-setting-python interpreter自行安装】。此第三方库支持Python 3.0以上！
链接如下：这里感谢GitHub作者ymj的开源

2.taobao-sdk-python3库中的bug
导入的taobao入口函数里面只引用几种Api的接口调用，如果需要更多，可以直接在里面添加from top.api.rest.xxxxxx import xxx

			
		

	





	

		

			

				
					
比价搜索爬虫：实现多个电商网站商品价格和优惠信息的批量抓取

				
			

			

				

					2201_76125393的博客
				

				

					08-07
					
					864
					
				

			

		

		

			
				
比价搜索爬虫是一种自动化程序，能够模拟用户行为，抓取多个电商网站上同款商品的价格和优惠信息。通过爬虫技术，我们可以批量抓取商品名称、价格、优惠活动和发布时间等信息，帮助用户实现便捷的比价和购物决策。products = soup.find_all("div", class_="product") # 获取商品的HTML元素name = product.find("h2", class_="name").text # 获取商品名称。

			
		

	





	

		

			

				
					
java使用selenium爬取图片

				
			

			

				

					07-29
				

			

		

		

			
				
您好！对于使用Java和Selenium来爬取图片，下面是一个简单的示例代码：

```java
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;

public class ImageScraper {
    public static void main(String[] args) {
        // 设置ChromeDriver的路径（请确保已下载并安装ChromeDriver）
        System.setProperty("webdriver.chrome.driver", "path/to/chromedriver");

        // 创建一个新的WebDriver实例
        WebDriver driver = new ChromeDriver();

        // 打开网页
        driver.get("http://example.com");

        // 定位图片元素
        WebElement imageElement = driver.findElement(By.tagName("img"));

        // 获取图片URL
        String imageUrl = imageElement.getAttribute("src");

        // 打印图片URL
        System.out.println("图片URL: " + imageUrl);

        // 关闭WebDriver
        driver.quit();
    }
}
```

在上面的示例中，我们使用了Selenium WebDriver来打开一个网页，并定位其中的图片元素。然后，我们通过获取图片元素的`src`属性来获取图片的URL。

请注意，您需要提前下载并安装ChromeDriver，并将其路径设置为`webdriver.chrome.driver`属性的值。另外，您可以根据需要修改代码以适应您要爬取图片的具体网页和元素定位方式。

希望这个示例能对您有帮助！如果还有其他问题，请随时提问。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值