selenium用try-except嵌套处理抓取异常（新闻抓取案例三）

最新推荐文章于 2025-04-22 23:01:27 发布
最新推荐文章于 2025-04-22 23:01:27 发布
阅读量1.3w 收藏 10
点赞数 2
分类专栏： 爬虫 文章标签： python selenium 爬虫 处理异常
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43251443/article/details/82833092
版权
本文通过一个新闻抓取案例，介绍如何利用Python Selenium的try-except嵌套处理NoSuchElementException异常。当目标网页的某些段落不存在时，程序能够智能地根据存在的元素进行抓取，避免程序崩溃。通过尝试定位并抓取前三段内容，如果第三段不存在，则只抓取前两段。对于更复杂的场景，如需抓取更多段落，作者提出try-except嵌套可能变得冗长，并期待找到更简洁的解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

今天练习的是新闻内容局部抓取，不需要打印全文，只需要打印前面两三段，所以可以直接定位到前三段的p标签

content1=driver.find_element_by_xpath("//*[@id='newsmain-ej']/div/div[1]/div[1]/div[4]/div/p[1]").text
content2=driver.find_element_by_xpath("//*[@id='newsmain-ej']/div/div[1]/div[1]/div[4]/div/p[2]").text
content3=driver.find_element_by_xpath("//*[@id='newsmain-ej']/div/div[1]/div[1]/div[4]/div/p[3]").text

但是实际抓取的时候有一篇文章报错了，因为它很短，没有第三段——selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element:

于是想到能不能用try-except来处理异常，判断有没有第三段。查了一下确实有这个异常NoSuchElementException，要用到这个NoSuchElementException异常，要在开头导入from selenium.common.exceptions import NoSuchElementException。

如果没有第三段，也就是说p[3]不存在，那就只打印第一和第二段，如果没有异常，则打印前三段：


                

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    


                



	

		

			

				
					
用 Python 爬虫抓取新闻评论数据：从爬取到情感分析的实战案例

				
			

			

				

					u014481728的博客
				

				

					02-14
					
					1727
					
				

			

		

		

			
				
在当今信息爆炸的时代，新闻评论数据蕴含着巨大的价值。通过爬取新闻评论数据并进行情感分析，我们可以洞察公众对某一事件的态度和看法。本文将详细介绍如何使用 Python 编写爬虫抓取新闻评论数据，并进行情感分析，帮助读者从数据中挖掘有价值的信息。

			
		

	



                

            
              



	

		

			

				
					
抓取股票市场数据：从数据抓取到分析的实战

				
			

			

				

					u014481728的博客
				

				

					02-14
					
					961
					
				

			

		

		

			
				
通过本文的学习，你掌握了如何使用 Python 编写股票市场数据爬虫，从静态和动态页面抓取股票市场数据，并对数据进行清洗、存储、分析和可视化。希望这篇实战教程能帮助你更好地理解和应用爬虫技术，为股票市场的投资决策提供有力支持。

			
		

	



              


  
              

                


	

		

			

				
					
selenium的try except 捕获异常.docx

				
			

			

				

					06-22
				

			

		

		

			
				
selenium的try except 捕获异常.docx

			
		

	





	

		

			

				
					
selenium之异常处理try…except…

				
			

			

				

					RJ0024的博客
				

				

					04-03
					
					5572
					
				

			

		

		

			
				
在实际selenium自动化脚本开发及调试过程中，多多少少会存在脚本报错情况。报错信息大多数是网络加载延缓导致元素无法定位而报错，而这种情况的最直接的解决方法就是增加等待时间（强制等待、显式等待、隐式等待）来解决此问题。
但是实际开发中不一定只会因等待时间而报错情况。有前端调整的元素定位的情况，浏览器及对应驱动版本不一致无法兼容的情况……
以上情况可以使用python基础语法中的try…excep...

			
		

	



		

			
		



	

		

			

				
					
selenium报错: no such element Unable to locate elemen已解决

				
			

			

				

					weixin_56690452的博客
				

				

					04-03
					
					306
					
				

			

		

		

			
				
使用selenium的写自动化脚本，使用xpath获取元素报错。

			
		

	





	

		

			

				
					
selenium中，运行测试用例，报NosuchElementException错误，用try --except 捕获异常

				
			

			

				

					weixin_30736301的博客
				

				

					12-21
					
					945
					
				

			

		

		

			
				
try:
   ele=driver.find_element_by_name('kw')
except NosuchElementException as msg:
   print '查找元素异常原因：%s'%msg
else:   ele.click()

selenium常见异常
1.NoSuchElementException：没有找到元素
2.No...

			
		

	





	

		

			

				
					
Python-异常处理 使用selenium库自动爬取数据

				
			

			

				

					weixin_30701575的博客
				

				

					08-29
					
					262
					
				

			

		

		

			
				
异常处理
处理程序的报错
语法
捕捉万能异常：
try:
    print(a)
except Exception as e:
    print("你的代码有问题")
print("程序走下面的代码")
字符串内置方法

索引取值
切片
长度（len）
成员运算
移除两边空白字符
str切分
循环
startswith/endswith
join()
index()
count()
...

			
		

	





	

		

			

				
					
python try except 嵌套_try except嵌套之异常的传递

				
			

			

				

					weixin_39777242的博客
				

				

					02-19
					
					1770
					
				

			

		

		

			
				
如果在程序中发生了try嵌套，那么如果里面的try没有捕获到这个异常，外面的try就会接收到这个异常，然后进行处理，如果外边的try依然没有捕获到，那么再往外进行传递。# -*- coding: utf-8 -*-try:dic = {}try:name = dic['name']if name == 'python66':print('我在python66学习python')except Ind...

			
		

	





	

		

			

				
					
Python学习笔记之抓取某只基金历史净值数据实战案例

				
			

			

				

					09-19
				

			

		

		

			
				
可以使用try-except块捕获可能出现的错误，如网络连接问题、元素找不到等。同时，通过日志记录错误信息，有助于调试和优化爬虫。  9. **性能优化**：在大规模抓取时，考虑使用更高效的存储策略，如批量插入数据库，...

			
		

	





	

		

			

				
					
[特殊字符]️Python爬虫实战：抓取网页数据并存储为JSON格式进行后续处理

					
最新发布

				
			

			

				

					2201_76125261的博客
				

				

					04-22
					
					614
					
				

			

		

		

			
				
多页数据抓取并存储为结构化JSON使用Pandas分析数据结构（标签数量、作者分布）使用Matplotlib图表可视化标签热度和作者影响力。

			
		

	





	

		

			

				
					
selenium的try except 捕获异常

				
			

			

				

					weixin_44892048的博客
				

				

					06-22
					
					1205
					
				

			

		

		

			
				
selenium的try except 捕获异常



try:
self.assertFalse(kby)except AssertionError as E:
print(E)
self.driver.save_screenshot("../../TestDatas/haha.png")
# raise



使用try except来捕获异常，这样子用例遇到这个错误后，就会捕获，会让用例继续运行下去。

因为异常被捕获，用例执行后，try语句中的错误异常捕获。会导...

			
		

	





	

		

			

				
					
tryexceptelse可以嵌套

				
			

			

				

					kyle1314608的博客
				

				

					04-26
					
					891
					
				

			

		

		

			
				

			
		

	





	

		

			

				
					
如何优雅的写try...except....嵌套

				
			

			

				

					李孟笛的博客
				

				

					04-22
					
					426
					
				

			

		

		

			
				
我在工作中因为经常需要正则解析大量结构不一的文本，所有异常捕获用的非常频繁，甚至需要深层嵌套才能完成最终提取，所以写出的异常捕获代码异常难看，大概类似于这种吧。。。。

因为深受其害，后来百般寻找解决办法，还真让我找到了可行方案。总体思想就是将所有可能性通过循环的方式捕获异常，测试例子大概是这样：
def a():
    print(name_a)


def b():
    # print(name_b)
    aaa = 123
    return aaa


def c():
    prin

			
		

	





	

		

			

				
					
python+selenium自动化测试--try except测试断言

				
			

			

				

					BEEKSTAR的博客
				

				

					12-22
					
					7690
					
				

			

		

		

			
				
在自动化测试脚本开发中，经常会用到异常处理，本文通过try except语句块进行断言测试。 
例：判断百度首页是否有id为“kw”的元素（其实为百度的搜索输入框）。 
代码如下：from selenium import webdriver
driver = webdriver.Chrome()
driver.maximize_window()
driver.implicitly_wait(6)dr

			
		

	





	

		

			

				
					
selenuim+携程自由行+利用try...except判断元素是否存在

				
			

			

				

					qq_35249586的博客
				

				

					07-06
					
					325
					
				

			

		

		

			
				
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time


			
		

	





	

		

			

				
					
python异常（虫师《selenium3自动化测试实战--基于Python语言笔记7》）

				
			

			

				

					bangzhuihai0700的博客
				

				

					08-30
					
					627
					
				

			

		

		

			
				
1.打印异常信息

try:
    open("abc.txt", 'r')
    print(a)
except BaseException as msg:
    print(msg)

输出结果为：[Errno 2] No such file or directory: 'abc.txt'
2.常见的异常类型



异常
描述


BaseEx...

			
		

	





	

		

			

				
					
Python —— 捕获异常（try-except、raise）&日志模块（logguru）

				
			

			

				

					南夏一木子的博客
				

				

					09-14
					
					4508
					
				

			

		

		

			
				
一般是开发者控制不了的地方，例如：用户输入数据、用户传参、函数返回值调用，需要加上异常捕获。1、查看控制台的报错信息，报错信息会显示行号、点击文件可以跳到问题行。真实项目情况下，需要对不同的报错信息进行不同的处理：记录日志，警告，发送邮件等。try中的代码不报错，不会执行except中的语句。- 最后加上Exception 兜底。如果报错，会执行except中的代码。- 尽量去区分异常进行捕获，优先使用。机制不会因为报错影响后面的代码运行。1、先运行 try中的代码，

			
		

	





	

		

			

				
					
GeckoDriver+Selenium+Try Xpath插件安装

					
热门推荐

				
			

			

				

					weixin_43718742的博客
				

				

					12-29
					
					1万+
					
				

			

		

		

			
				
GeckoDriver+Selenium+Try Xpath插件安装；WebDriverException: Message: Service firefox.exe unexpectedly exited. Status code was: 0；InvalidArgumentException: Message: binary is not a Firefox executable；SessionNotCreatedException: Message: Expected browser binary 

			
		

	





	

		

			

				
					
Python爬虫——Selenium 浏览器交互与异常处理

				
			

			

				

					万里顾一程的博客
				

				

					08-15
					
					802
					
				

			

		

		

			
				
在使用Selenium的时候，可能会遇到一些异常，例如超时（TimeoutException）、节点未找到（NoSuchElementException）等。为了让程序不停止运行我们可以使用 try except 语句来捕获各种异常，对异常进行处理。click() 方法是Selenium WebDriver提供的操作鼠标的方法，其作用是单击已经定位到的节点。Selenium 可以控制浏览器执行想要的动作，如前进、后退、点击、刷新、输入文本等。double_click()，其作用是双击已经定位到的节点。...

			
		

	





	

		

			

				
					
python selenium 循环递归

				
			

			

				

					03-12
				

			

		

		

			
				
<think>好的，我现在需要帮助用户理解如何在Python Selenium中实现循环和递归。首先，用户提到的是“循环递归”，可能是指循环和递归两种不同的结构，或者他们想结合使用两者。我得先理清楚这两个概念在Selenium中的应用场景。

首先，循环在Selenium中很常见，比如遍历多个页面元素，例如表格中的每一行，或者分页导航中的每一页。用户可能需要知道如何用循环结构来处理重复的任务，比如点击每个链接或提取多个数据项。这时候，我应该考虑举例说明，比如使用for循环遍历find_elements返回的列表，然后对每个元素执行操作。

然后是递归。递归在Selenium中的应用可能不太常见，但用户可能有特定的需求，比如处理嵌套的DOM结构，或者不断深入子页面直到满足某个条件。例如，爬取多层级的菜单，或者不断点击“下一页”直到没有更多内容。这时候需要递归函数，但要注意终止条件，避免无限递归和栈溢出。不过，递归在深度较大时可能不如循环高效，所以也要提醒用户根据情况选择。

接下来，我需要考虑用户可能的实际场景。比如，用户可能想爬取一个分页的网页，这时候循环更适合，每次循环处理一页，直到最后一页。而递归可能用在处理类似树形结构的导航菜单，每个菜单项可能有子菜单，这时候递归函数可以展开每个节点。

同时，要提醒用户注意Selenium中的常见问题，比如元素定位的时效性（StaleElementReferenceException），特别是在循环或递归过程中，页面元素可能发生变化，导致之前找到的元素失效。解决办法是在每次循环内部重新定位元素，或者使用显式等待确保元素可用。

另外，循环和递归都可能遇到性能问题，特别是网页加载时间较长时，需要合理设置等待时间，可能使用WebDriverWait配合expected_conditions，确保元素加载完成再进行操作。

还需要考虑代码的结构，比如在递归中，每次调用自身时需要传递必要的参数，比如当前的页面元素或深度限制。而在循环中，可能需要维护一个队列或栈结构，特别是处理广度优先或深度优先遍历时。

可能的代码示例方面，循环的例子可以是用while循环点击“下一页”按钮，直到按钮消失。递归的例子可以是遍历一个嵌套的ul列表，每个li元素可能有子ul，递归处理每个层级。

最后，要总结两者的适用场景，循环适合已知或可预测次数的情况，递归适合问题可分解为相同结构的子问题的情况，但要注意终止条件和性能影响。同时，给出注意事项，比如异常处理和等待机制的重要性。</think>在Python Selenium中实现循环和递归操作，通常用于处理网页元素的遍历、分页抓取或嵌套结构解析。以下是分步说明和示例：

---

### **一、循环的应用场景**
适用于已知重复次数或可预测终止条件的场景，如遍历列表、分页操作等。

#### **1. 基础循环示例：遍历元素列表**
```python
from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com/table")

# 定位表格中的所有行
rows = driver.find_elements("xpath", "//table//tr")

# 使用for循环遍历每一行
for row in rows:
    cells = row.find_elements("tag name", "td")
    for cell in cells:
        print(cell.text)

driver.quit()
```

#### **2. 分页抓取（while循环）**
```python
while True:
    # 抓取当前页内容
    items = driver.find_elements("class name", "item")
    for item in items:
        print(item.text)
    
    # 尝试点击下一页按钮
    try:
        next_button = driver.find_element("xpath", "//a[text()='下一页']")
        next_button.click()
    except NoSuchElementException:
        break  # 无下一页时退出循环
```

---

### **二、递归的应用场景**
适用于嵌套结构解析（如树形菜单）或不确定深度的层级遍历。

#### **1. 递归遍历嵌套菜单**
```python
def parse_menu(element, depth=0):
    # 展开当前菜单项（假设有展开按钮）
    element.click()
    
    # 定位子菜单项
    sub_items = element.find_elements("xpath", "./following-sibling::ul/li")
    
    # 递归处理子菜单
    for sub_item in sub_items:
        print("  " * depth + sub_item.text)
        parse_menu(sub_item, depth + 1)  # 递归调用

# 初始化：从顶级菜单开始
top_menu = driver.find_element("id", "main_menu")
parse_menu(top_menu)
```

#### **2. 递归终止条件**
必须明确终止条件，例如：
- 当元素没有子节点时停止递归
- 设置最大递归深度（防止栈溢出）

---

### **三、注意事项**
1. **元素过期问题**  
   在循环/递归中，若页面DOM更新（如点击后加载新内容），需重新查找元素，避免`StaleElementReferenceException`。

2. **性能优化**  
   - 循环：优先使用显式等待（`WebDriverWait`）确保元素加载完成。
   - 递归：限制递归深度（如`if depth > 5: return`）。

3. **替代方案**  
   对于深度嵌套结构，可用循环+栈（Stack）模拟递归，避免栈溢出：
   ```python
   stack = [root_element]
   while stack:
       element = stack.pop()
       # 处理当前元素
       children = element.find_elements("xpath", "./child")
       stack.extend(children)
   ```

---

### **四、总结**
- **循环**：适合分页、列表遍历等线性操作。
- **递归**：适合树形菜单、嵌套JSON等层级结构。
- **混合使用**：例如用循环处理分页，递归处理每页内的嵌套内容。

根据实际需求选择合适方法，并结合异常处理（`try-except`）和显式等待提升稳定性。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值