爬虫问题-Selenium- 没有text 方法 报错问题排查

最新推荐文章于 2024-05-31 17:12:32 发布
最新推荐文章于 2024-05-31 17:12:32 发布
阅读量667 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 爬虫 selenium python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37453155/article/details/125174909
博主在使用Selenium爬虫时遇到了问题，发现在4.1.5版本下无法复现特定bug，而降级到3.14.0版本后问题得到解决。尽管如此，bug的具体原因尚不清楚，有待进一步分析。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

爬虫问题–遇到Selenium一部分原因是包的版本问题：

Selenium报错问题排查：
1、selenium版本：4.1.5.很是遗憾，未能复现原bug。‘dict’ object has no attribute ‘text’
在这里插入图片描述
2、selenium版本：3.14.0，使用老版本的时候搞定了，但是还是不知道原因，待日后分析吧。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Jacky&Jacky
关注
Python中爬虫反爬机制报错的排查与修复
shejizuopin的博客
05-04 1416
Python爬虫反爬调试需要结合请求伪装行为模拟和数据解析开发阶段使用curl -I命令验证请求头配置通过Fiddler抓包分析动态参数生成逻辑借助PyCharm调试器逐步执行JS逆向代码测试阶段编写单元测试验证代理池可用性使用Locust模拟高并发验证限流策略通过pytest断言验证数据完整性生产阶段部署ELK日志系统监控爬虫状态实现自动降级策略（如代理失效时回退到备用节点）建立反爬机制变更响应流程（如参数签名算法更新时24小时内适配）
【一】python3+Scrapy：爬虫框架问题合集 【参考转载大佬文章 + 自己解决方法】
莲君子的博客
05-03 4521
因为安装了推荐的Notepad++ keymap扩展，卸载就可以了。
解决运行出现'dict' object has no attribute 'has_key'问题
09-16
主要介绍了快速解决出现class object has no attribute ' functiong' or 'var'问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
selenium------------------‘list‘ object has no attribute ‘click‘以及文本框输入文字
zxcvbbnn的博客
08-09 955
目录'list' object has no attribute 'click'原因解决方案：在文本框输入文字 ‘list’ object has no attribute ‘click’ 原因 出现这个问题，一般是在定位的时候写成了find_elements_by_xpath find_elements_by_xpath返回的是一个列表，所以会报错 解决方案： 解决方法： 把find_elements_by_xpath改成find_element_by_xpath即可 在文本框输入文字 number =
Selenium报错 AttributeError: ‘dict‘ object has no attribute ‘xx‘ （已解决）
热门推荐
weixin_42152949的博客
12-30 1万+
selenium的查找元素并点击：self.driver.find_element_by_id("xx").click() 执行这句时报错：AttributeError: 'dict' object has no attribute 'click'，断言发现，find_element_by_id确实返回了一个dict类型。 网上寻找答案后，解决如下： 将安装的selenium 4.0版本，降为3.141.0版本即可。 参考：https://stackoverflow.com/questions/
AttributeError: ‘dict‘ object has no attribute ‘t‘
Triumph19的博客
03-01 1841
修改第五行代码 names=input("请输入各个同学行业名称，行业名称之间用空格间隔（回车结束输入）：") t = names.split() d = {} for c in range(len(t)): d[t[c]] = d.get(t[c],0) +1 ls = list(d.items()) ls.sort(key=lambda x:x[1], reverse=True) # 按照数量排序 for k in ls: print("{}:{}".format(k[0],k.
selenium 使用text无法获取标签文本内容的解决办法
Yola_Liao的博客
01-02 2574
元素的文本内容没有展示在页面上，或者页面使用display:none被隐藏了，又或者明明已经准确定位到了元素但使用text还是获取不到文本内容时，我们会使用get_attribute方法来获取页面上的元素文本内容
selenium cookie 写入成功，刷新页面为什么没有直接登录呢
最新发布
06-07
嗯，用户遇到了Selenium设置Cookie后刷新页面未能自动登录的问题，这确实是个常见的爬虫技术痛点。从用户描述看，他已经意识到域名不同导致的Cookie写入错误问题，说明他对基础机制有一定理解。但可能忽略了几个关键...
import socket from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.common.exceptions import * # ================== 配置区 ================== CHROMEDRIVER_PATH = r"D:\tools\chromedriver\chromedriver.exe" TARGET_URL = "https://www.autohome.com.cn/rank/1-1-0-0_9000-x-1-x/2025-02.html" MAX_RANK = 50 # 抓取前5名 TIMEOUT = 10 # 页面加载超时时间(秒) # =========================================== def check_network(): """检查网络连通性""" try: socket.create_connection(("www.baidu.com", 80), timeout=5) return True except OSError: return False def setup_driver(): """初始化浏览器(Selenium 3.x写法)""" if not check_network(): raise ConnectionError("❌ 网络连接异常，请检查网络后重试") try: options = webdriver.ChromeOptions() options.add_argument("--disable-infobars") driver = webdriver.Chrome( executable_path=CHROMEDRIVER_PATH, options=options ) driver.maximize_window() print("✅ 浏览器启动成功") return driver except WebDriverException as e: print(f"🚨 浏览器启动失败: {str(e)}") print("常见原因：") print(f"1. 驱动路径: {CHROMEDRIVER_PATH}") print("2. Chrome是否安装") print("3. 版本是否匹配") return None def scrape_car_rank(driver): """抓取汽车排名数据""" try: print(f"🌐 正在加载页面: {TARGET_URL}") driver.get(TARGET_URL) # 修正后的关键行 WebDriverWait(driver, TIMEOUT).until( EC.presence_of_element_located((By.CSS_SELECTOR, "div.rank-list")) ) print("⏳ 页面加载完成，开始解析数据...") for rank in range(1, MAX_RANK + 1): try: item_selector = f'div[data-rank-num="{rank}"]' car_item = WebDriverWait(driver, TIMEOUT).until( EC.presence_of_element_located((By.CSS_SELECTOR, item_selector), name = car_item.find_element_by_css_selector("div.tw-text-nowrap").text.strip() score = car_item.find_element_by_css_selector("span.tw-text-\\[#FF6600\\] > strong").text.strip() price = car_item.find_elements_by_css_selector("div.tw-font-medium")[-1].text.strip() print(f"🏆 第{rank}名: {name}") print(f" 评分: {score} | 价格区间: {price}\n") except TimeoutException: print(f"⚠️ 第{rank}名车型加载超时") except NoSuchElementException as e: print(f"⚠️ 第{rank}名数据解析失败: {str(e)}") except TimeoutException: print("⏳ 页面整体加载超时") except Exception as e: print(f"❌ 发生未知错误: {str(e)}") if __name__ == "__main__": print("=" * 40) print("🚗 汽车之家排行榜数据抓取程序启动") print("=" * 40) driver = setup_driver() if not driver: exit(1) try: scrape_car_rank(driver) finally: driver.quit() print("✅ 浏览器已正常关闭")运行以上代码后报错D:\test\venv\Scripts\python.exe D:\test\lunwen\carnumb-2025-02.py File "D:\test\lunwen\carnumb-2025-02.py", line 66 EC.presence_of_element_located((By.CSS_SELECTOR, item_selector), ^ SyntaxError: '(' was never closed Process finished with exit code 1
03-26
- `find_element_by_*` 系列方法在最新版Selenium 4中已弃用 - 建议改用新写法： ```python # 旧方法 car_item.find_element_by_css_selector("div.tw-text-nowrap") # 新方法 car_item.find_element(By....
Python Selenium自动化导出新版WOS(web of science)检索结果
m0_67402970的博客
03-08 1411
写在前面 有的时候需要某个领域的所有论文数据，此时web of science数据库检索的论文结果可能动辄上万甚至几十万，然而网站限制单次导出条数为1000（如果需要引文字段则仅500，仅导出为txt可包含引用详细信息），需要导出几十上百次，手动做太费神，因此写一个爬虫脚本自动导出。 2022.1.6旧版web of science正式下线了，这里是对新版网站重新开发的自动化导出代码。 使用本代码需要： 国内大学学生账号(登录wos使用) 火狐浏览器 python以及selenium包 geckodriv
Python3下错误AttributeError: ‘dict’ object has no attribute’iteritems‘的分析与解决
09-21
主要跟大家介绍了关于在Python3下错误AttributeError: 'dict' object has no attribute 'iteritems'的分析与解决方法，文中介绍的非常详细，对大家具有一定的参考学习价值，需要的朋友们下面来一起看看吧。
【Python】解决Python报错：AttributeError: ‘int‘ object has no attribute ‘xxx‘
科技改变人类，技术成就未来
05-31 5256
解决Python报错：AttributeError: 'int' object has no attribute 'xxx'
selenium调取webdriver出现‘dict‘ object has no attribute ‘has_key‘
weixin_50197124的博客
11-13 806
当前版本：python3 + 最新的selenium + Chrome95.0.4638.69(stable) 用selenium调取webdriver，接着driver.find_element_by_tag_name，提取出的不是WebElement，而是dict 接下来出现： 'dict' object has no attribute 'has_key' 'dict' object has no attribute 'text' 尝试下载最新的chromedriver，无效 手动
解决出现的AttributeError: ‘dict‘ object has no attribute ‘encode‘错误
qq_49079751的博客
03-24 1万+
这个错误通常表示您正在尝试对字典类型的对象使用字符串编码方法。但是字典类型的对象没有编码属性。通常可能需要检查代码中哪些部分试图将字典转换为字符串并应用编码。现在直接输出json_str.encode("utf-8")的内容就可以了。解决方法是将字典转换为字符串(例如，使用JSON格式)然后应用编码。这个错误就会出现，因为字典类型的对象没有encode() 方法。
错误AttributeError: 'dict' object has no attribute 'iteritems'
baidu_32936911的博客
03-31 2507
Python3.5中：iteritems变为items找到iteritems所在的位置，改成items
【记录一下】报错解决AttributeError: ‘NoneType‘ object has no attribute ‘text‘
weixin_45768644的博客
03-30 2117
报错解决
selenium 爬虫 ‘list‘ object has no attribute ‘text‘ 错误
倚楼听风雨的博客
11-24 712
这个错误是因为在使用selenium时，尝试访问一个列表对象的'text'属性，但列表对象并没有这个属性。要解决这个问题，需要先定位到具体的元素，然后再获取其文本内容。# 假设我们要找到所有的标签。# 遍历元素并获取文本内容。
错误:AttributeError: ResultSet object has no attribute ‘text‘.
weixin_61038883的博客
12-07 1484
错误：AttributeError: ResultSet object has no attribute 'text'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?
AttributeError: 'dict' object has no attribute 'iteritems'
qq_36833848的博客
07-30 328
网址：https://blog.youkuaiyun.com/qq_30638831/article/details/79928463
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值