selenium又一小坑 无法用XPATH直接获取属性值 需要使用.get_attribute(“href”)

最新推荐文章于 2023-11-07 23:30:00 发布
原创 最新推荐文章于 2023-11-07 23:30:00 发布 · 3w 阅读 · 46 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#selenium #xpath

本文介绍了使用Selenium抓取网页URL的方法。针对XPath语法在find_elements_by_xpath中使用不当的问题，提供了一种有效的解决方案：先获取元素节点，再通过get_attribute方法提取所需的属性值。

在使用selenium进行抓取url的时候，试图使用find_elements_by_xpath来获取。
因此想当然的直接使用XPATH的语法进行获取属性
事例缩略后xml结构如下


<div class="qg-limit-list" data-spm="1998564503" data-spm-max-idx>
<a href="//item.taobao.com/item.htm?spm=a21bz.7725273.1998564503.46.1Tdtjr">
    <img src="//img.alicdn.com/tps/TB1lUEgLpXXXXbzXXXXXXXXXXXX-114-114.png" class="qg-img-tag">

按照XPATH正常的语法，想要获取a标签的url也就是href的属性应该写作

//div[@class="qg-limit-list"]/a/@href

然而在使用find_elements_by_xpath一直报错，显示只能存放element而不是object。
最后的解决办法就是，这里只取到标签级，想要获取元素在之后再获取如下

xpath_urls = '//div[@class="qg-limit-list"]/a'
urls_pre = browser.find_elements_by_xpath(xpath_urls)
url = urls_pre[0].get_attribute("href")

对，就是加.get_attribute(“href”)，同理想要获得其他属性值，也可以通过他来获取。

《Python基础教程》内容总览篇（持续更新中）
weixin_43178406的博客
08-26 31万+
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为优快云博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。
Selenium与Metamask钱包及DApp交互及验证码破解汇总
u010263350的博客
02-20 5158
*
python获取视频时长方法
weixin_42076509的博客
07-04 7377
1.使用subprocess和re import re import subprocess video = r"work/train/video/a8b96f016a28d8f3836f7cbb7734ecde.mp4" import subprocess def get_length(filename): result = subprocess.run(["ffprobe", "-v", "error", "-show_entries",
xpath无法获取某些标签问题
just_tree的博客
11-24 2531
python爬虫中用xpath无法获取某些标签问题selenium 斗鱼直播页面某个div标签下面的img标签在代码中无法用xpath获取到 selenium 斗鱼直播页面 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 某个div标签下面的img标签在代码中无法用xpath获取到 xpath路径没有问题 代码中无法找到报错 def prase_data(self):
Python_selenium之获取当前页面的href属性，id属性，图片信息和截全屏
weixin_33826268的博客
12-07 560
Python_selenium之获取当前页面的href属性，id属性，图片信息和截全屏 一、 获取当前页面的全部信息 1. 图片信息包括图片名称、图片大小等信息 2. 只需将图片信息打印出来（image.text image.size image.tag_name） 二、 获取页面元素的href属性（id同理） 1. 获取当前页面所有的链接信息（以百度首页为例） 2. 运用f...
用selenium和xpath定位元素并获取属性值以及str字符型转json型
kxltsuperr的专栏
09-19 989
要使用xpath定位这个div元素，并且获取其属性data-config的内容值。读取json数据用json_attr['video']['url']即可。那么先得到的是str类型，如何转换为json类型呢？蓝色的为str类型，红色的为json类型。
python selenium 处理弹窗_Selenium自动化发布话题，以及获取window.showModalDialog()弹窗对象(Python实现)...
weixin_39704374的博客
11-24 657
折腾了一下自动化测试，找到了阿里开源的一个 uirecorder ，可以自动录制测试过程，但自定义逻辑有些麻烦然后发现这货是基于 selenium 实现的，于是就开始折腾起了 selenium，弄出了个小成果，记录一下并分享给有需要的人老规矩，先上图安装pip install selenium打开浏览器下载好后解压，创建一个文件夹，名为：selenium-dmeo你也可以命名成其它名字，将 chr...
Selenium常用控件实战
qq_37931379的博客
06-29 1168
Selenium常用控件实战
使用Pyecharts进行全国水质TDS地图可视化全过程6：利用Python+Selenium自动化获取页面信息
weixin_42878250的博客
07-12 1096
使用Pyecharts进行全国水质TDS地图可视化的全过程。本文介绍利用Selenium模拟人工操作，从网页上自动获取信息。
使用selenium的xpath方式抓取元素
原来是小雨啊的博客
07-05 1845
[]代表需要匹配的标签 @id= 代表属性的精确匹配 contains 代表属性的模糊匹配 @ 代表标签属性 div[3] 代表当下级有重复元素时，取第三个。在测试xpath是否可用时，可以通过chrome来验证xpath： 在console中输入：$x(‘xpath表达式’)...
css xpath 提取 属性值 href
qq_15282237的博客
10-14 822
response.css("div#content #newsHeader ul li a::attr(href)").extract_first()
Python 中 Selenium 的 getAttribute() 函数
迹忆客
11-07 1138
HTML 中的属性定义元素的属性。属性由名称-值对组成，这意味着每个属性都有一个值和一个名称。它们的值用双引号括起来，并在开始标记中提供。从上面的例子来看，HTML 标签有多种属性和值。例如，输入标签具有许多属性，例如类、样式、占位符、类型、名称和id。每个属性都有一个用双引号引起来的数字。现在我们了解了属性对于 HTML Web 元素的含义或它的显示方式，让我们检查一下方法为何有用。
selenium用XPATH直接获取属性值 需要使用.get_attribute(“属性名”)
热门推荐
weixin_33969116的博客
09-10 1万+
在使用selenium进行抓取url的时候，试图使用find_elements_by_xpath来获取。 因此想当然的直接使用XPATH的语法进行获取属性 事例缩略后xml结构如下 <div class="qg-limit-list" data-spm="1998564503" data-spm-max-idx> <a ...
用python selenium的时候，为什么xpath定位不到元素
debroglie_bo的博客
02-26 901
python selenium xpath定位
selenium.获取元素属性的方法（get_attribute ）
diaochu1346的博客
02-28 3908
使用12306网站练习 from selenium import webdriver get_12306 = webdriver.Firefox() get_12306.get('https://www.12306.cn/index/index.html') a_href = get_12306.find_element_by_link_text('中国铁路12...
Selenium获取页面元素的href属性
西门一刀的博客
11-25 1万+
本文来介绍如何通过Selenium获取页面元素的某一个属性。一个元素可能有多个属性，例如 class, id, name, text, href, vale等等。这里我们举例一个爬虫中经常需要处理的链接问题：找出当前页面所有的超链接。 已百度首页为例，打印所有包含href的元素的链接。 相关脚本代码如下： # coding=utf-8 import time from selenium import webdriver driver = webdriver.Chrome() driver.maxim
python+selenium 获取元素文本为空None的解决办法
python3使用unittest进行自动化测试
08-03 5553
用某8同城练习selenium的时候,有一个"加载更多"的按钮,通常是不可见的.通过selenium获取这个文本内容总是为空 无效方法 1\ text属性 element.text 2\ 虽然在浏览器F12的控制台,可以获取该元素文本内容,但是用selenium发送js获取内容还是为空 有效方法 1\确定元素是否为空 2\解决办法 (1)selenium 只会与可见元素交互,所以获取隐藏元素的文本为空None.可以修改元素相关属性为可见 (2)通过get_attrib...
selenium的xpath的get_attribute如何取多个元素
weixin_35755188的博客
01-10 1156
在 Selenium 中，使用 find_elements_by_xpath() 方法来查找多个元素，然后可以循环遍历这些元素，并使用 get_attribute() 方法获取每个元素的属性值。 例如： elements = driver.find_elements_by_xpath("//a") for element in elements: print(element.get_att...
python selenium 获取元素属性.get_attribute("aria-selected")失败
最新发布
09-27
当使用 Python Selenium 的 `get_attribute("aria-selected")` 方法获取元素属性失败时，可以尝试以下几种解决办法： ### 确保元素已正确定位 元素定位错误会导致无法获取其属性。可以使用浏览器开发者工具（如 Chrome 的开发者工具）来确认元素的定位表达式是否正确。例如，使用 `find_element` 方法时，要确保选择器能够准确找到目标元素。 ```python from selenium import webdriver from selenium.webdriver.common.by import By driver = webdriver.Chrome() driver.get("https://example.com") try: element = driver.find_element(By.CSS_SELECTOR, "your-css-selector") except Exception as e: print(f"元素定位失败: {e}") ``` ### 等待元素加载完成 页面元素可能需要一些时间才能完全加载。可以使用显式等待来确保元素在获取属性之前已经加载完成。 ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Chrome() driver.get("https://example.com") try: element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, "your-css-selector")) ) aria_selected = element.get_attribute("aria-selected") print(aria_selected) except Exception as e: print(f"获取属性失败: {e}") ``` ### 检查元素是否可见和可用 元素可能存在但不可见或不可用，这也会影响属性的获取。可以使用 `is_displayed()` 和 `is_enabled()` 方法来检查元素的状态。 ```python from selenium import webdriver from selenium.webdriver.common.by import By driver = webdriver.Chrome() driver.get("https://example.com") element = driver.find_element(By.CSS_SELECTOR, "your-css-selector") if element.is_displayed() and element.is_enabled(): aria_selected = element.get_attribute("aria-selected") print(aria_selected) else: print("元素不可见或不可用") ``` ### 检查属性是否存在 有时候元素可能根本没有 `aria-selected` 属性，在获取之前可以先检查属性是否存在。 ```python from selenium import webdriver from selenium.webdriver.common.by import By driver = webdriver.Chrome() driver.get("https://example.com") element = driver.find_element(By.CSS_SELECTOR, "your-css-selector") attributes = element.get_property('attributes') has_aria_selected = any(attr['name'] == 'aria-selected' for attr in attributes) if has_aria_selected: aria_selected = element.get_attribute("aria-selected") print(aria_selected) else: print("元素没有 aria-selected 属性") ``` ### 检查页面是否为动态加载 如果页面是动态加载的，可能需要处理 JavaScript 异步加载的情况。可以使用 `execute_script` 方法来直接执行 JavaScript 代码获取属性。 ```python from selenium import webdriver from selenium.webdriver.common.by import By driver = webdriver.Chrome() driver.get("https://example.com") element = driver.find_element(By.CSS_SELECTOR, "your-css-selector") aria_selected = driver.execute_script('return arguments[0].getAttribute("aria-selected");', element) print(aria_selected) ```
评论 9
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值