Python3+webdriver做简单的爬虫入门，怎么知道和网页元素对应的id、name、xpath等信息

最新推荐文章于 2024-10-29 10:17:47 发布
原创 最新推荐文章于 2024-10-29 10:17:47 发布 · 2.2k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Python3 #webdriver #chromedriver #爬虫入门 #抓取网页元素

本文探讨了使用爬虫抓取网页元素时常见的问题，包括如何准确获取元素的id、name、xpath、class等信息，以及在程序运行中遇到的元素定位错误。作者分享了通过浏览器检查元素功能和直接复制选择器或XPath的方法，并寻求更稳定可靠的解决方案。

最近刚学爬虫，准备上网页搜一些东西，但是在做的过程中不知道怎么抓取网页对应元素的id、name、xpath、class等信息，程序运行时候总说信息是错的，找不到对应元素。本来查看网页元素的方式是打开elements界面，找到元素对应代码所在位置看代码的描述来猜测id、class像这样
elements界面
“发布文章”元素对应的代码
然后像这样就在程序里写了
fide_element_by_class_name(“btn btn-publish”)
不知道这样对么
或者直接右键copy selector或者copy xpath这样
但以这种方式运行的程序有时候可以运行成功，有时候就出错说找不到对应元素，求大佬指点这咋办啊

python + Selenium+webdriver实现UI自动化（含示例）
Jerry的博客
09-23 1万+
一、原理 Selenium 是一个 Web 应用的自动化框架。 通过它，我们可以写出自动化程序，像人一样在浏览器里操作web界面。 比如点击界面按钮，在文本框中输入文字 等操作，而且还能从web界面获取信息。 Selenium 的自动化原理如图所示： 从上图可以看出： 编写的自动化程序 需要使用 客户端库，程序的自动化请求都是通过这个库里面的编程接口发送给浏览器。比如，要模拟用户点击界面按钮， 自动化程序里面就应该 调用客户端库相应的函数， 就会发送 点击元素 的请求给 下方的 浏览器驱动。 然后，浏览器
python元素定位input button_python+webdriver学习鼠标键盘事件以及定位元素
weixin_39612817的博客
12-18 665
设置浏览器大小：像素点set_window_size(width,height)maximize_window() 浏览器全屏显示，不带参数控制浏览器前进、后退：driver.forward()driver.back()模拟浏览器刷新：driver.refresh()from selenium import webdriverdriver = webdriver.Firefox()driver.g...
爬虫解析网页的 对象.元素名方法
wzxeleanor的博客
01-11 505
文章目录
html pm id class,使用selenium和python提取没有任何class和id的div标签
weixin_39682944的博客
06-20 461
我正在尝试使用selenium从网站获取每小时和每日水位数据。我的代码到目前为止import timefrom selenium import webdriverfrom selenium.webdriver.support.ui import Selectdriver = webdriver.Chrome(r"C:\Python27\chromedriver.exe")driver.get('h...
Python+Selenium爬虫：定位元素无ID和class等属性解决办法
VM_Alike的博客
08-21 1万+
今天笔者进行数据爬虫的时候遇到一个问题，所需要定位的input输入框元素和button按钮元素都没有ID和此class等属性。代码如下： <div id="headerScaher" class="scaher hover"> <input type="text" placeholder="IP、域名、文件HASH(MD5/SHA1/SHA256)、邮箱"> ...
Python3爬取网站下所有href链接
豆傻小饼干随记
07-17 2232
依托在VULFOCUS目录遍历漏洞解题方法获取网站内所有href链接
19.获取页面元素
potato123232的博客
05-11 1828
1 通过ID获取 .getElementById() ID是唯一的，所以我们一般配和document 参数为元素的ID的字符串形式，注意这里是区分大小写的，如果没有这个ID就返回null，如果有就会返回Element对象 由于html文件是从上到下加载，所以这里script要放在定义id语句的下面，但一般我们都放在上面，后面我们会用一种别的方式解决这个问题 2 通过标签名获取 .getElementsByTagName() 参数为标签的字符形式，不区分大小写，但最好还是按照标签的样子来..
selenium+webdriver+python自动化测试
11-22
常用的定位技术包括通过id、name、tag name、class name、CSS选择器和XPath等进行定位。 9. 测试环境搭建：搭建Selenium测试环境包括安装Python解释器，安装Selenium库以及对应的浏览器驱动。可以通过Python的pip包...
python +selenium webdriver 学习借鉴
11-23
Selenium WebDriver 提供了多种定位策略，包括 By Id、By Name、By Class Name、By Tag Name、By Link Text、By Partial Link Text、By Css、By Xpath 等。 By Id By Id 是一种最常用的定位策略，用于通过元素的 ...
Python + Selenium WebDriver
m0_59470910的博客
07-29 1516
Python + Selenium WebDriver 一、搭建环境步骤 1、安装 python3.x （windows xp 不支持 python3.5+） 2、设置环境变量 path（安装时候也可以解决 勾上 add python.ext to path） 3、安装Selenium 用pip命令安装 pip install -U selenium 4、路径，pip可能定位不到，pip也可能定位到别的文件夹（perl） 方案：cd c:\python34\scripts 5、windows 7 x64
如何查看网页元素的名称ID和其他信息
热门推荐
星河队长
12-04 2万+
举例： 1，使用谷歌浏览器打开百度网页 2，按F12以开发模式打开 3，如下图鼠标电机1处 4，鼠标移动到需要查看的按钮2处 5，右边框中显示按钮的详细信息（type ，name，id） ...
Python - 爬虫之Selenium
GitLqr的博客
07-12 523
欢迎关注微信公众号：FSA全栈行动 ???? 一、Selenium 的介绍 Selenium 是一个 Web 自动化测试工具，最初是为网站自动化测试而开发，Selenium 可以直接调用浏览器，它支持所有主流的浏览器（包括 PhantomJS 这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏等。 1、Selenium 启动 Chrome 在下载好 chromedriver 以及安装好 selenium 模块后，执行下列代码： from selenium import
如何获取网页中元素的ID
qq_46503200的博客
05-05 4102
http://club.excelhome.net/forum.php?mod=viewthread&tid=1367729
如何获取页面元素：id，标签名，class，指定选择器querySelector，querySelectorAll，html，body
weixin_45673401的博客
02-07 1万+
如何获取页面元素：id，标签名，class，指定选择器querySelector，querySelectorAll，html，body 第一种通过ID获取； 代码和注释如下： <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>id获取页面元素</tit...
HTML 基础知识：HTML 中的类、ID 和名称
新华编程特战队
02-09 3853
假设，在上面的例子中;用于标识一组具有某些相似性的元素（例如，具有相同样式的元素或具有相同功能的元素）。的元素，我们给它一个红色的背景色。这不会引发任何警告，因为具有相同类名的不同元素是正常的。id 对于 HTML 页面中的每个元素都是唯一的，而多个元素可以具有相同的类。我们经常需要针对一个特定的元素或一组特定的元素来实现不同的功能，如样式。如果我们尝试为文档中的两个不同元素提供相同的 id，我们将收到警告。使用 id，我们可以轻松地使用 CSS 定位元素并操纵它们的样式。因此，假设我们要更改元素的背景。
怎么用审查元素检查网站代码，找到对应的id
缘 源 园
09-13 3057
第三步：选择对应的模块，右边element中可出现对应代码显现。第二步：一定要找到光标，一定。第一步：鼠标右键，审查元素。
HTML入门教程19：HTML ID
最新发布
软考鸭
10-29 1870
定义ID：命名规则：语义化命名：ID选择器：优先级：获取元素引用：操作元素：书签链接：表单元素标识：唯一性：确保每个元素的ID在整个HTML文档中都是唯一的，以避免潜在的错误或不可预期的行为。避免过度使用：虽然ID属性非常有用，但应避免过度使用它来选择元素。在大多数情况下，类选择器和元素选择器已经足够灵活和强大。性能考虑：过长的ID值可能会影响性能，并可能导致与某些浏览器的兼容性问题。因此，建议尽量使用简短且描述性的ID值。通过理解和使用HTML ID属性，你可以更有效地控制网页的结构和行为，创建出更加动态
web前端学习（六）—— HTML中元素的id属性、div和span布局
m0_55637498的博客
12-11 2760
一、id属性 1、在HTML文档中，任何元素（节点）都有id属性，id属性是该节点的唯一标识，所以在同一个HTML文档中id值不能重复 2、注意：表单提交数据的时候，只和name有关系，和id无关 3、id有什么用？ javascript语言可以对HTML文档中的任意节点进行增删改，那么在增删改之前需要先拿到这个节点，通常我们通过id来拿节点对象 id的存在让我们获取元素（节点）更方便 4、HTML文档是一颗树，树上有很多节点，每一个节点都有唯一的id ja...
web自动化元素定位方法
weixin_59427585的博客
06-19 329
web自动化元素定位方法
Python Selenium Webdriver 元素定位指南
- Selenium WebDriver提供了多种定位策略，包括By.ID、By.NAME、By.XPATH、By.CSS_SELECTOR、By.CLASS_NAME、By.TAG_NAME、By.LINK_TEXT、By.PARTIAL_LINK_TEXT等。这些策略可以帮助我们根据不同的需求定位到页面上...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值