- 博客(6)
- 收藏
- 关注
RSS订阅原创 Python-爬虫与反爬虫-身份识别
原理：爬虫默认情况下不会带上referer字段，服务器端通过判断请求发起的源头以此来判断请求是否合法。首先要了解服务器反爬的原因，其次要知道服务器反什么样的爬虫，最后要了解、明确反爬的方向；原理：通过检查来查看发起请求的用户是否具备相应权限，以此来进行反爬。解决：进行模拟登录，成功获取cookie之后进行数据爬取。通过Headers里面的User-Agent字段进行反爬。1、通过Headers字段来进行反爬。2、通过referer字段来进行反爬。3、通过cookie来进行反爬。二、基于爬虫行为进行反爬。
2025-01-25 10:51:35
1156
原创 selenium自动化-选择元素扩展2
wb.find_element(By.CSS_SELECTOR,'div') 等价于 wb.find_element(By.TAG_NAME,'div')那么在寻找元素的代码就应该这样写：elemnets=wb.find_element(By.CSS_SELECTOR,'[href='']')这里可以对比一下上面的代码其实就是将参数改变成了tag_name的就可以实现了。_by_css_selector(css selector 参数)_by_css_selector(css selector 参数)
2024-08-01 08:55:23
715
原创 selenium自动化-操控元素
element.get_attribute('innerText') 或者为element.get_attribute('textContent')二、想要获取元素属性：语法：element.get_attribute('class')# 根据ID选择元素，返回的就是该元素对应的WebElement对象。# 根据ID选择元素，返回的就是该元素对应的WebElement对象。# 根据ID选择元素，返回的就是该元素对应的WebElement对象。# 通过该WebElement对象，就可以对页面元素进行操作。
2024-07-31 16:31:03
719
原创 selenium自动化-等待元素出现
所以selenium提供了一个方案：当发现元素没有找到的时候，并不立即返回，找不到元素的错误，而是周期性的（每隔半分钟）重新寻找该元素，直到该元素找到或者超出制定等待时长，这时抛出异常。第二种方法出现了：在WebDriver对象中有个方法叫implicitly_wait() 该方法接收一个参数，用来指定最大等待时长；通过上一个WebElement对象来选择元素，应该了解到会出现报错的现象，解决办法就是等待元素出现。# 根据ID选择元素，返回的就是该元素对应的WebElement对象。#进行寻找元素并打印。
2024-07-31 15:58:07
683
原创 selenium自动化-选择元素扩展
里面 都是class属性值为animal的元素对应的WebElement对象。#text属性就是该Webelement对象对应的元素在网页中的文本内容。#取出列表中的每个WebElement对象，打印出其text属性的值。# 根据ID选择元素，返回的就是该元素对应的WebElement对象。# 创建webDriver实例对象，指明使用chrome浏览器驱动。# 通过该WebElement对象，就可以对页面元素进行操作。# 根据 class name 选择元素，返回的是一个列表。, '对应元素内容')
2024-07-31 15:44:34
1052
原创 selenium自动化
当根据传入的ID找不到元素时，find_element方法就会抛出selenium.common.exceptions.NosuchElementException异常。定位界面元素规则：就是要根据特征选择元素，当属性唯一时，就可以使用该元素。web界面自动化，要操作元素，首先需要选择界面元素、或者说。selenium是一套web网站的程序自动化操作解决方案。#标红部分为浏览器地址加上浏览驱动器的名称并用\分割；element.send_keys("输入查询内容。当查询一个按键元素时，可以使用。
2024-07-31 14:39:10
275
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人