【Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）

已于 2024-05-31 21:30:16 修改
阅读量6.5k 收藏 52
点赞数 60
分类专栏： Python爬虫 Python 文章标签： python 爬虫 scrapy selenium 爬虫学习笔记 django beautifulsoup
于 2024-05-31 21:24:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_67844671/article/details/139361507
版权

六，selenium

想要下载PDF或者md格式的笔记请点击以下链接获取
python爬虫学习笔记点击我获取
Scrapy+selenium详细学习笔记点我获取
Python超详细的学习笔记共21万字点我获取
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1，下载配置

## 安装：
pip install selenium

## 它与其他库不同的地方是他要启动你电脑上的浏览器, 这就需要一个驱动程序来辅助. 

## 这里推荐用chrome浏览器

## chrome驱动地址:

http://chromedriver.storage.googleapis.com/index.html
https://googlechromelabs.github.io/chrome-for-testing/#stable

image-20240122193411031

## 先查看自己谷歌浏览器的版本，我的是120.0.6099.255

然后打开这个驱动地址

https://googlechromelabs.github.io/chrome-for-testing/#stable

image-20240122193642372

选stable 稳定版

然后在网页上搜索我们的版本，只要前三个部分对应上就行，也就是120.0.6099

如下图，就这样我们找到了我们想要的版本

image-20240122193954470

把URL地址复制下载去浏览器下载驱动

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

下完以后解压，发现里面是个exe文件（往后浏览器更新了，驱动也需要重新下载对应版本的）

image-20240122194328843

然后关键的来了. 把你下载的浏览器驱动放在python解释器所在的文件夹

Windwos: py -0p 查看Python路径

Mac: open + 路径

image-20240122195003848

到此为止配置就结束了

2，selenium导入使用

from selenium.webdriver import Chrome  # 导入谷歌浏览器的类

# 创建浏览器对象
web = Chrome()  # 如果你的浏览器驱动放在了解释器文件夹

web.get("http://www.baidu.com")  # 输入网址

2、selenium的基本使用

2.1 加载网页：

selenium通过控制浏览器，所以对应的获取的数据都是elements中的内容

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
# 访问百度
driver.get("http://www.baidu.com/")
# 截图
driver.save_screenshot("baidu.png")

2.2 定位和操作：

# 搜索关键字 杜卡迪
driver.find_element(By.ID, "kw").send_keys("杜卡迪")
# 点击id为su的搜索按钮
driver.find_element(By.ID, "su").click()

3.3 查看请求信息：

driver.page_source   # 获取页面内容
driver.get_cookies()
driver.current_url

3.4 退出

driver.close()  # 退出当前页面
driver.quit()   # 退出浏览器

3.5 小结

1. selenium的导包:
    from selenium import webdriver
    
2. selenium创建driver对象:
    driver = webdriver.Chrome()
    
3. selenium请求数据:
    driver.get("http://www.baidu.com/")
    
4. selenium查看数据: 
    driver.page_source
    
5. 关闭浏览器: 
    driver.quit()
    
6. 根据id定位元素: 
    driver.find_element_by_id("kw")/driver.find_element(By.ID, "kw")
    
7. 操作点击事件: 
    click()
    
8. 给输入框赋值:
    send_keys()
    
9，获取cookie：
	driver.get_cookies()
    
10，刷新页面
	driver.refresh()
    
11，执行js代码
	driver.execute_script(f'window.scrollBy(0, {
     step_length})')

3-6 小案例

3-6-1 简单案例

找到搜索框，输入内容，找到搜索按钮进行点击

import time

from selenium.webdriver import Chrome  # 导入谷歌浏览器的类

# 创建浏览器对象
from selenium.webdriver.common.by import By

web = Chrome()  # 如果你的浏览器驱动放在了解释器文件夹

web.get("https://www.gushiwen.cn/")  # 输入网址

# 查找搜索框
txtKey = web.find_element(By.ID,'txtKey')

txtKey.send_keys('唐诗')

# 找到点击按钮
search = web.find_element(By.XPATH,'//*[@id="search"]/form/input[3]')
search.click()
print(search)
time.sleep(5)
web.quit()
3-6-2 解决登录问题
2-1 基本代码
import time

from selenium.webdriver import Chrome
from selenium.webdriver.common.by import By

driver = Chrome()
# 访问的网址
driver.get('https://www.gushiwen.cn/')
"""
1  点击我的  到登录页面
2  获取账号节点  输入值
3  获取密码节点  输入值
4  获取验证码节点  输入值
5  点击登录
"""
# 点我的
driver.find_element(By.XPATH, '/html/body/div[1]/div[1]/div/div[2]/div/a[6]').click()

# 获取账号节点
email = driver.find_element(By.ID, 'email')
email.send_keys('793390457@qq.com')
# 获取密码节点
password = driver.find_element(By.ID, 'pwd')
password.send_keys('xlg17346570232')
# 获取验证码节点
yzm = driver.find_element(By.ID, 'code')
yzm.send_keys('1234')
time.sleep(5)

# 点击登录
driver.find_element(By.ID, 'denglu').click()

time.sleep(5)
2-2 打码平台
import base64
import json
import requests
import time

from selenium.webdriver import Chrome
from selenium.webdriver.common.by import By


def base64_api(uname, pwd, img, typeid):
    with open(img, 'rb') as f:
        base64_data = base64.b64encode(f.read())
        b64 = base64_data.decode()
    data = {
   "username": uname, "password": pwd, "typeid": typeid, "image": b64}
    result = json.loads(requests.post("http://api.ttshitu.com/predict", json=data).text)
    if result['success']:
        return result["data"]["result"]
    else:
        #！！！！！！！注意：返回 人工不足等 错误情况 请加逻辑处理防止脚本卡死 继续重新 识别
        return result["message"]
    return ""


if __name__ == "__main__":
    driver = Chrome()
    # 访问的网址
    driver.get('https://www.gushiwen.cn/')
    """
    1  点击我的  到登录页面
    2  获取账号节点  输入值
    3  获取密码节点  输入值
    4  获取验证码节点  输入值
    5  点击登录
    """
    # 点我的
    driver.find_element(By.XPATH, '/html/body/div[1]/div[1]/div/div[2]/div/a[6]').click()

    # 获取账号节点
    email = driver.find_element(By.ID, 'email')
    email.send_keys('793390457@qq.com')
    # 获取密码节点
    password = driver.find_element(By.ID, 'pwd')
    password.send_keys('xlg17346570232')
    # 验证码图片的节点
    img_path = "yzm.jpg"
    # screenshot截图并保存保存
    driver.find_element(By.ID, 'imgCode').screenshot(img_path)
    # 识别验证码
    result = base64_api(uname='luckyboyxlg', pwd='17346570232', img=img_path, typeid=3)
    print(result)
    # 获取验证码节点
    yzm = driver.find_element(By.ID, 'code')
    yzm.send_keys(result)  # 输入识别后的值
    time.sleep(8)
    # 点击登录
    driver.find_element(By.ID, 'denglu').click()
    time.sleep(50)
2-3 保存登录后的cookie
import base64
import json
import requests
import time

from selenium.webdriver import Chrome
from selenium.webdriver.common.by import By


def base64_api(uname, pwd, img, typeid):
    with open(img, 'rb') as f:
        base64_data = base64.b64encode(f.read())
        b64 = base64_data.decode()
    data = {
   "username": uname, "password": pwd, "typeid": typeid, "image": b64}
    result = json.loads(requests.post("http://api.ttshitu.com/predict", json=data).text)
    if result['success']:
        return result["data"]["result"]
    else:
        #！！！！！！！注意：返回 人工不足等 错误情况 请加逻辑处理防止脚本卡死 继续重新 识别
        return result["message"]
    return ""


if __name__ == "__main__":
    driver = Chrome()
    # 访问的网址
    driver.get('https://www.gushiwen.cn/')
    """
    1  点击我的  到登录页面
    2  获取账号节点  输入值
    3  获取密码节点  输入值
    4  获取验证码节点  输入值
    5  点击登录
    """
    # 点我的
    driver.find_element(By.XPATH, '/html/body/div[1]/div[1]/div/div[2]/div/a[6]').click()

    # 获取账号节点
    email = driver.find_element(By.ID, 'email')
    email.send_keys('793390457@qq.com')
    # 获取密码节点
    password = driver.find_element(By.ID, 'pwd')
    password.send_keys('xlg17346570232')
    # 验证码图片的节点
    img_path = "yzm.jpg"
    # screenshot截图并保存保存
    driver.find_element(By.ID, 'imgCode').screenshot(img_path)
    # 识别验证码
    result = base64_api(uname='luckyboyxlg', pwd='17346570232', img=img_path, typeid=3)
    print(result)
    # 获取验证码节点
    yzm = driver.find_element(By.ID, 'code')
    yzm.send_keys(result)  # 输入识别后的值
    time.sleep(8)
    # 点击登录
    driver.find_element(By.ID, 'denglu').click()
    time.sleep(4)
    # 获取cookie保存到本地
    cookies = driver.get_cookies()
    print(cookies)
    with open('cookies.txt', 'w', encoding='UTF-8') as f:
        f.write(json.dumps(cookies))
2-4 携带cookie进行访问
import time
from selenium.webdriver.common.by import By
from selenium.webdriver import Chrome
import json

driver = Chrome()
# 访问登录
driver.get('https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx')
# 本地cookie加载
with open('cookies.txt', 'r', encoding='UTF-8') as f:
    cookies = json.loads(f.read())

# cookie加载到selenium中
for cookie in cookies:
    driver.add_cookie(cookie)

# 刷新一下
driver.refresh()

driver.get('https://so.gushiwen.cn/user/collect.aspx')

time.sleep(10)
3-6-3 抓取网易
import time
from selenium.webdriver import Chrome
from selenium.webdriver.common.by import By


def window_scroll(driver, stop_length, step_length):
    '''
    向下滚动方法封装
    :param driver: selenium对象
    :param stop_length: 滚动终止值
    :param step_length: 每次滚动步长
    :return:
    '''
    while True:
        # 终止不滚的条件
        if stop_length - step_length <= 0:
            driver.execute_script(f'window.scrollBy(0, {stop_length})')
            break
        # 执行js代码 向下滚动
        driver.execute_script(f'window.scrollBy(0, {step_length})')
        stop_length -= step_length
        time.sleep(1)  # 1秒滚一下
    # driver.execute_script('window.scrollBy(0, 30000)')
if __name__ == '__main__':
    driver = Chrome()
    driver.get('https://news.163.com/')
    stop_length = 30000  # 终止值
    step_length = 2000  # 每次滚动的值
    # 循环5次点击加载更多
    for i in range(1, 6):
        window_scroll(driver, stop_length, step_length)
        # 点击加载更多
        more = driver.find_element(By.XPATH, '//*[@id="index2016_wrap"]/div[3]/div[2]/div[3]/div[2]/div[5]/div/a[3]/div[1]/span')
        # more.click()  # 点击
        driver.execute_script('arguments[0].click()', more)
        print(f'第：{i}次 点击加载更多')
    time.sleep(5)
    # 获取页面所有源代码
    page = driver.page_source
    print(page)

3、selenium的定位操作

1，元素定位的两种写法：

  • 直接调用型

     el = driver.find_element_by_xxx(value)
 # xxx是定位方式，后面我们会讲，value为该方式对应的值

  • 使用By类型(需要导入By) 建议使用这种方式

     # 直接掉用的方式会在底层翻译成这种方式
from selenium.webdriver.common.by import By
driver.find_element(By.xxx,value)

2，元素定位的两种方式:

  • 精确定位一个元素,返回结果为一个element对象,定位不到则报错

    driver.find_element(By.xx, value)  # 建议使用
driver.find_element_by_xxx(value)

  • 定位一组元素,返回结果为element对象列表,定位不到返回空列表

    driver.find_elements(By.xx, value)  # 建议使用
driver.find_elements_by_xxx(value)

3，元素定位的八种方法:

以下方法在element之后添加s就变成能够获取一组元素的方法

  • By.ID 使用id值定位

    el = driver.find_element(By.ID, '')
el = driver.find_element_by_id()

  • By.XPATH 使用xpath定位

    el = driver.find_element(By.XPATH, '')
el = driver.find_element_by_xpath()

  • By.TAG_NAME. 使用标签名定位

    el = driver.find_element(By.TAG_NAME, '')
el = driver.find_element_by_tag_name()

  • By.LINK_TEXT使用超链接文本定位

    el = driver.find_element(By.LINK_TEXT, '')
el = driver.find_element_by_link_text()

  • By.PARTIAL_LINK_TEXT 使用部分超链接文本定位

    el = driver.find_element(By.PARTIAL_LINK_TEXT  , '')
el = driver.find_element_by_partial_link_text()

  • By.NAME 使用name属性值定位

    el = driver.find_element(By.NAME, '')
el = driver.find_element_by_name()

  • By.CLASS_NAME 使用class属性值定位

    el = driver.find_element(By.CLASS_NAME, '')   
el = driver.find_element_by_class_name()

  • By.CSS_SELECTOR 使用css选择器定位

    el = driver.find_element(By.CSS_SELECTOR, '')  
el = driver.find_element_by_css_selector()

注意：

find_element与find_elements区别

1. 只查找一个元素的时候:可以使用find_element(),find_elements()
   find_element()会返回一个WebElement节点对象,但是没找到会报错,而find_elements()不会,之后返回一个空列表
2. 查找多个元素的时候:只能用find_elements(),返回一个列表,列表里的元素全是WebElement节点对象
3. 找到都是节点(标签)
4. 如果想要获取相关内容(只对find_element()有效,列表对象没有这个属性)  使用  .text
5. 如果想要获取相关属性的值(如href对应的链接等,只对find_element()有效,列表对象没有这个属性):使用   .get_attribute("href")

​

4、元素的操作

find_element_by_xxx方法仅仅能够获取元素对象，接下来就可以对元素执行以下操作 从定位到的元素中提取数据的方法

4.1 从定位到的元素中获取数据
el
最低0.47元/天 解锁文章
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
孤寒者的博客
08-09 64万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
使用Scrapy框架集成Selenium实现高效爬虫_scrapy_selenium
2401_84264583的博客
04-13 1352
合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Golang知识点，真正体系化！**
Python爬虫案例与实战：Scrapy框架与Selenium
andyyah晓波的博客
08-06 1969
按照官方的说法，Scrapy是一个“为了爬取网站数据，提取结构性数据而编写的Python应用框架，可以应用在包括数据挖掘、信息处理或存储历史数据等各种程序中”。Scrapy最初是为了网页抓取而设计的，也可以应用在获取API所返回的数据或者通用的网络爬虫开发之中。作为一个爬虫框架，可以根据自己的需求十分方便地使用 Scrapy编写出自己的爬虫程序。
Scrapy和Selenium整合（一文搞定）
热门推荐
wnagchenyu的博客
03-27 1万+
scrapy和selenium的整合使用先定个小目标实现万物皆可爬！我们是用scrapy框架来快速爬取页面上的数据，它是自带并发的，速度是可以的。但是一些ajax异步的请求我们不能这么爬取。我们要视同selenium来进行lazy loading，也就是懒加载，渲染到页面加载数据。用来接受爬虫到的数据实现对数据库的导入（你也可以写excel的）
Scrapy结合Selenium实现搜索点击爬虫的最佳实践
最新发布
Z_suger7的博客
04-14 1613
通过本文的实战案例，我们展示了如何利用Scrapy和Selenium，高效地抓取动态网页数据。动态网页爬取虽然复杂，但只要掌握了正确的方法和工具，就能轻松应对各种挑战。希望这篇文章能为你今后的爬虫开发提供一些灵感和帮助。
在middlewares.py中去拦截且篡改下载中间件
2301_79676379的博客
03-24 356
参数解释：url:响应对应的url body：响应体 requests:scrapy中的请求对象，数据都是跟着请求对象走的。# 这里的篡改指实例化一个新的响应对象(符合需求:包含动态加载的数据)，替换(HtmlResponse)原来的响应对象。return new_response # 篡改响应对象 不再经过download，直接将新的响应体返回给引擎。# 此时就可以回到爬虫文件继续往下写 判断如果是selenium请求过来的我们才返回处理后的new_response。
Scrapy与Selenium强强联合-共创爬虫大业
m0_37623374的博客
05-19 3000
🐸文章适合于所有的相关人士进行学习🐸 🐶各位看官看完了之后不要立刻转身呀🐶 🐼期待三连关注小小博主加收藏🐼 🐤小小博主回关快 会给你意想不到的惊喜呀🐤 文章目录🚩效果展示🚩问题提出☁️我们可能会遭遇的情况🚩解决问题方案☁️解决方案☁️创建scrapy中的crawspider☁️单纯使用selenium进行爬取🌊网页分析及代码☁️强强联合爬取🌊网页分析及代码 🚩效果展示 selenium+scrapy .
scrapy + selenium 爬取js生成的网页元素
yun1221的专栏 | Smile, open your eyes, love and go on
09-05 4310
1、安装scrapy:   详情请参考http://blog.youkuaiyun.com/wukaibo1986/article/details/8167590
Python实战---使用Scrapy+ Selenium+ChromeDriver爬取简书所有文章
、思考致富的博客
07-08 863
使用Scrapy+ Selenium+ChromeDriver爬取简书所有文章 创建项目 scrapy startproject jianshu 创建爬虫 scrapy genspider -t crawl jianshu “jianshu.com” 运行爬虫 scrapy crawl jianshu 或者创建start.py文件 from scrapy import cmdline cmdline.execute('scrapy crawl jianshu'.split()) 然后使用PyChar
基于scrapy+scrapy-redis+selenium+pandas+matplotlibaqi天气信息爬虫、清洗资料齐全+详细文档+源码.zip
12-22
基于scrapy+scrapy-redis+selenium+pandas+matplotlibaqi天气信息爬虫、清洗资料齐全+详细文档+源码.zip 【备注】 1、该项目是个人高分项目源码，已获导师指导认可通过，答辩评审分达到95分 2、该资源内项目代码都...
Python爬虫实战 | (21) Scrapy+Selenium爬取新浪滚动新闻-附件资源
03-02
Python爬虫实战 | (21) Scrapy+Selenium爬取新浪滚动新闻-附件资源
Scrapy基于selenium结合爬取淘宝的实例讲解
09-20
今天小编就为大家分享一篇Scrapy基于selenium结合爬取淘宝的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
使用scrapy和selenium结合爬取网易新闻内容
06-09
使用scrapy和selenium结合爬取网易新闻内容
python 爬虫 之 scrapy与selenium结合
qq_53582111的博客
10-12 797
spider.py import scrapy from scrapy import signals from selenium import webdriver class BaiduSpider(scrapy.Spider): name = 'baidu' allowed_domains = ['baidu.com'] start_urls = ['http://www.baidu.com/'] # 抓捕信号 @classmethod de
Scrapy和Selenium结合
mailion的博客
09-03 497
然后，我们使用Scrapy的Selector来选择和提取页面中的数据，例如提取页面中的标题。通过上述示例代码，你可以使用Scrapy和Selenium结合来模拟人的操作，以实现更精确的爬取需求。方法，我们可以在这个方法中处理登录成功后的逻辑，例如判断登录是否成功，然后继续其他的爬取逻辑。方法中，可以确保在Spider启动时自动执行登录操作，以便获取登录后才能访问的页面数据。方法中，我们可以根据登录请求的响应来判断登录是否成功，然后继续其他的爬取逻辑。需要注意的是，在登录请求中，我们指定了。
scrapy对接selenium原理超详细解读！！！！
weixin_44457673的博客
09-03 2748
详解下载器中间件常见方法解读1、from_crawler（）方法二级目录三级目录 下载器中间件常见方法解读 下载器中间件有什么作用: 1:在scheduler（调度器）中调取一个request（请求），发送给Downloader（下载器）之前,我们可以对request（请求）进行修改. 2:在Downloader（下载器）返回response（响应）给spider之前,我们可以对response（响应）进行修改. 下载器中间件的功能十分强大,修改User-Agent,处理重定向,设置代理,失败重试,设置co
使用Scrapy框架集成Selenium实现高效爬虫
hitpter的专栏
09-09 4838
Scrapy是一个使用Python编写的开源网络爬虫框架，具有高效、灵活和可扩展的特点。通过Scrapy，我们可以轻松地定义和管理爬虫的规则，实现对网页的抓取和数据的提取。Selenium是一个自动化测试工具，它可以模拟用户在浏览器上的操作，如点击、输入等。通过Selenium，我们可以实现对JavaScript动态生成的内容进行抓取，以及处理一些需要交互的页面。通过将Scrapy和Selenium结合起来使用，我们可以处理一些复杂的爬虫需求，如抓取JavaScript动态生成的内容和处理需要交互的页面。
scrapy使用selenium
weixin_34318956的博客
03-05 160
myspider.py import scrapy from scrapy1.items import Scrapy1Item from selenium import webdriver ''' 在scrapy中使用selenium的编码流程: 1.在spider的构造方法中创建一个浏览器对象(作为当前spider的一个属性) 2.重写spider的一个...
Python 爬虫（四）：Selenium 框架
Python小二
10-13 6072
Selenium 介绍与基本使用，实现登录 163 邮箱。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

学网安的A

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值