爬虫界的“大杀器”！两大神器合体，效率直接起飞！

本文链接：https://blog.youkuaiyun.com/m0_37733448/article/details/146395566

爬虫开发者们，是否还在为传统工具的局限而烦恼？Requests能轻松应对简单页面，却在动态渲染面前束手无策；Selenium虽能搞定复杂JS，但速度慢如蜗牛，让人抓狂！

现在，划时代神器——DrissionPage震撼登场！它完美融合了Requests的高效与Selenium的强大，让你左手握Requests的极速，右手持Selenium的全能，从此告别两难选择！效率瞬间飙升300%，轻松应对各种复杂场景，开启爬虫开发的全新篇章！

核心亮点

中文注释详细：Drissionpage 的源代码注释全中文且详细，这对于国内开发者来说，在阅读和理解代码时更加容易，能提高开发效率。

避免反爬和版本适配问题：无需 selenium 的 chromedriver，不用担心针对 driver 的反爬，也不用考虑 driver.exe 的版本适配，使得跨平台更加方便。

兼顾便利性和高效率：整合了 requests，兼顾浏览器自动化的便利性和 requests 的高效率，并且可以无缝切换。

运行速度快：具有更快的运行速度，在实际应用中可以提高工作效率。

双引擎智能切换：无需重启浏览器，页面模式与数据包模式一键切换，动态渲染用Selenium，静态请求用Requests，性能直接拉满

告别反爬噩梦：智能等待机制自动规避检测，浏览器指纹模拟+请求头自动同步，伪装度MAX

语法便利：在查找元素时无需切入切出，可同时操作多个 tab 标签页无需切换，避免了对 selenium 各种繁琐封装带来的麻烦。


from DrissionPage import SessionPage

page = SessionPage()  # 直接进入Requests模式
page.get('https://example.com/api')

page.change_mode()  # 秒切Selenium模式
page.get('https://example.com/dynamic_page')

实战对比

访问豆瓣电影Top250页面（含动态加载的评分人数）
获取每部电影的标题、评分、评分人数
保存到CSV文件

传统方式：


from selenium import webdriver
from selenium.webdriver.common.by import By
import requests
from bs4 import BeautifulSoup
import time
import csv

# 初始化浏览器
driver = webdriver.Chrome()
driver.get('https://movie.douban.com/top250')
time.sleep(3)  # 等待动态加载

# 用Selenium获取动态渲染后的页面
html = driver.page_source
driver.quit()  # 关闭浏览器节省资源

# 用Requests+BeautifulSoup解析
soup = BeautifulSoup(html, 'html.parser')
movies = []

# 定位元素
items = soup.find_all('div', class_='item')
for item in items:
    title = item.find('span', class_='title').text
    rating = item.find('span', class_='rating_num').text
    # 需要处理动态加载的评分人数
    people = item.find('div', class_='star').find_all('span')[-1].text

    movies.append({
        'title': title,
        'rating': rating,
        'people': people
    })

# 如果翻页需要重新启动浏览器...
# 此处省略翻页代码（复杂度指数级上升）

# 保存数据
with open('douban.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.DictWriter(f, fieldnames=['title', 'rating', 'people'])
    writer.writeheader()
    writer.writerows(movies)

DrissionPage：

from DrissionPage import WebPage
import csv

# 初始化页面（自动使用Selenium模式）
page = WebPage()
page.get('https://movie.douban.com/top250')

# 直接操作页面元素
movies = []
for item in page.eles('xpath://div[@class="item"]'):
    title = item('tag:span@@class=title').text
    rating = item('tag:span@@class=rating_num').text
    people = item('xpath:.//div[@class="star"]/span[last()]').text

    movies.append({
        'title': title,
        'rating': rating,
        'people': people
    })

# 智能翻页（自动检测下一页按钮）
while page('xpath://span[@class="next"]/a').click():
    # 自动等待新页面加载
    # 重复采集逻辑...
    pass

# 保存数据
page.change_mode()  # 切换为轻量级Requests模式保存
with open('douban_dp.csv', 'w', newline='', encoding='utf-8') as f:
    csv.DictWriter(f, fieldnames=['title', 'rating', 'people']).writerows(movies)

简易安装