Scrapy动态内容抓取实战指南

最新推荐文章于 2025-06-12 11:05:21 发布

吕镇洲

最新推荐文章于 2025-06-12 11:05:21 发布

阅读量230

点赞数 3

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00144/article/details/148324508

Scrapy动态内容抓取实战指南

scrapy Scrapy, a fast high-level web crawling & scraping framework for Python. 项目地址: https://gitcode.com/gh_mirrors/sc/scrapy

什么是动态内容

在网页抓取过程中，我们经常会遇到这样的情况：在浏览器中能看到完整数据，但使用Scrapy下载页面后，却无法通过常规选择器提取到目标数据。这种现象通常是由于网页使用了动态内容加载技术，如AJAX异步请求、JavaScript渲染等。

动态内容处理策略

1. 定位数据源

核心思路：动态内容通常来自独立的API请求，而非初始HTML文档。

操作步骤：

使用浏览器开发者工具的"网络(Network)"面板
筛选XHR/JS请求类型
查找包含目标数据的请求
分析请求参数和响应格式

技巧：可以按数据内容过滤请求，比如在Chrome开发者工具中使用"Filter"输入数据关键词。

2. 检查网页源代码

重要区别：浏览器开发者工具默认显示的是DOM树，而非原始HTML。

获取原始HTML的方法：

scrapy fetch --nolog https://example.com > response.html

常见场景：

数据直接嵌入在JavaScript变量中
关键数据通过base64编码隐藏
需要特定用户代理才能获取完整数据

3. 精确复现请求

关键要素：

HTTP方法(GET/POST等)
请求头(特别是User-Agent和Referer)
请求参数(URL查询字符串或表单数据)
Cookies和会话信息

实用工具：

浏览器可直接复制请求为cURL命令
Scrapy提供Request.from_curl()方法转换cURL

curl_command = 'curl "https://api.example.com/data" -H "User-Agent: Mozilla/5.0"'
request = Request.from_curl(curl_command)

不同响应格式的处理方法

1. 结构化数据

HTML/XML：使用Scrapy选择器(XPath/CSS)
JSON：直接调用response.json()
嵌入式HTML：先提取JSON，再解析HTML片段

data = response.json()
selector = Selector(text=data["html_content"])

2. 非文本数据

图片/PDF：使用OCR工具如pytesseract
SVG：可当作XML处理，或转换为栅格图像
CSS：正则表达式提取关键数据

3. JavaScript处理

三种解析方案：

正则表达式提取：

import re
import json

pattern = r"var data = ({.*?});"
json_data = response.css("script::text").re_first(pattern)
data = json.loads(json_data)

使用chompjs库：

import chompjs

js_code = response.css("script::text").get()
data = chompjs.parse_js_object(js_code)

转换为XML解析：

import js2xml
from parsel import Selector

xml = js2xml.parse(response.text)
selector = Selector(text=xml)

无头浏览器方案

当API逆向工程过于复杂时，可以考虑使用无头浏览器。

推荐方案：

playwright：微软维护的现代浏览器自动化工具
scrapy-playwright：专为Scrapy集成的插件

基础示例：

import scrapy
from playwright.async_api import async_playwright

class DynamicSpider(scrapy.Spider):
    name = "dynamic"
    
    async def parse(self, response):
        async with async_playwright() as pw:
            browser = await pw.chromium.launch()
            page = await browser.new_page()
            await page.goto("https://example.com")
            content = await page.content()
            # 处理获取到的完整DOM内容

最佳实践：