网页快照结构化处理方法笔记：以 Common Crawl 为例-优快云博客

本文链接：https://blog.youkuaiyun.com/ip16yun/article/details/149531786

爬虫代理

一、背景与出发点

平时在做一些网站信息追踪或历史内容分析时，经常会遇到这样的问题：
“某网页现在已经改版了，但想看看它一年前长什么样？”

这种需求，其实在品牌公关、新闻追踪、内容对比分析等工作里并不少见。

很多人不知道，其实有个叫 Common Crawl 的公益项目，一直在持续抓取全球范围内的网页数据，并将这些网页的历史快照存成一种叫 WARC 的格式，按月开放发布。说白了，它就像是互联网的“记忆库”。

不过，这些数据量非常大，也不太适合直接阅读，因此我们更需要一种方法，把这些网页快照提取出来，并“整理成结构化信息”（比如标题、正文、链接列表等），方便后续分析使用。

下面整理了一些实践过程中的方法，都是基于 Python 的实现，适合快速验证 Common Crawl 的使用方式。如果你平时也需要做历史网页分析，或是对公开数据感兴趣，可以参考尝试。

二、主要要点（建议先看完再动手）

在处理这类网页快照数据时，以下几个点是比较关键的：

如何获取某个网站的快照列表？
Common Crawl 提供了一个开放接口，可以按域名搜索快照索引。
怎样下载对应的快照内容？
每个快照都有对应的文件路径和偏移量，需要通过 Range 请求提取。
HTML 原始内容如何处理？
下载的内容是完整 HTTP 响应，要用解析库抽出 HTML，再用结构化工具提取字段。
访问速度不够快怎么办？
可借助代理服务（如亿牛云爬虫代理），避免被限速或封禁。
如何伪装浏览器行为？
设置 Cookie 和 User-Agent 模拟真实用户环境，有助于提高稳定性。

三、基础设置（请求头、代理等）

我们先来看下请求前的设置，包括使用代理、添加请求头等：

import requests

# 设置代理：此处为亿牛云提供的动态IP代理 www.16yun.cn
proxy_host = "proxy.16yun.cn"
proxy_port = "3100"
proxy_user = "16YUN"
proxy_pass = "16IP"

proxies = {
    "http": f"http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}",
    "https": f"http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}"
}

# 模拟浏览器请求
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)",
    "Cookie": "your_cookie_if_needed"
}

四、获取快照索引数据

这个函数用于查找某个域名在 Common Crawl 中的历史记录：

def fetch_commoncrawl_index(domain):
    index_url = f"https://index.commoncrawl.org/crawl-data/CC-MAIN-2024-10/index?url={domain}&output=json"
    response = requests.get(index_url, headers=headers, proxies=proxies, timeout=10)
    if response.status_code == 200:
        return [eval(line) for line in response.text.strip().split("\n")]
    else:
        raise Exception(f"无法获取快照索引，状态码：{response.status_code}")

五、提取快照对应的网页内容（HTML）

从 WARC 文件中提取一段字节范围：

def download_snapshot(entry):
    warc_url = f"https://commoncrawl.s3.amazonaws.com/{entry['filename']}"
    offset = int(entry['offset'])
    length = int(entry['length'])

    headers_range = {"Range": f"bytes={offset}-{offset + length - 1}"}
    response = requests.get(warc_url, headers=headers_range, proxies=proxies, timeout=10)
    if response.status_code == 206:
        return response.content
    else:
        raise Exception("快照内容下载失败")

六、HTML内容提取为结构化字段

这一部分处理 HTML 结构，用 BeautifulSoup 进行解析：

from bs4 import BeautifulSoup

def parse_html_from_warc(warc_content):
    html_start = warc_content.find(b'\r\n\r\n') + 4
    html = warc_content[html_start:].decode('utf-8', errors='ignore')
    soup = BeautifulSoup(html, 'html.parser')

    return {
        "title": soup.title.string if soup.title else "",
        "links": [a.get('href') for a in soup.find_all('a', href=True)],
        "paragraphs": [p.get_text(strip=True) for p in soup.find_all('p')]
    }

七、小范围测试（快速验证是否成功）

这段代码可以用来验证你设置的代理、请求头、解析流程是否都通了：

if __name__ == "__main__":
    test_domain = "example.com"
    entries = fetch_commoncrawl_index(test_domain)

    if entries:
        print(f"找到 {len(entries)} 条快照")
        warc_data = download_snapshot(entries[0])
        result = parse_html_from_warc(warc_data)
        print("网页标题：", result['title'])
    else:
        print("没有找到相关记录")