网页快照这件事，比“更新”复杂得多

原创于 2025-11-24 11:09:11 发布 · 906 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #网页快照 #数据增量 #数据抓取 #亿牛云代理 #爬虫代理 #www.16yun.cn

爬虫代理同时被 3 个专栏收录

378 篇文章

订阅专栏

代理IP

259 篇文章

订阅专栏

python

258 篇文章

订阅专栏

——谈谈增量抓取、时间意识，以及我们踩过的坑

01｜事情是这样开始的：凌晨，我被电话吵醒了

有些项目真的是越做越清醒，尤其是那种能把人从睡梦里叫醒的。

几个月前，我们负责的某个政府采购网站上线了新版页面结构。按理说那天只是例行增量抓取，但过了一阵，数据仓库里突然出现了断层现象：

某些字段消失了
某些字段变为空值
还有几条数据看起来像被人手动改过

运营同事第一句话就是：

“程序是不是抓错了？”

我盯着日志翻了十几分钟，越看越确定：

不是抓取抓错，是我们之前的抓取逻辑太天真了。

我们一直以为自己在做“增量抓取”，实际上是：

把最新数据覆盖老版本，然后把历史抹掉。

那一瞬间我意识到一个事实：

不是我们没抓到数据，而是我们从未认真保存过它的历史形态。

02｜开始追问题：真正的坑不在“抓取”，而在“存怎么存”

过去我们非常习惯这种逻辑：

新内容 != 旧内容 ——> 更新

看起来很合理，但互联网内容变化的方式远没有这么直接。

后来复盘，我们总结了几个核心误区：

误区一：页面变了 ≠ 数据变了

DOM 结构改动很常见，但页面结构变化并不意味着数据意义变化。

有的网站今天 div 套 div，明天 <p> 改 <span>，但内容本身根本没变。

这种情况保存快照没有意义。

误区二：字段值变化 ≠ 版本升级

例如：

报名人数
收藏量
点赞数

这些字段随时间变化属正常，保存每次变化会制造大量噪音。

误区三：字段消失往往才是最重要事件

字段消失通常意味着：

条件变更
政策调整
或者，有东西不想让你看到

这种变化最值得保存，可惜却经常被忽略。

直到那一刻我才真正意识到：

抓取做的不是“抓网页”，是在记录网页内容的演变历史。

03｜重新设计：给系统“时间意识”和“事件含义”

我们最终把抓取逻辑调整为三个关键策略：

1）时间窗口（Time Window）

不同字段变化频率不同，保存策略也要跟着调整。

例如：

文案类字段：只在内容变化时保存
状态类字段：按周期采样或满足阈值后保存
永久字段：存一次即可

这样比“定时保存”更智能。

2）事件驱动（Event Driven）

我们不再简单判断“变了没变”，而是判断“变化属于哪一类”。

变化类型	含义
新增字段	schema_change
内容发生变化	content_update
字段被删除	removal_event
页面结构变化但内容没变化	ignore

这让抓取行为更接近真实观察，而不是无脑比对字符。

3）结构化快照，而不是纯 HTML 存档

最终快照不只是原始 HTML，它应该携带元信息，例如：

{
 "snapshot_time": "2025-11-24 13:22:11",
 "event_type": "content_update",
 "diff_summary": "新增要求：注册资本需≥500万",
 "content_hash": "b24793aed…",
 "parsed_data": {...},
 "raw_html": "<html>...</html>"
}

一句话概括：

不仅保存内容，还保存变化发生的上下文意义。

04｜关键代码示例

"""
网页快照抓取示例
带差异判断 + 时间意识 + 亿牛云代理示例
"""

import asyncio
import hashlib
import json
from datetime import datetime
from pathlib import Path
from playwright.async_api import async_playwright

# === 亿牛云代理配置（www.16yun.cn）===
PROXY_HOST = "proxy.16yun.cn"
PROXY_PORT = "3100"
PROXY_USER = "your_username"
PROXY_PASS = "your_password"

# === 快照存储路径 ===
SNAPSHOT_DIR = Path("./snapshots")
SNAPSHOT_DIR.mkdir(exist_ok=True)


def hash_text(text: str) -> str:
    """生成文本hash，用于判断内容是否变化"""
    return hashlib.sha256(text.encode("utf-8")).hexdigest()


async def capture(url: str):
    """抓取页面并存储快照（带事件判断）"""

    async with async_playwright() as p:
        browser = await p.chromium.launch(proxy={
            "server": f"http://{PROXY_HOST}:{PROXY_PORT}",
            "username": PROXY_USER,
            "password": PROXY_PASS
        })
        page = await browser.new_page()
        await page.goto(url, timeout=60000)

        html = await page.content()
        text = await page.inner_text("body")

        await browser.close()

    new_hash = hash_text(text)
    file = SNAPSHOT_DIR / f"{url.replace('https://','').replace('/', '_')}.json"

    # == 判断是否需要存新快照 ==
    if file.exists():
        old = json.loads(file.read_text())
        if old.get("content_hash") == new_hash:
            print("没有变化，跳过。")
            return
        event = "content_update"
    else:
        event = "first_capture"

    snapshot = {
        "url": url,
        "snapshot_time": datetime.now().strftime("%Y-%m-%d %H:%M:%S"),
        "event_type": event,
        "content_hash": new_hash,
        "text": text,
        "raw_html": html
    }

    file.write_text(json.dumps(snapshot, ensure_ascii=False, indent=2))
    print(f"检测到变化 → 已保存快照：{file.name}")


if __name__ == "__main__":
    asyncio.run(capture("https://www.example.com"))