三种常见网站结构的解析方式对比-优快云博客

——信息结构与处理路径图谱

核心主题：页面结构影响信息提取方式

在自动化信息提取程序的设计中，页面数据的呈现方式将直接影响所选的处理策略。不同类型的站点，其前端结构、加载机制与接口设计都存在显著差异。本文将梳理出三种主流页面结构模式，并结合代码实例进行比对分析，帮助技术开发者快速定位合适的实现路径。

多分支路径：三类页面结构 × 三种主流应对方式

将常见站点划分为以下三种结构类型，并对应推荐的处理策略：

页面结构类型	特征描述	推荐处理方式
类型一：静态页面	数据直接嵌入HTML源码中，可直接访问	使用 `requests` + `BeautifulSoup`
类型二：动态页面（需运行脚本）	页面内容依赖JavaScript渲染生成	使用自动化浏览器环境，如 `Playwright`
类型三：接口式页面	通过API（如GraphQL）进行数据传输	直接发起接口请求并处理返回结构

技术路径图谱结构

网站结构解析策略图谱
|
├── 静态型页面
│   └── requests + BeautifulSoup 方式
│
├── 动态型页面
│   └── Playwright 自动化方式（支持模拟交互）
│
└── 接口驱动型页面
    └── requests + JSON 格式数据提取

实战环节：三种结构的典型实现方式

通用代理配置段（适用于下列三种类型）

以下配置基于亿牛云信息代理服务，确保请求行为具备一定匿名性与稳定性。

import random
from curl_cffi import requests
from bs4 import BeautifulSoup

# 亿牛云代理参数（参考示例 www.16yun.cn）
proxy_host = "proxy.16yun.cn"
proxy_port = "3111"
proxy_user = "16YUN"
proxy_pass = "16IP"

# 构建代理配置
proxies = {
    "http": f"http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}",
    "https": f"http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}",
}

# 浏览器身份标识（部分网站要求真实UA）
user_agents = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64)...",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)...",
]
headers = {
    "User-Agent": random.choice(user_agents)
}

示例一：处理静态页面结构（如百科内容页）

url = "https://example.com/static-page"

# 发送请求
resp = requests.get(url, headers=headers, proxies=proxies)
soup = BeautifulSoup(resp.text, "html.parser")

# 提取标题和段落信息
title = soup.find("h1").text
paragraphs = [p.text for p in soup.find_all("p")]

print(f"页面标题: {title}")
print("主要内容段落:", paragraphs)

示例二：处理动态内容页面（如社交类平台）

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=True, proxy={
        "server": f"http://{proxy_host}:{proxy_port}",
        "username": proxy_user,
        "password": proxy_pass
    })
    page = browser.new_page()
    page.set_extra_http_headers(headers)

    page.goto("https://example.com/dynamic-content")
    page.wait_for_timeout(3000)  # 等待前端逻辑渲染完成

    content = page.locator("div.comment").all_inner_texts()
    print("页面中提取的评论：", content)

    browser.close()

示例三：处理GraphQL或REST接口驱动页面（如旅游平台）

graphql_url = "https://www.expedia.com/graphql"

query_body = {
    "query": "query{ hotelOffers(city:\"Tokyo\"){ name price rating } }"
}

# 发起接口请求
resp = requests.post(
    graphql_url,
    headers={**headers, "Content-Type": "application/json"},
    json=query_body,
    proxies=proxies
)

data = resp.json()
offers = data["data"]["hotelOffers"]
for offer in offers:
    print(f"酒店名称: {offer['name']}, 价格: {offer['price']}, 评分: {offer['rating']}")

实用建议：如何匹配最合适的策略？

场景判断依据	推荐方式	实用提示
页面源代码中能看到关键数据	HTML解析方式	快速稳定，适合初学者
页面数据由JS生成或依赖异步加载	自动化环境工具	可应对结构复杂或需登录的页面
网络请求中出现JSON接口	直接抓接口	最为高效，建议使用浏览器开发者工具辅助分析