爬取【ajax+json】异步加载的网站

最新推荐文章于 2024-03-30 22:10:50 发布

搬砖的乔布梭

最新推荐文章于 2024-03-30 22:10:50 发布

阅读量4.2k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： Python爬虫完全攻略

本文链接：https://blog.youkuaiyun.com/u010986776/article/details/79251173

Python爬虫完全攻略专栏收录该内容

16 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何爬取使用AJAX和JSON进行异步加载的网站。首先，导入所需类库，然后设置请求地址和请求头。接着，发起请求并解析HTML页面元素树。由于分页信息通过AJAX加载，地址栏未变化，因此直接请求分页数据的JSON源。通过逐页获取JSON数据进行分析和提取，最终实现完整的爬取过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

@导入类库

import requests
from lxml import etree
import json
import time

@请求地址和请求头

# 请求头，用于伪装客户端浏览器，可由抓包获取
header_base = {
    'Connection': 'keep-alive',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
    'Upgrade-In