Python爬虫实现JS写的翻页

最新推荐文章于 2025-06-14 23:24:06 发布

原创

最新推荐文章于 2025-06-14 23:24:06 发布 · 3.6k 阅读

13 ·

CC 4.0 BY-SA版权

目标网站：http://beijing.chineseoffice.com.cn/Template/office_complete.html

当查看网页源码时，没有各楼信息，实际写在JS里，包括翻页功能。

Chrome的developer tool查看网络包信息：

上代码：

url = "http://beijing.chineseoffice.com.cn/Building/GetbuildingList"
    
    for i in range(10): #总页数可以从翻页工具条中获得
        data = "page=%s" % str(i)
        listPage = requests.post(url,data=data) #实现翻页
        #以下非本文内容，用json解析获得的页面，取得build的id，拼成详细页link，访问详细页
        page = requests.get("http://beijing.chineseoffice.com.cn/Building/GetbuildingList")
        detail_page_link = "http://beijing.chineseoffice.com.cn/Template/office