python爬虫（五）多页码

最新推荐文章于 2024-06-20 17:39:30 发布

原创

最新推荐文章于 2024-06-20 17:39:30 发布 · 4.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文详细介绍了使用Python进行多页码网站爬取的技巧，包括解析页码链接、实现翻页逻辑和数据提取。通过实例演示了如何处理分页接口，从而获取整个网站的完整信息。

from bs4 import BeautifulSoup
import requests
import time

url = 'https://knewone.com/discover?page='

def get_page(url,data=None):

    wb_data = requests.get(url)
    soup = BeautifulSoup(wb_data.text,'lxml')
    imgs = soup.select('a.cover-inner > img')
    titles = soup.select('section.content > h4 > a')
    links = soup.select('section.content > h4 > a')

    if data==None:
            for