python 爬虫如何执行自动下一页循环加载文字

最新推荐文章于 2025-06-14 23:24:06 发布

暴躁的Dream

最新推荐文章于 2025-06-14 23:24:06 发布

阅读量4k

点赞数

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/Dream_go888/article/details/87939055

本文介绍如何使用Python爬虫进行网页自动化翻页并循环抓取内容。通过解析页面结构，获取下一页链接，并在每次请求后更新URL，实现连续抓取多个页面的数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from bs4 import BeautifulSoup
import requests
import time
from lxml import etree
import os
# 该demo执行的为如何利用bs去爬一些文字
def start():
    # 发起网络请求
    html=requests.get('http://www.baidu.com')
    #编码
    html.encoding=html.apparent_encoding
    #创建sp
    soup=BeautifulSoup(html.text,'html.parser')
    print(type(soup))
    print('打印元素')
    print(soup.prettify())
    #存储一下title 该方法没有提示直接展示
    title=soup.head.title.string
    print(title)
#     写入文本
    with open(r'C:/Users/a/Desktop/a.txt','w') as f:
       f.write(title)
    print(time.localtime())

url_2 = 'http://news.gdzjdaily.com.cn/zjxw/politics/sz_4.shtml'
def get_html_from_bs4(url):

    # response = requests.get(url,headers=data,proxies=ip).content.decode('utf-8')
    response = requests.get(url).content.decode('utf-8')
    soup = BeautifulSoup(response, 'html.parser')
    next_page = soup.select('#displaypagenum a:nth-of-type(9)')[0].get('href')
    # for i in nett
    print(next_page)
    ne