爬虫的第一天---百度贴吧

最新推荐文章于 2025-07-16 14:38:53 发布

小田大梦想

最新推荐文章于 2025-07-16 14:38:53 发布

阅读量289

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫类文章标签： urllib.request

本文链接：https://blog.youkuaiyun.com/qq_37143745/article/details/80897296

爬虫类专栏收录该内容

4 篇文章

订阅专栏

本文介绍了一种使用Python爬取百度贴吧页面的方法。通过定义函数实现网页下载与保存，最终批量获取指定范围内的贴吧页面内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

迷迷糊糊的开端~~

1.爬取百度贴吧的小旅途

from urllib.request import Request,urlopen
from urllib import parse

# 保存页面
def save_page(filename, data):
    print("正在保存：",filename)
    with open(filename, 'wb') as f:
        f.write(data)


 # 下载
 def download_page(full_pn):
    print("正在下载：", full_pn)
    headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36"
    }


    request = Request(full_pn, headers=headers)
    res = urlopen(request)
    return res.read() #bytes类型

 #拼接页面函数
 def baidu_spider(url,start_page,end_page):
    for page in range(start_page,end_page + 1):
        print(page)

    pn = (page - 1)*20
    full_url = url + "&pn=" + str(pn)
    print(full_url)
    #请求路径
    html = download_page(full_url)
    filename = "第" +  str(page) + "页.html"
    #保存请求到的数据
    save_page(filename,html)


 #定义个一个main函数
 def main():
    kw = int(input("请输入要爬去的内容："))
    start_page = int(input("请输入首页："))
    end_page = int(input("请输入末尾页："))
    kw = {"kw":kw} #字典
    kw = parse.urlencode(kw) #编码
    url = "https://tieba.baidu.com/f?" + kw + "&ie=utf-8"
    print(url)
    baidu_spider = (url,start_page,end_page)

if __name__ == "__main__":
    main()