爬虫学习笔记一、 python3.4爬虫爬取百度贴吧图片

这篇博客介绍了如何使用Python3.4编写爬虫,从百度贴吧抓取帖子中的所有图片。文章提到,该爬虫能自动处理URL,并将图片以jpg格式保存在与贴吧主题同名的文件夹内。测试环境为Python3.4,对于Python2.X用户,只需将urllib.request替换为urllib2。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

第一次写爬虫,希望大家多多指教

功能:输入百度贴吧贴子的地址就可以爬取贴吧里面所有的图片,对于输入的地址没有要求,有自动修改url的模块,图片以jpg格式存储在以贴吧标题命名的文件夹中。

测试环境为python3.4,使用python2.X的朋友,把urllib.request改为urllib2就可以

代码如下:

import urllib.request
import re
import os

def judge_url():
    #设定布尔中间变量
    jude=False
    while not jude :
        url = input("请输入要获取图片的贴吧地址:")
        # 格式化url删除两边的空格
        url = url.strip()
        #判断url是否包含"http://tieba.baidu.com/p/"
        url1 = url[:25]
        url2 = "http://tieba.baidu.com/p/"
        #判断url位数是否大于最低位数
        jude = int(len(url)) >=35 and url1 == url2
        print()
        if not jude:
            print("输入地址有误,请重新输入!")
    # 格式化url,只截取“http://tieba.baidu.com/p/数字 ”部分
    url = url[:35]
    return url

# 以标题存为文件夹名存放图片
def create_folder(url2):
    url=url2
    # 建立图片存放文件夹,以贴吧标题为名
    try:
        # 获取标题
        tile = re.compile('<title>(.*?)_百度贴吧</title>').findall(urllib.request.urlopen(url).read().decode('
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值