python爬虫抓取图片-怎么用爬虫批量抓取网页中的图片?

博客给出了一段从观点网爬取知乎图片的代码。代码定义了 download_img 函数,用于下载图片,包含获取图片扩展名、请求图片、保存图片等操作,还处理了文件已存在和异常情况,若未下载成功则使用原网站链接。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

这个也有点简单了吧,之前观点网爬知乎的代码,直接给你上了:

def download_img(url,classify):

try:

extention=get_extension(url)

if(extention is None):

return None

req = urllib2.Request(url)

resp = urllib2.urlopen(req,None,3)

dataimg=resp.read()

name=str(uuid.uuid1()).replace("-","")+"_www.guandn.com"+extention

top="E://topic_pic"

folder=makeDateFolder(top, classify)

filename=None

if folder is not None:

filename =folder+"//"+name

try:

if "e82bab09c_m" in str(url):

return True

if not os.path.exists(filename):

file_object = open(filename,'w+b')

file_object.write(dataimg)

file_object.close()

return '/room/default/'+GetDateString()+'/'+str(classify)+"/"+name

else:

print "file exist"

return None

except IOError,e1:

print "e1=",e1

pass

except Exception as e:

print "eee",e

pass

return None #如果没有下载下来就利用原来网站的链接

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值