Python-贴吧图片爬虫

wytbno

于 2016-04-13 16:38:30 发布

阅读量448

点赞数

分类专栏： Python 文章标签：正则表达式 python 爬虫

本文链接：https://blog.youkuaiyun.com/wytbno/article/details/51144659

版权

Python 专栏收录该内容

8 篇文章

订阅专栏

本博客介绍了一个Python脚本，用于从吉林大学贴吧抓取并下载页面中的图片。脚本通过设置起始和结束页数，利用正则表达式匹配图片URL，并使用urllib库进行下载。该脚本提供了自动化下载图片的功能，简化了手动操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: utf-8 -*-
"""
Created on Mon Apr 11 18:34:27 2016
@author: Albert
"""

import urllib2
import re
import urllib
def cbk(a, b, c): 
    '''回调函数
04
    @a: 已经下载的数据块
05
    @b: 数据块的大小
06
    @c: 远程文件的大小
07
    ''' 
    per = 100.0 * a * b / c 
    if per > 100: 
        per = 100 
    print '%.2f%%' % per
begin=int(raw_input(u'输入起始页'))
end=int(raw_input(u'输入结束页'))
f=open(r'd:\2\baidu.txt','a')
for a in xrange(begin,end+1):
    url=r'http://tieba.baidu.com/f?kw=吉林大学&ie=utf-8&pn='+'%d'%(50*(a-1))
    html=urllib2.urlopen(url)
    page=html.read()
    patten=re.findall('original="(.*?).jpg',page,re.S)
    i=1
    for line in patten:
        line=line+'.jpg'
        local = 'd://picture//%d-%d.jpg'%(a,i)
        print "第%d页第%d张"%(a,i)   
        i=i+1
        urllib.urlretrieve(line, local, cbk)