python实现爬取百度贴吧图片

本文最初参考：

http://www.cnblogs.com/fnng/p/3576154.html#!comments

有一个缺点就是只能爬取网页的第一页的图片，而整个帖子有70多页的内容图片。

#coding=utf-8
import urllib
import re

def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

def getImg(html):
    reg = r'src="(.+?\.jpg)" pic_ext'
    imgre = re.compile(reg)
    imglist = re.findall(imgre,html)
    x = 0
    for imgurl in imglist:
        urllib.urlretrieve(imgurl,'%s.jpg' % x)
        x+=1


html = getHtml("http://tieba.baidu.com/p/2460150866")

print getImg(html)

所以本人对源代码进行了修改：可以爬取整个贴吧有70多页的图片，（爬取百度贴吧，不需要伪装成浏览器，比较方便）

#coding=utf-8
import urllib
import re

model_url = 'http://tieba.baidu.com/p/2460150866?pn='

def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html
	
def getPageNum(html):
    reg = r'尾页'
    imgre = re.compile(reg)
    html_str = re.findall(imgre,html)
    print html_str
    num=int(html_str[0])
    print num
    return num

def getImg(html,i):
    reg = r'src="(.+?\.jpg)" pic_ext'
    imgre = re.compile(reg)
    imglist = re.findall(imgre,html)
    x=1
    for imgurl in imglist:
        urllib.urlretrieve(imgurl,'page_%s_the_%s.jpg' %(i,x))
        x+=1

html = getHtml("http://tieba.baidu.com/p/2460150866")
getImg(html,1)
print('The 1 page\'s pictures are downloaded')
num = getPageNum(html)
print getPageNum(html) 
print('The total page is %d'  % num)
if num>1:
  for i in range(44,num+1):
    real_url = model_url+str(i)
    print real_url
    htmls=getHtml(real_url)
    getImg(htmls,i)
    print('The %d page\'s pictures are downloaded' % i)

下图为Python idle执行过程。

从蓝色框看出page_72_the_5.jpg表示爬取的第72页第5张图片。

从红色框看出爬取此百度贴吧共2515张图片。