爬取贴吧图片教程-优快云博客

本文介绍了一种使用Python爬取百度贴吧首页图片的方法。通过urllib模块获取网页内容，利用正则表达式筛选图片链接，并将图片保存到本地。文章详细展示了如何实现这一过程。

2019独角兽企业重金招聘Python工程师标准>>>

###python学习笔记之一:爬取贴吧首页的图片 ####一. 获取整个页面的数据

#coding:utf-8
import urllib

def getHtml(url):
	page = urllib.urlopen(url)
	html = page.read()
	return html
html = getHtml("http://tieba.baidu.com/")
print html

urllib模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取网上的资源. 首先,我们定义了一个getHtml()函数,其中urlopen()方法用来打开一个URL地址. read()方法用来读取URL上的数据,向getHtml()函数传递一个网址参数,将整个页面下载下来. ####二. 筛选需要的数据利用正则表达式来获取想要的数据这里写图片描述

#coding:utf-8
import urllib
import re

def getHtml(url):
    page = urllib.urlopen(url)  #打开url地址
    html = page.read()
    return html

def getImg(html):
    reg = r'src="(.+?\.jpg)"'
    imgre = re.compile(reg)
    imglist = re.findall(imgre,html)
    return imglist

html = getHtml("http://tieba.baidu.com/")
print getImg(html)

创建getImg()函数,用于在获取的整个页面中筛选需要的图片链接. re模块主要是包含了正则表达式 re.compile()可以把正则表达式编译成一个正则表达式对象 re.findall()方法读取html中包含imgre(正则表达式)的数据运行脚本将得到整个页面中包含图片的URL ####三. 将筛选后的数据保存到本地把筛选后的数据通过for循环保存到本地,这里默认是保存在当前文件夹中

#coding:utf-8
import urllib
import re

def getHtml(url):
    page = urllib.urlopen(url)  #打开url地址
    html = page.read()
    return html

def getImg(html):
    reg = r'src="(.+?\.jpg)"'
    imgre = re.compile(reg)
    imglist = re.findall(imgre,html)
    x =0
    for imgurl in imglist:
        urllib.urlretrieve(imgurl,'%s.jpg' % x)
        x+=1
    return imglist

html = getHtml("http://tieba.baidu.com/")
print getImg(html)

urllib.urlretrieve()方法,直接将远程数据下载到本地通过一个for循环对获取的图片连接进行遍历，为了使图片的文件名看上去更规范，对其进行重命名，命名规则通过x变量加1。保存的位置默认为程序的存放目录。程序运行完成，将在目录下看到下载到本地的文件。

转载于:https://my.oschina.net/alarm1673/blog/493669