Python数据抓取(抓图片)

在kubuntu12.04环境下,使用Python2.7进行数据抓取,针对某MM图网站,实现了小图的抓取。计划扩展功能,包括抓取大图及图片信息,并通过多线程技术与代理服务器来抓取Google地图瓦片数据,提升爬虫效率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

看到oschina上 抓图片挺流行的,最近又看到一个抓××湾电影的小站一下火了,自己就试着练习一下python抓取。
import re
import urllib

# Download picture and save in disk
def downImg(url, dirPath, name):
    fr = urllib.urlopen(url)
    stream = fr.read(-1)
    fr.close()
    print dirPath+'/'+name
    fw = open(dirPath+'/'+name, 'w')
    fw.write(stream)
    fw.close()

def getPageCode(url, fromCharset, toCharset):
    fr = urllib.urlopen(url)
    pageCode = fr.read()
    fr.close()
    return pageCode

def getImgUrl(pageCode):
    pattern = re.compile(r'http\://[\w\-\./]+\.jpg')
    return re.findall(pattern, pageCode)

def main():
	dirPath = '/home/damin/img'
	nameEnding = 1
	start = 'http://www.22mm.cc/mm/qingliang/'
	allUrl = [start+'index.html']
	x = 2
	while x<=10:
	    allUrl += [start+'index_'+str(x)+'.html']
	    x += 1
	for url in allUrl:
		# 1. get page code 
		print url
		pageCode = getPageCode(url, 'gb2312', 'utf8')
		# 2. get all img url
		imgUrl = getImgUrl(pageCode)
		# 3. download
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值