Python数据抓取（抓图片）

最新推荐文章于 2024-02-16 14:07:52 发布

原创

最新推荐文章于 2024-02-16 14:07:52 发布 · 4.9k 阅读

1 ·

CC 4.0 BY-SA版权

在kubuntu12.04环境下，使用Python2.7进行数据抓取，针对某MM图网站，实现了小图的抓取。计划扩展功能，包括抓取大图及图片信息，并通过多线程技术与代理服务器来抓取Google地图瓦片数据，提升爬虫效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

看到oschina上抓图片挺流行的，最近又看到一个抓××湾电影的小站一下火了，自己就试着练习一下python抓取。

import re
import urllib

# Download picture and save in disk
def downImg(url, dirPath, name):
    fr = urllib.urlopen(url)
    stream = fr.read(-1)
    fr.close()
    print dirPath+'/'+name
    fw = open(dirPath+'/'+name, 'w')
    fw.write(stream)
    fw.close()

def getPageCode(url, fromCharset, toCharset):
    fr = urllib.urlopen(url)
    pageCode = fr.read()
    fr.close()
    return pageCode

def getImgUrl(pageCode):
    pattern = re.compile(r'http\://[\w\-\./]+\.jpg')
    return re.findall(pattern, pageCode)

def main():
	dirPath = '/home/damin/img'
	nameEnding = 1
	start = 'http://www.22mm.cc/mm/qingliang/'
	allUrl = [start+'index.html']
	x = 2
	while x<=10:
	    allUrl += [start+'index_'+str(x)+'.html']
	    x += 1
	for url in allUrl:
		# 1. get page code 
		print url
		pageCode = getPageCode(url, 'gb2312', 'utf8')
		# 2. get all img url
		imgUrl = getImgUrl(pageCode)
		# 3. download