Python爬虫极简入门-单网页版

如果你也听说过炫酷的爬虫，却一直没有成功实现自制的想法，这篇教程会帮上忙。

今天,咱们先来看一下如何制作一个能运行的极简爬虫。做中学。

DIY骨干爬虫-单网页版

首先下载 python 2,我们将制作一个名为骨干爬虫的Python爬虫程序：

爬虫是干嘛的？

是用来自动下载网络上东西的程序，不详细举例了。

爬虫的运行步骤

1. 获取指定的网页的地址对应网页数据X
2. 从X中用正则匹配出你需要的信息:
   
   • 新网址Y：访问goto 1或保存（简单爬虫就不管啦，哈哈哈）
   • 你需要的内容T：保存
   • 需要获取的文件的路径P:保存

概念上的难点

• 如何爬?-遍历新网页保存本网页连接们的方式
• 获取信息-如何保存图片或者其他文件?有API，直接调用

你需要做的事情

1. 找到你需要的文件(图片,rar随便什么)在网页中的地址
2. 设计一个正则表达式匹配它

行动

无论你使用python2还是3,我给出两个版本的代码，你可以看到他们的区别很小

复制下面的内容到python2的编辑器里，运行。查看images里面的内容如果成功它里面会有一些图片：

#python 2.*的代码
from urlparse import urlsplit
from os.path import basename
import urllib2
import re
import requests
import os
import json


url = 'http://www.juemei.com/mm/'#你的网址

if not os.path.exists('images'):
    os.mkdir("images")

#1. 伪装啊
header = {
    'User-Agent': "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0",
    'Host': "www.baidu.com",#伪装来源,斗智斗勇
    'Referer': url
}

#下载一个网页
url_content = urllib2.urlopen(url).read()


#正则匹配你要下载的文件网址
img_urls = re.findall('img .*?src="(.*?.jpg)"',url_content)

#循环处理匹配到文件网址
for img_url in img_urls:
    try:
        #获取循环网址之一的远程文件的数据
        img_data = urllib2.urlopen(img_url).read()

        #让它在本地的名字也是服务器上的名字
        file_name = basename(urlsplit(img_url)[2])

        #保存
        output = open('images/' + file_name, 'wb')
        output.write(img_data)
        output.close()
        #try except 一旦下载某个文件失败就跳过这个文件
    except:
        pass

Python3

#python 3.*
from urllib.parse import urlsplit
from os.path import basename
import urllib.request
import re
import requests
import os
import json


url = 'http://www.juemei.com/mm/'#你的网址

if not os.path.exists('images'):
    os.mkdir("images")

#1. 伪装啊
header = {
    'User-Agent': "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0",
    'Host': "www.baidu.com",#伪装来源,斗智斗勇
    'Referer': url
}

#下载一个网页
url_content = urllib.request.urlopen(url).read()

url_content = url_content.decode('utf-8')

#正则匹配你要下载的文件网址
img_urls = re.findall('img .*?src="(.*?.jpg)"',url_content)

#循环处理匹配到文件网址
for img_url in img_urls:
    try:
        #获取循环网址之一的远程文件的数据
        img_data = urllib.request.urlopen(img_url).read()

        #让它在本地的名字也是服务器上的名字
        file_name = basename(urlsplit(img_url)[2])

        #保存
        output = open('images/' + file_name, 'wb')
        output.write(img_data)
        output.close()
        #try except 一旦下载某个文件失败就跳过这个文件
    except:
        pass

可能遇到的障碍

• 找不到requests

执行下面命令,来安装requests:

C:\Python27>python.exe -m pip install requests

如果你连pip都没有安装，你需要重新安装python2，并选中所有的勾。

• 找不到文件夹images
  它在你保存的py文件的同目录下.

效果

下一节我们将探索以下内容：

骨干爬虫-真爬虫-多页面

骨干爬虫-反屏蔽-代理

骨干爬虫-高性能-异步