python3 scrapy实战：爬取直聘网招聘数据至数据库（反爬虫）

原创 于 2018-06-05 16:19:07 发布 · 3.1k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #spider #scrapy

首先注明：感谢拉勾网提供的权威、质量的数据，本人抱着学习的态度，不愿增加其服务器负担，与dos攻击。

继上一篇爬取拉勾网后的第二篇文章，同样是使用scrapy来获取网站的招聘信息，并且保存至MySQL数据库，与上一篇文章有所差异，下面进入正题：

直聘网的信息也比较权威、质量，但是反爬虫的有点厉害，做了很多的措施，但时不时还是六字真言教你做人：


本来比较简单的网页硬是用了两天才爬完，第一天就把IP给我封了。说多了都，哎不说了。

首先我们来分析一下需要爬取得网页信息：

https://www.zhipin.com/c100010000/h_101270100/?ka=sel-city-100010000


下面这个招聘信息就是我们后面要获取的信息，获取的内容包括（城市、规模、学历、领域、职位、薪水、工作经验等7个内容）

又与年轻了，想着这个网页，获取到链接就可以直接爬了，还比较简单，刚爬了没一分钟，就没数据了，我还以为代码bug了，刷新一下网页，竟然连我的IP都给封了，由于更换IP来反爬虫有点麻烦，就没有搞了，休息一天，本来就有点累了。

第二天开始了小心翼翼的工作，需要处理的就是伪造浏览器信息，和设置爬取速度，来防止正义制裁：

不停的更换user_agent：


列一长串出来，后面我们随机选取。


headers的设置，这个在F12的Network的数据包中查找到：


慢慢找嘛

import time    time.sleep(8)很重要，每次请求都慢一点，让他缓缓，这里我设置的8秒，因为我比较害怕，又被封了。

还有在setting中开启某些设置（下载延迟等也是一个措施）：


好了简单有效的措施我们都做了，下面就开始创建scrapy来爬取

创建scrapy（不累述，如果不清楚可以先查阅一下资料）：


我们先编写容器文件，以便确定我们需要获取的信息（这里我在items里面新建的类，也可以使用原来的）：


接着我们来编写spider文件：

spider源码：（首先爬取全国，然后爬取14个热门城市）

# -*- coding: utf-8 -*-
import scrapy
import time
import random
import os
path = os.path.abspath(os.path.join(os.getcwd(), "../.."))
import sys
sys.path.append(path)
from get_zhipin.items import ZhipinItem
import main

user_Agent = [
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
]

headers = {
        'x-devtools-emulate-network-conditions-client-id': "5f2fc4da-c727-43c0-aad4-37fce8e3ff39",
        'upgrade-insecure-requests': "1",
        'accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
        'dnt': "1",
        'accept-encoding': "gzip, deflate, br",
        'accept-language': "zh-CN,zh;q=0.8,en;q=0.6",
        'cookie': "__c=1527989289; __g=-; lastCity=100010000; toUrl=https%3A%2F%2Fwww.zhipin.com%2Fjob_detail%2Fc77944563dd5cc1a1XV70tW0ElM%7E.html%3Fka%3Dsearch_list_1_blank%26lid%3DTvnYVWp16I.search; JSESSIONID=""; __l=l=%2Fwww.zhipin.com%2F&r=; __a=33024288.1527773672.1527940079.1527989289.90.5.22.74; Hm_lvt_194df3105ad7148dcf2b98a91b5e727a=1527774077,1527835258,1527940079,1527989289; Hm_lpvt_194df3105ad7148dcf2b98a91b5e727a=1527991981",
        'cache-control': "no-cache",
        'postman-token': "76554687-c4df-0c17-7cc0-5bf3845c9831",
        'x-requested-with':'XMLHttpRequest',
        'referer':"https://www.zhipin.com/job_detail/?query=&scity=100010000&industry=&position="
        # 'user-agent':ua               #需要替换的
    }

class ZhipinSpider(scrapy.Spider):
    name = 'zhipin'
    main_url = 'https://www.zhipin.com/c100010000/h_100010000/?'    #全国页第一次使用
    url1 = 'https://www.zhipin.com'     #用来做拼接
    page = 1                            #控制爬取页数
    key = 0                             #区分全国页和其他城市页
    countrys = []                       #记录城市部分链接
    countrys_name = []                  #记录城市名
    country_num = 0                     #用来提取城市链接的下标
    flag = 0                            #区分全国页和其他城市页

    def parse(self, response):
        if(self.key == 0):      #初次爬取时获得所有城市的链接以及名字，后面用来拼接链接用
            self.key+=1
            for i in range(3,16):
                country = response.xpath('//*[@id="filter-box"]/div/div[2]/dl/dd/a[{}]//@href'.format(str(i))).extract()[0]
                self.countrys.append(country)
                country_name = response.xpath('//*[@id="filter-box"]/div/div[2]/dl/dd/a[{}]/text()'.format(str(i))).extract()[0]
                self.countrys_name.append(country_name)
        item = ZhipinItem()
        for i in range(1,31):   #记得每次匹配到数据都判断下有没有值，有的网页信息为空值，我用try有问题，优先使用try
            city = response.xpath('//*[@id="main"]/div/div[2]/ul/li[{}]/div/div[1]/p/text()[1]'.format(str(i))).extract()
            if(city):
                city = city[0].split()[0]
            else:
                city = None
            workYear = response.xpath('//*[@id="main"]/div/div[2]/ul/li[{}]/div/div[1]/p/text()[2]'.format(str(i))).extract()
            if(workYear):
                workYear = workYear[0]
            else:
                workYear = None
            education = response.xpath('//*[@id="main"]/div/div[2]/ul/li[{}]/div/div[1]/p/text()[3]'.format(str(i))).extract()
            if(education):
                education = education[0]
            else:
                education = None
            positionName = response.xpath('//*[@id="main"]/div/div[2]/ul/li[{}]/div/div[1]/h3/a/div[1]/text()'.format(str(i))).extract()
            if(positionName):
                positionName = positionName
            else:
                positionName = None
            salary = response.xpath('//*[@id="main"]/div/div[2]/ul/li[{}]/div/div[1]/h3/a/span/text()'.format(str(i))).extract()
            if(salary):
                sal = salary[0].split('-')
                if(len(sal)==1):
                    salary = salary[0]
                    salary_min = sal[0][:sal[0].find('k')]      #这里获得最大最小薪水
                    salary_max = sal[0][:sal[0].find('k')]
                else:
                    salary = salary[0]
                    salary_min = sal[0][:sal[0].find('k')]
                    salary_max = sal[1][:sal[1].find('k')]
            else:
                salary = None
                salary_min = None
                salary_max = None
            industryField = response.xpath('//*[@id="main"]/div/div[2]/ul/li[{}]/div/div[2]/div/p/text()[1]'.format(str(i))).extract()
            if(industryField):
                industryField = industryField[0]
            else:
                industryField = None
            companySize = response.xpath('//*[@id="main"]/div/div[2]/ul/li[{}]/div/div[2]/div/p/text()[3]'.format(str(i))).extract()
            if(not companySize):
                companySize = response.xpath('//*[@id="main"]/div/div[2]/ul/li[{}]/div/div[2]/div/p/text()[2]'.format(str(i))).extract()
                if(companySize):
                    companySize = companySize[0]
                else:
                    companySize = None

            item['salary'] = salary
            item['city'] = city
            item['workYear'] = workYear
            item['education'] = education
            item['industryField'] = industryField
            item['companySize'] = companySize
            item['positionName'] = positionName
            item['salary_min'] = salary_min
            item['salary_max'] = salary_max
            yield item

        if(self.page < 10): #该城市的所有页面爬取
            print("pn：{}运行中请勿打断...".format(self.page+1))
            self.page +=1       #这里先加再用
            if(self.flag == 0):             #第一次和其他次的使用链接格式有区别，没有优化这里
                link = self.main_url+('page={}&ka=page-{}'.format(str(self.page),str(self.page)))
            else:
                link = self.url1+self.countrys[self.country_num]+('?page={}&ka=page-{}'.format(str(self.page),str(self.page)))
            ua = random.choice(user_Agent)
            headers['user-agent'] = ua
            time.sleep(8)
            yield scrapy.http.FormRequest(url=link,headers=headers,callback=self.parse)
        else:               #切换到其余的热门城市
            self.page = 1                           #！！！千万记住这里要初始化页数，不然不会进入上面的if判断
            self.flag = 1
            if(self.country_num >= len(self.countrys)):
                print("爬虫已结束运行^.^")
            else:
                print("热门城市 ->{}<-，切换中...".format(self.countrys_name[self.country_num]))
                link = self.url1+self.countrys[self.country_num]+"?page=1&ka=page-1"
                self.country_num +=1    #这里先用在加
                ua = random.choice(user_Agent)
                headers['user-agent'] = ua
                time.sleep(8)
                yield scrapy.http.FormRequest(url=link,headers=headers,callback=self.parse)

    def start_requests(self):       #首页 全国置为初始链接
        url = 'https://www.zhipin.com/c100010000/h_100010000/?page=1&ka=page-1'
        ua = random.choice(user_Agent)    #随机选择一个user_agent
        headers['user-agent'] = ua
        return [scrapy.http.FormRequest(url=url,headers=headers,callback=self.parse)]       #这里使用列表是因为传入的值必须是可迭代的

这篇文章的spider相对上一篇要麻烦一点，因为要获得子网页，转变链接格式，使用的yield也更多了，代码量中等。但是整体的思路还是很简单的。有的网页信息不全，要做还异常处理，免得程序中断。

首先我们使用start_requests来请求第一页信息，返回至parse函数中，然后在parse中通过判断当前页数，来确定是否继续爬取网页。需要注意的上面的文件中我们导入了之前创建的容器类LagouItem()。os.path.abspath是我用来导入上上层文件的路径，sys.path我用来添加main.py和items.py文件的路径，main.py中，就是执行scraoy的命令，你也可以在cmd中执行scrapy，我之前的文章有介绍很方便的。spider很简单，代码不多，我们介绍pipelines文件。

pipelines源码：

import pymysql
import re

class GetZhipinPipeline(object):
    
    def table_exists(self,con,table_name):
        sql = "show tables;"    #第一次使用需要将数据表删除
        con.execute(sql)
        tables = [con.fetchall()]
        table_list = re.findall('(\'.*?\')',str(tables))
        table_list = [re.sub("'",'',each) for each in table_list]
        if table_name in table_list:
            return 1
        else:
            return 0

    def process_item(self, item, spider):
        connect = pymysql.connect(
            user = 'root',
            password = 'root@123456',
            db = 'MYSQL',
            host = '127.0.0.1',
            port = 3306,
            charset = 'utf8'
            )
        con = connect.cursor()
        con.execute("use w_lagouwang")
        table_name = 'zhipinwang'   #这张表是用来测试所有数据的  并非关键词表
        if(self.table_exists(con,table_name) != 1):
            # con.execute("drop table if exists zhipinwang")
            sql = '''create table zhipinwang(city varchar(20),companySize varchar(20),education varchar(20),
            industryField varchar(30),positionName varchar(40),salary varchar(20),salary_max varchar(10),salary_min varchar(10),
            workYear varchar(20))'''
            con.execute(sql)
        data = {'city':item['city'],'companySize':item['companySize'],'education':item['education'],
                'industryField':item['industryField'],'positionName':item['positionName'],'salary':item['salary'],
                'salary_max':item['salary_max'],'salary_min':item['salary_min'],'workYear':item['workYear']}
        city = data['city']
        companySize = data['companySize']
        education = data['education']
        industryField = data['industryField']
        positionName = data['positionName']
        salary = data['salary']
        salary_max = data['salary_max']
        salary_min = data['salary_min']
        workYear = data['workYear']
        con.execute('insert into zhipinwang(city,companySize,education,industryField,positionName,salary,salary_max,salary_min,workYear)values(%s,%s,%s,%s,%s,%s,%s,%s,%s)',
            [city,companySize,education,industryField,positionName,salary,salary_max,salary_min,workYear])
        connect.commit()
        con.close()
        connect.close()
        return data

其实很简单的，就是sql语句有点多，和一个判断表的函数，真正的代码不多。

好了，接下来就是运行了，等等我们先配置一下setting文件：

接下来就可以运行了。。。


大致数据像上面，对于上面的数据我还做过一点处理，但是不影响上面的操作。

好了直聘网反爬虫的项目就完成了，可以看出还是挺简单的，只是每一步都有需要细心，还有就是注意文件之间的关联性，其他的就没有了。反爬虫其实还有很多种，这里只是一种，在接下来的几篇文章中我还会介绍爬取 拉勾网，猎聘网等，都有反爬虫机制。有问题的朋友可以留言交流。


评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值