Python 爬取拉勾招聘信息

最新推荐文章于 2022-01-01 22:11:48 发布

原创

最新推荐文章于 2022-01-01 22:11:48 发布 · 675 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

本文讲述了如何使用Python爬取拉勾网的招聘信息。在分析页面和数据请求后，发现需要通过AJAX请求和携带特定cookie来获取数据。经过处理请求参数和城市编码，实现了动态爬取不同城市和职位的招聘信息，并将结果保存为txt文件。

Python 爬取拉勾招聘信息

故事背景

最近有个好哥们啊浪迫于家里工资太低，准备从北方老家那边来深圳这边找工作，啊浪是学平面设计的知道我在深圳这边于是向我打听深圳这边平面设计薪资水平，当时我有点懵逼这个行业不熟悉啊咋搞呢，准备打开招聘网站先看看再说打开网站输入招聘职位发先量还挺大，这样慢慢看不行啊效率太低啦，咋是程序员啊直接把数据拉下来不就行啦于是有啦这篇博客。

技术实现

用到的库

import os
import json
import urllib
import requests

页面分析

数据地址：https://www.lagou.com/

当我在 chrom 中输入拉勾网站查看页面源码时发现页面上的数据并没有直接显示在源码上。推断可能是使用 AJAX 异步加载数据，当我打开 chrom 开发者工具在 network 中查看 XHR 时发现一个 https://www.lagou.com/jobs/positionAjax.json?city=%E6%B7%B1%E5%9C%B3&needAddtionalResult=false 请求点开 response 果然数据都在这个请求中返回。

在这里插入图片描述

返回的数据格式如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NRpqsHcD-1605319503100)(/Users/wollens/Library/Application Support/typora-user-images/image-20201114094558145.png)]

可以发现我们需要的数据都存放在 result 中，于是准备直接获取数据但是使用 request 去模拟请求发现每次都会被拦截。因为拉勾在不登录的情况下浏览器也能获取数据应该不是用户级别的拦截，猜想可能是在 cookie 层面做的限制，发现请求没有携带网站的 cookie 直接拦截

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XG5ZUG2R-1605319503101)(/Users/wollens/Library/Application Support/typora-user-images/image-20201114095322932.png)]

获取请参数

def get_request_params(city, city_num):
    req_url = 'https://www.lagou.com/jobs/list_{}/p-city_{}?&cl=false&fromSearch=true&labelWords=&suginput='.format(urllib.parse.quote(city), city_num)
    ajax_url = 'https://www.lagou.com/jobs/positionAjax.json?px=default&city={}&needAddtionalResult=false'.format(urllib.parse.quote(city))
    headers = headers = {
   
   
        "Accept": "application/json, text/javascript, */*; q=0.01",
        "Referer": "https://www.lagou.com/jobs/list_{}/p-city_{}?px=default#filterBox".format(urllib.parse.quote(city), city_num),
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
                    "(KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36",
    }
    return req_url, ajax_url, headers

于是在请求中加上 cookie, 代码如下：

def get_cookie(city):
    city_num = get_city_num_by_name(city)
    req_url, _, headers = get_request_params(city, city_num)
    s = requests.session(

最低0.47元/天解锁文章