day2之爬取拉勾网

最新推荐文章于 2020-03-17 14:15:19 发布
最新推荐文章于 2020-03-17 14:15:19 发布
阅读量217 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： json 前端 python ViewUI
原文链接：http://www.cnblogs.com/654321cc/p/8259078.html

认证流程

浏览器清空cookies

步骤一 　　

　　访问拉勾网网站  https://www.lagou.com/

　　做了些什么：

　　　　以get方式请求"https://www.lagou.com/"后，服务器在preview返回的信息包含了 X_Anti_Forge_Token，X_Anti_Forge_Code。

　　　　同时返回cookies，因为用requests.session()，所以cookies不考虑。

　　目标：拿到X_Anti_Forge_Token，X_Anti_Forge_Code。

　　

 

　　　

　　应该对应的是不规则字符串，存疑！

 

步骤二

　　登录，先故意输错账户名，密码输对。获取其加密后的数据。拉勾网对密码进行了处理。

　　

　　

　　然后，将步骤一拿到的X_Anti_Forge_Token，X_Anti_Forge_Code，和用户名，密码 一起，往" https://passport.lagou.com/login/login.json "以post方式发送。

步骤三

　　以 get请求 往grant.html发送请求。

　　作用：获取授权。可能拉勾网比较特殊。

　　

 

步骤四  验证

　　　　访问登录后的某个页面，response.text 拿到数据，判断页面上的某条数据在不在这response.text中。

 

补充：上述都是用requests.session()做到，所以过程中cookies 让requests模块帮我们处理了。

　　　　get，post请求中的User Agent，Referer，具体情况具体填写。

 

爬取职位信息流程

 


步骤一 

　　页面进行筛选，url地址栏如果有汉字，真正访问的url会进行编码。条件会以  ？关键字=条件    追加在url末尾。

　　

 

 

关键来了，然而，在浏览器返回给我们的数据中，和前端页面渲染的并不一致！竟然找不到！

 

 

原因何在？

服务器返回来的数据中会有ajax请求，浏览器会自动帮我们完成ajax请求，但是requests模块并不会！

so，在抓包中找到ajax，即XHR。

 

这里才是数据真正存放的地方！

在previes中查找到数据。

数据的格式是字典。

 

到这里，就可以循环遍历，拿到想要的数据了。

注意，在拉勾网上，positionID，很重要。

 

 

 

我们可以根据拉勾网，和positionID，拼接出相对应的工作在拉勾网上的站点。

为投简历这个最终目标最准备。

 

最后一步。投简历。

拿到相关工作的绝对路径后，刷出页面，不要忘了一步，需要拿到 X_Anti_Forge_Token，X_Anti_Forge_Code。

 

然后，当我们点击"投个简历"的时候，network会刷出一个 deliverResumeBeforce.json。

投简历实际上是往 deliverResumeBeforce.json 发了一个post请求。这就算投递成功。惊不惊喜。但需要data数据，和上一步拿到的X_Anti_Forge_Token，X_Anti_Forge_Code等。

　

 

补充：post请求，一般都会有data要发送。

　　　get请求，post请求，在这里不出意外都需要referer，user_agent,不再多言。

 　　　感受到了吗，当点击 注册，投个简历，等需要用post方式访问网址，会与前一步get方式访问页面紧密相关。post方式，会用到get方式所返回的某些token，这些token是必不可少的。

 

回顾讲解时的反思：　

　　grant.html，对其发送get请求，当response 里有location，requests模块自动跳转，不用管了。

　　后台会发的页面会包含ajax请求，requests不会识别。下载的页面并不含有想要的结果，那就有可能含有ajax请求。应该开心，因为会更方便。
　　用response.json()直接拿到字典格式的数据。套了好几层的字典。
　　so，去找浏览器的抓包，看抓到是ajax请求的包，XHR便是。
　　在这种情况下，请求的url是...Ajax.json,而不是地址栏中的list_python?city=北京...

　　关键是这个Ajax.json是怎么来的呢？
　　在我们原以为刷新list_python?...的情况下，response.text含有前端的所有信息，其实并不然。
　　在浏览器看到的，和response.text并不一样。so，我们考虑到 浏览器用ajax将一部分数据渲染出来。于是，去找ajax请求数据的网址，那里有我们
　　需要的网址数据。

 

附上原始代码，并不完全一样。

 

import requests
import re

# 1、============================================认证流程
session = requests.session()
# 第一步：
# 请求的URL：https://passport.lagou.com/login/login.html，
# 请求的方法GET，
# 请求头只包含User-agent

r1 = session.get('https://passport.lagou.com/login/login.html',
                 headers={
                     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
                 },
                 )

X_Anti_Forge_Token = re.findall("X_Anti_Forge_Token = '(.*?)'", r1.text, re.S)[0]
X_Anti_Forge_Code = re.findall("X_Anti_Forge_Code = '(.*?)'", r1.text, re.S)[0]
# print(X_Anti_Forge_Code)
# print(X_Anti_Forge_Token)


# 第二步：
# 1、请求的URL:https://passport.lagou.com/login/login.json,
# 2、请求方法POST，
# 3、请求头：
#   Referer:https://passport.lagou.com/login/login.html
#   User-Agent:
#   X-Anit-Forge-Code
#   X-Anit-Forge-Token
#   X-Requested-With
# 4、请求体：
# isValidate:true
# username:1111111111
# password:70621c64832c4d4d66a47be6150b4a8e #代表明文密码alex3714
session.post('https://passport.lagou.com/login/login.json',
             headers={
                 'Referer': 'https://passport.lagou.com/login/login.html',
                 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
                 'X-Anit-Forge-Code': X_Anti_Forge_Code,
                 'X-Anit-Forge-Token': X_Anti_Forge_Token,
                 'X-Requested-With': 'XMLHttpRequest'
             },
             data={
                 'isValidate': True,
                 'username': '18611453110',
                 'password': '70621c64832c4d4d66a47be6150b4a8e'
             }
             )

# 第三：
# 1、请求的URL:https://passport.lagou.com/grantServiceTicket/grant.html,
# 2、请求方法GET，
# 3、请求头：
#   Referer:https://passport.lagou.com/login/login.html
#   User-Agent:

session.get('https://passport.lagou.com/grantServiceTicket/grant.html',
            headers={
                'Referer': 'https://passport.lagou.com/login/login.html',
                'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
            }
            )

# 验证
response = session.get('https://www.lagou.com/resume/myresume.html',
                       headers={
                           'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
                       }
                       )

# print('18611453110' in response.text)



# 2、============================================爬取职位信息
# 1、请求的url：https://www.lagou.com/jobs/positionAjax.json
# 2、请求的方式：POST
#   请求参数：
#     gj:3年及以下
#     xl:不要求
#     jd:不需要融资
#     hy:移动互联网
#     px:default
#     yx:15k-25k
#     city:全国
# 3、请求头：
# User-Agent
# Referer:https://www.lagou.com/jobs/list_%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD
# X-Anit-Forge-Code:0
# X-Anit-Forge-Token:None
# X-Requested-With:XMLHttpRequest

# 4、请求体：
# first:true
# pn:1
# kd:python数据分析

from urllib.parse import urlencode

params = {'kw': 'python数据分析'}
res = urlencode(params).split('=')[-1]
url = 'https://www.lagou.com/jobs/list_' + res
# print(url)


response = session.post('https://www.lagou.com/jobs/positionAjax.json',
                        params={
                            # 'gj': '3年及以下',
                            # 'xl': '不要求',
                            # 'jd': '不需要融资',
                            # 'hy': '移动互联网',
                            'px': 'default',
                            'yx': '15k-25k',
                            'city': '北京',
                            'district': '海淀区',

                        },
                        headers={
                            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
                            'Referer': url,

                        })

# print(response.status_code)
result = response.json()['content']['positionResult']['result']
for comanpy_info in result:
    fullname = comanpy_info['companyFullName']
    emp_num = comanpy_info['companySize']
    salary = comanpy_info['salary']
    workyear = comanpy_info['workYear']
    positionName = comanpy_info['positionName']
    positionId = comanpy_info['positionId']
    detail_url = 'https://www.lagou.com/jobs/%s.html' % (positionId)

    print(detail_url)
    print(fullname)
    print(emp_num)
    print(salary)
    print(workyear)
    print(positionName)
    print(positionId)
    print()

    # 3、============================================爬取职位信息
    # 第一步：请求详情页：
    # 1、请求的detail_url：https://www.lagou.com/jobs/3984845.html
    # 2、请求的方式：GET
    # 3、请求头：
    #    User-Agent
    r1 = session.get(detail_url,
                     headers={
                         'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
                     }
                     )

    X_Anti_Forge_Token = re.findall("X_Anti_Forge_Token = '(.*?)'", r1.text, re.S)[0]
    X_Anti_Forge_Code = re.findall("X_Anti_Forge_Code = '(.*?)'", r1.text, re.S)[0]

    # 第二步：投递简历
    # 1、请求的url：https://www.lagou.com/mycenterDelay/deliverResumeBeforce.json
    # 2、请求的方式：POST
    # 3、请求头：
    # User-Agent
    # Referer:detail_url
    # X-Anit-Forge-Code:31832262
    # X-Anit-Forge-Token:9ee8b4bc-7107-49a0-a205-cedd7e77c2d7
    # X-Requested-With:XMLHttpRequest

    # 4、请求体：
    # 'positionId':3984845
    # 'type':1
    # 'force':True

    session.post('https://www.lagou.com/mycenterDelay/deliverResumeBeforce.json',
                 headers={
                     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
                     'Referer': detail_url,
                     'X-Anit-Forge-Code': X_Anti_Forge_Code,
                     'X-Anit-Forge-Token': X_Anti_Forge_Token,
                     'X-Requested-With': 'XMLHttpRequest'
                 },
                 data={
                     'positionId': positionId,
                     'type': 1,
                     'force': True
                 }

                 )

    print('投递成功',detail_url)

　　

转载于:https://www.cnblogs.com/654321cc/p/8259078.html

selenium爬取拉勾网数据并进行可视化分析
qq_39010254的博客
01-25 677
""" Created by Young on 2019/1/23 10:25 """ import pymongo from selenium import webdriver from lxml import etree from selenium.common.exceptions import TimeoutException from selenium.webdriver.suppor...
Python爬取拉勾网数据，实现数据保存至文件或数据库
tiandi345的博客
01-05 1485
Python爬取拉钩网数据一一一保存数据至文件   import requests import time import json def get_data(url,page,lang_name):     header = {         'Content-Language': 'zh-CN',         'Content-Type': 'application/json;ch...
爬取拉勾数据进行数据可视化展示分析以便找到一个合适的工作
08-10
爬取拉勾数据进行数据可视化展示分析以便找到一个合适的工作
Python爬取拉勾网招聘信息并写入Excel
weixin_34279579的博客
08-14 282
这个是我想爬取的链接：http://www.lagou.com/zhaopin/Python/?labelWords=label 页面显示如下： 在Chrome浏览器中审查元素，找到对应的链接： 然后依次针对相应的链接（比如上面显示的第一个，链接为：http://www.lagou.com/jobs/2234309.html），打开之后查看，下面是我想具体爬取的每个公司岗位相关信息：...
爬取拉勾网
weixin_42141853的博客
07-03 822
import json import requests import urllib.request from urllib import parse import re def getTotalPage(job,city): #url 编码 city=urllib.parse.urlencode({'city':city}) #字符串编码 job=urllib...
python爬虫爬取拉勾网职业信息
风雨雾凇的博客
01-21 7552
先放成果 招聘关键字词云 公司关键字词云 代码git地址：https://github.com/fengyuwusong/lagou-scrapy 目标 抓取拉钩关于java工程师的招聘信息并制作成词云图。 研究目标网站 打开拉钩网可以发现目标url为：https://www.lagou.com/zhaopin/Java/2/?filterOption=2 ，这通过
Day03爬取小说.rar
08-21
标题中的“Day03爬取小说”表明这是一个关于使用编程技术，特别是Python，来抓取网络小说资源的教程。在IT行业中，网络爬虫是一种常用的技术，用于自动化地从互联网上搜集信息。在这个教程中，你可能会学习到如何...
Day01爬取套图.rar
08-21
标题中的“Day01爬取套图.rar”表明这是一个关于网络爬虫的教程资料，其中可能包含第一天学习的课程内容，以图片集的形式呈现。这个压缩包可能是从Gitee上的一个项目“52itstyle/Python”的Day01部分下载的。Gitee是...
paddlepaddle(飞桨) python 教学 Day2-《青春有你2》选手信息爬取–解答
12-21
【标题】: "PaddlePaddle(飞桨) Python 教程 Day2-《青春有你2》选手信息爬取" 【描述】: "在此次教程中，我们将使用Python的PaddlePaddle框架来实现对《青春有你2》选手信息的爬取，特别是选手的图片。爬虫技术是...
利用Python爬取拉勾网的数据.rar
06-26
python爬虫实战，爬取拉勾网全站职位（CrawlSpider），思路如下： 1.首先类似于 https://www.lagou.com/jobs/2182417.html 这样的链接是最终要的url。基本都是差不多，要变的就是那一串数字，编写正则表达式匹配就好。 2.除了首页还有其他地方也能找到这样的url，所以我先匹配职位分类的url 例如：https://www.lagou.com/zhaopin/Java/，在抓取最终的url。 3.scrapy会自动去重。
scrapy 爬取拉勾网
weixin_33923148的博客
10-24 186
一、模板使用 scrapy 在建立爬虫的时候，还可以指定使用的模板进行建立 默认建立爬虫文件的命令： scrapy genspider 爬虫名称 爬虫地址 可以用 scrapy genspider --list 命令 查看scrapy的模板 $ scrapy genspider --list Available templates: basic crawl ...
selenium爬取拉勾
weixin_34055910的博客
09-23 128
用到的知识点： selenium 显式等待 两个窗口的切换 '''用selenium爬取拉勾''' from lxml import etree from selenium import webdriver from selenium.webdriver.support import expected_c...
爬取拉勾网信息
weixin_30588907的博客
03-11 118
#!/usr/bin/env python3 # -*- coding:utf-8 -*- # import requests import json from random import randint, choice import pymongo from time import sleep from multiprocessing import Process, JoinableQueue...
Scrapy框架之爬取拉勾网
Francis的博客
10-17 562
Scrapy框架之爬取拉勾网0.前言1.建立项目2.spider+selenium3.数据存储4.作者的话0.前言 最近有一段时间没爬虫了，现在来学习一下爬虫框架及数据库...
selenium 爬取拉勾网
qq_43609939的博客
03-17 431
from selenium import webdriver from lxml import etree import re import time from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC fro...
使用requests或scrapy爬取拉勾动态数据
weixin_44523731的博客
06-15 377
由于本人不怎么会组织语言讲解， 所以就直接上代码了，见谅,不会的可以问我。 1. requests爬取 import requests import time headers = { 'Referer': 'https://www.lagou.com/jobs/list_python%E7%88%AC%E8%99%AB?labelWords=sug&fromSearch=true...
python爬虫：爬取拉勾网数据
yunfeiyang520的博客
06-08 615
import requests import json from bs4 import BeautifulSoup def crawl_detail(id): url = 'https://www.lagou.com/jobs/%s.html' % id headers = { 'Host': 'www.lagou.com', 'Referer'...
探索15_day_mini2压缩技术的创新与应用
然而，我们可以从标题中的“15_day_mini2”猜测，这可能是一个关于15天速成课程的第二部分，通常这类课程设计为紧凑的培训材料，旨在帮助学习者在短时间内快速掌握特定的技能或知识。 考虑到可能的知识点，我们假设...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值