使用scrapy爬取前程无忧51job网站

讲下爬前程的思路吧：
1.首先最先想到的就是在下图页面，通过response去获定位Xpath路径来得到值
2.当我去获取class=‘e’ 对应的值发现不是我想要的，往class='t’下方的span时取不到值，返回空列表

3. 这时在网页上右键查看源码，发现class=‘e’得到的值在这，继续往下看发现我们想要的值在javascript中


4.我尝试的点击了第二页获取请求的地址，想尝试的能否获取一个纯json的网址，发现进到的还是第二页的主界面，并没有网址中包含纯json的文本


4. 那就只能想办法从前面的网页源码中获取内容了，这也是前程的反爬措施，想了挺久的，知道怎么去实现苦于没有方法，后面看到一位博主的方法存html文件，利用正则去匹配我们想要的内容，我们想要的内容其实是一串json赋予了一个变量window.SEARCH_RESULT 。利用json的方法将字符串转成字典。后续的操作就容易多了




5. 在页面上我们可以获取到详细信息的url值

6. 然后通过scrapy.Request 中callback，利用新定义的方法请求这个url地址去解析响应的文本内容

7. 然后通过父级标签获取子标签的所有内容（找了好久得到了个方法，挺实用的）可以参考父级获取子标签的所有文本内容

父级获取子标签的所有文本内容

9. 最后就是构造下一页的url，实现翻页的功能

之前脑子好像有点不好使一直忘记开管道了，导致一直没有保存数据,所以注意一定要开管道设置

附上代码：
spider主程序的py文件

# -*- coding: utf-8 -*-
import scrapy
import json
import re
from scrapy import *

class Job51Spider(scrapy.Spider):
    name = 'Job51'
    allowed_domains = ['jobs.51job.com', 'search.51job.com']
    url = 'https://search.51job.com/list/040000,000000,0000,00,9,99,java,2,{}.html?'
    page = 1
    start_urls = [url.format(