scrapy爬取智联，只用于学习，不能商用

韩淼燃

于 2019-04-27 11:20:46 发布

阅读量415

点赞数 2

CC 4.0 BY-SA版权

分类专栏： python怕虫项目课程文章标签： scrapy 智联招聘

本文链接：https://blog.youkuaiyun.com/weixin_36691991/article/details/89599336

python怕虫项目课程专栏收录该内容

18 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍如何利用Python的Scrapy框架爬取智联招聘网站上的招聘信息，仅供学习交流，禁止商业用途。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: utf-8 -*-
import scrapy
import json
from ..items import ZhiLianItem
class SpiderZhelianSpider(scrapy.Spider):
    name = 'spider_zhelian'
    # allowed_domains = ['aaa']
    start = 0
    start_urls = ['https://fe-api.zhaopin.com/c/i/sou?start=0&pageSize=90&cityId=530&salary=0,0&workExperience=-1&education=-1&companyType=-1&employmentType=-1&jobWelfareTag=-1&kw=Python&kt=3&=0&_v=0.52954025&x-zp-page-request-id=127a7ae5ebaf4868ba0a60c03175ac5f-1556274802306-939362']
    def parse(self, response):
        data = json.loads(response.text)
        datas = data['data']['results']
        for data in datas:
            if data['positionURL']:
                request = scrapy.Request(u