爬取51job的信息

最新推荐文章于 2022-04-19 16:38:29 发布

菜鸟成长记-狒狒

最新推荐文章于 2022-04-19 16:38:29 发布

阅读量1.3k

点赞数

本文链接：https://blog.youkuaiyun.com/sj18839125621/article/details/79426891

版权

这是一个使用Scrapy框架抓取51job网站Python、PHP、HTML5相关职位信息的爬虫程序。爬虫首先访问指定的51job搜索页面，然后解析页面获取职位名称、公司名称、工作地点和薪资，并将数据存储到JobspiderItem对象中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: utf-8 -*-
import scrapy
from ..items import JobspiderItem


class JobSpider(scrapy.Spider):
    name = 'job'
    allowed_domains = ['51job.com']
    start_urls = ['http://search.51job.com/list/171900%252C020000%252C010000%252C030200%252C040000%252C00,000000,0000,00,0,08,Python,2,1.html?lang=c&stype=1&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=',
                  'http://search.51job.com/list/171900%252C020000%252C010000%252C030200%252C040000%252C00,000000,0000,00,0,08,PHP,2,1.html?lang=c&stype=1&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&company