Python利用Scrapy爬取前程无忧

最新推荐文章于 2021-01-28 22:43:28 发布

原创

最新推荐文章于 2021-01-28 22:43:28 发布 · 1.2k 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#Python爬虫篇

本文介绍了如何使用Python的Scrapy框架爬取前程无忧网站上的Python相关职位信息，包括爬虫项目的创建、item类定义、settings配置、爬取函数编写以及数据保存到csv文件的完整步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Python利用Scrapy爬取前程无忧

一、爬虫准备
Python:3.x
Scrapy
PyCharm
二、爬取目标
爬取前程无忧的职位信息，此案例以Python为关键词爬取相应的职位信息，通过Scrapy来爬取相应信息，并将爬取数据保存到csv文件中。
三、爬取步骤
1.创建一个新的爬虫项目。
在这里插入图片描述
2.定义我们要爬取的内容item类

import scrapy

class QcwyItem(scrapy.Item):
    
    job_name = scrapy.Field()
    company = scrapy.Field()
    area = scrapy.Field()
    salary = scrapy.Field()
    pabulish_time = scrapy.Field()

3.配置settings.py
1)设置不遵守机器人协议

ROBOTSTXT_OBEY = False

2）设置请求头

DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
'USER_AGENT': 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like