python爬虫实战-爬取岗位招聘信息并保存至本地（方法、bs4）

最新推荐文章于 2024-07-12 16:36:32 发布

原创

最新推荐文章于 2024-07-12 16:36:32 发布 · 1.4k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

本文介绍了使用Python爬虫技术，结合BeautifulSoup库，实现从网上抓取最新的岗位招聘信息，并详细讲解了如何将这些数据保存到本地文件中，为数据分析或个人求职提供便利。

python爬虫实战-爬取岗位招聘信息并保存至本地（方法，bs4）

from bs4 import BeautifulSoup
import urllib.request
import urllib.parse
import json
import time

class ZhiLianSpider(object):
	"""docstring for ZhiLianSpider"""
	url='https://xiaoyuan.zhaopin.com/full/0/0_0_0_0_0_-1_'
	# https://xiaoyuan.zhaopin.com/full/0/0_0_0_0_0_-1_%E8%A5%BF%E5%AE%89_3_0
	def __init__(self, kw,start_page,end_page):
		super(ZhiLianSpider, self).__init__()
		self.kw=kw
		self.start_page=start_page
		self.end_page=end_page
		self.items=[]

	def parse_content(self,content):
		soup=BeautifulSoup(content,'lxml')<