python爬取前程无忧招聘岗位信息

最新推荐文章于 2025-06-16 17:46:02 发布

MarineWJ

最新推荐文章于 2025-06-16 17:46:02 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/MarineWJ/article/details/89502855

本文介绍如何使用Python的requests和lxml库抓取前程无忧网站的招聘岗位信息。通过循环遍历多页，获取每个职位的详情页面URL，并将二级网页内容保存到本地文件，实现职位信息的批量下载。在抓取过程中，针对可能出现的编码问题进行了处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

######################首先使用requests获取前程无忧一级网页
import requests
from lxml.etree import HTML
import re
import time
page=1
while True:
url=‘https://search.51job.com/list/020000,000000,0000,01,2,99,%2B,2,{ }.html?lang=c&stype=1&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=5&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=’
try:
rst=requests.get(url.format(page))
rst.apparent_encoding
rst.encoding=‘GB2312’
rst=rst.text
html=HTML(rst)
ls=html.xpath(’//[@id=“resultList”]/div[.]/p/span/a/@href’) #Xpath获取所有岗位的url
tatal=re.compile('共(.?)页’).findall(rst) #正则获取总页数
tatal=int(tatal[0])
#######