python 爬虫智联招聘

最新推荐文章于 2025-09-07 13:57:25 发布

原创

最新推荐文章于 2025-09-07 13:57:25 发布 · 2.2k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #python

本文介绍了如何使用Python爬虫配合Cookie来获取智联招聘网站上的职位详情。首先需要在浏览器中登录智联招聘并获取Cookie，然后在爬虫代码中设置请求Header，确保爬虫能够正确携带Cookie进行访问。

本方法使用cookie的方法下载智联招聘的职位。主要就是要先登录智联招聘，然后将对应的cookie作为爬虫访问的header。代码如下：

import requests
import re
import xlwt

def parse_one_page(html):
    '''
    解析HTML代码，提取有用信息并返回
    '''
    # 正则表达式进行解析
    pattern = re.compile('<span title=.*? class="iteminfo__line1__jobname__name">(.*?)</span>.*?'
                         '<span title=.*? class="iteminfo__line1__compname__name">(.*?)</span>.*?'
                         '<p class="iteminfo__line2__jobdesc__salary">\\n\s+(.*?)\\n.*?'
                         '<li class="iteminfo__line2__jobdesc__demand__item">(.*?)</li>', re.S)  # 匹配职位信息

    # 匹配所有符合条件的内容