爬取猎聘网职位(requests+bs4)

使用requests和bs4爬取猎聘网职位信息

最新推荐文章于 2024-10-31 19:54:07 发布

原创

最新推荐文章于 2024-10-31 19:54:07 发布 · 3.3k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #requests #bs4 #猎聘网 #beautiful

本文介绍如何结合requests和BeautifulSoup库（bs4）进行网络爬虫，以猎聘网的职位数据为例，演示爬取过程。通过这个教程，读者将学习到如何发送HTTP请求获取网页源码，以及解析HTML提取关键信息。

本人倾向于用bs4匹配，数据量不大，怎么简单怎么来了
url为关键词搜索，位置默认全国
最后写入json文件

import requests
import json
from bs4 import BeautifulSoup
# url = 'https://www.liepin.com/zhaopin/?sfrom=click-pc_homepage-centre_searchbox-search_new&d_sfrom=search_fp&key=python'


def get_page():
    """
    获取页数/职业
    """
    page = input('请输入页数:')
    job = input('请输入职业:')

    url = 'https://www.liepin.com/zhaopin/?&key={}'.format(job)
    page_url = '&curPage='
    # 条件:一页/多页
    if page == '1':
        full_url = url
    else:
        for i in range(int(page