Python爬虫抓取猎聘职位升级版

OptimizationMaster

已于 2024-08-03 07:48:32 修改

阅读量767

点赞数 4

分类专栏： Python # 爬虫文章标签： python 爬虫 sql

于 2024-05-29 18:23:00 首次发布

本文链接：https://blog.youkuaiyun.com/ncutyb123/article/details/139302515

版权

广告位招租！
知识无价，人有情，无偿分享知识，希望本条信息对你有用！

本爬虫基于以下博文代码修改所得：

Python爬虫抓取猎聘职位-优快云博客文章浏览阅读192次，点赞2次，收藏3次。获取到的数据通常是JSON格式的，我们需要解析JSON数据，提取出我们需要的职位信息，例如职位名称、公司名称、工作地点、薪资待遇等。这个函数用于读取JavaScript代码，并执行JavaScript来生成一个参数（ckId），用于后续的HTTP请求。这个函数用于解析HTTP响应，提取其中的职位信息，并调用sync_data2db()函数将数据存入数据库中。Python爬虫实战：从猎聘网获取职位信息并存入数据库_python爬取猎聘的职位信息-优快云博客。https://blog.youkuaiyun.com/ncutyb123/article/details/139269693?spm=1001.2014.3001.5501本爬虫支持自定义搜索词并实现自动替换搜索词

支持搜索词中包含空格以及中文搜索词

搜索词文件示例

可运行的Python爬虫代码

记得替换成你自己的检索词文件路径和文件名

# -*- coding: utf-8 -*-
import time
import requests 
import execjs 
import random
import pymysql 

db_config = {
    'host': '127.0.0.1',
    'user': 'root',
    'password': '12345678',
    'database': 'work_data',
    'charset': 'utf8mb4',
    'cursorclass': pymysql.cursors.DictCursor
}

'''
def read_js_code():
    f = open('/Users/shareit/workspace/chart_show/demo.js', encoding='utf-8')
    txt = f.read()
    js_code = exe