[python爬虫]爬取boss直聘并且存到Mysql数据库里

最新推荐文章于 2024-11-06 16:33:51 发布

Black_God1

最新推荐文章于 2024-11-06 16:33:51 发布

阅读量1.6k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：爬虫计算机 python 文章标签： python 爬虫

本文链接：https://blog.youkuaiyun.com/Black_God1/article/details/81952415

该博客介绍了如何使用Python进行网络爬虫，目标是抓取Boss直聘上的职位信息。首先，文章讲解了如何导入所需库，设置MySQL数据库连接和查询。接着，详细阐述了获取城市编码的过程，以及如何根据指定的省/城市、区/县、查询内容和页数来爬取职位列表页。随后，作者描述了如何深入爬取列表页内的具体职位信息，并进行了内容信息的抓取。最后，定义了主函数并调用相关爬取函数，实现爬虫的运行。

导包

import chardet,re,json,pymysql
from urllib import request,parse

from piaot import *

Mysql

def sql(sql_z):

    # 打开数据库连接
    db = pymysql.connect("192.168.43.128", "root", "123456", "boss", charset='utf8')

    # 使用 cursor() 方法创建一个游标对象 cursor
    cursor = db.cursor()

    # 使用 execute()  方法执行 SQL 查询
    cursor.execute('')

    # 使用 fetchone() 方法获取单条数据.
    data = cursor.fetchone(sql_z)

    print("Database version : %s " % data)
    # print(x)
    # 关闭数据库连接
    db.close()

mysql查询

def sql_cx(sql_z):

    # 打开数据库连接
    db = pymysql.connect("192.168.43.128", "root", "123456", "boss", charset='utf8')

    # 使用 cursor() 方法创建一个游标对象 cursor
    cursor = db.cursor()

    # 使用 execute()  方法执行 SQL 查询
    data=cursor.execute(sql_z)

    # print("Database version : %s " % data)

    # 关闭数据库连接
    db.close()
    return data