Python爬虫实战：爬取网易云课堂课程数据并存储到MySQL

最新推荐文章于 2025-12-06 18:40:48 发布

原创

最新推荐文章于 2025-12-06 18:40:48 发布 · 534 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #mysql #数据库 #tcp/ip

Python爬虫实战：爬取网易云课堂课程数据并存储到MySQL

在当今信息爆炸的时代，网络上有大量有价值的数据等待我们去挖掘和分析。本文将带你使用Python编写一个爬虫程序，爬取网易云课堂的Python课程数据，并将这些数据存储到MySQL数据库中。

项目概述

我们将构建一个完整的爬虫系统，主要功能包括：

爬取网易云课堂的Python课程信息
解析课程数据并清洗
将数据存储到MySQL数据库
添加错误处理和日志记录

环境准备

在开始之前，确保你已经安装以下Python库：

import requests
import pymysql
import logging
import time
from typing import Dict, List, Optional

数据库设计

首先，我们需要设计一个合适的数据库表来存储课程信息：

CREATE TABLE IF NOT EXISTS course (
    id INT PRIMARY KEY AUTO_INCREMENT,
    course_id BIGINT UNIQUE,
    product_name VARCHAR(255),
    provider VARCHAR(100),
    score DECIMAL(3,1),
    learner_count INT,
    lector_name VARCHAR(100),
    original_price DECIMAL(10,2),
    discount_price DECIMAL(10,2),
    img_url VARCHAR(500),
    big_img_url VARCHAR(500),
    description TEXT,
    create_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);

核心代码实现

1. 数据库连接配置

我们首先创建一个数据库连接类，提高代码的可维护性：

class MySQLManager:
    def __init__(self, host="localhost", port=3306, user="root", 
                 password="root", database="spider", charset="utf8"):
        self.connection_params = {
   
   
            "host": host,
            "port": port,
            "user": user,
            "password": password,
            "database": database,
            "charset": charset
        }
        self.conn = None
        self.cursor = None
    
    def __enter__(self):
        self.conn = pymysql.connect(**self.connection_params)
        self.cursor = self.conn.cursor()
        return self
    
    def