京东图书爬虫可视化项目

最新推荐文章于 2024-10-24 16:39:49 发布

程序猿 JQ

最新推荐文章于 2024-10-24 16:39:49 发布

阅读量1.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Django 文章标签： python django mysql

本文链接：https://blog.youkuaiyun.com/weixin_40687614/article/details/108963239

本文介绍了使用Scrapy和Django构建京东图书爬虫的过程，包括项目准备、图书管理系统的创建、数据库配置和模型类定义，以及爬取图书数据的分析、数据清洗和存储到MySQL数据库的操作。通过分析京东图书页面，爬取各类图书信息，并利用Django的Admin站点进行数据管理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、项目准备

开发环境：python3
开发工具：pycharm
使用技术：Scrapy + Django + PyMySQL

二、图书管理系统

1.创建项目

创建Django项目

django-admin startproject web_book（项目名称）

创建子应用

cd web_book
python manage.py startapp book（子应用名称）

注册子应用：在settings.py文件中，INSTALLED_APPS项中进行子应用注册

INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    # 注册子应用
    'book.apps.BookConfig',
]

2.MySQL配置

1、安装myaqi驱动程序PyMySQL

pip install PyMySQL

2、导入pymsql并创建实例化对象：在Django的工程同名子目录的__init__.py文件中添加如下语句。

from pymysql import install_as_MyAQLdb

install_as_MySQLdb()

3、配置MySQL信息：在Django的工程同名子目录的settings.py文件中修改DATABASES配置信息

DATABASES = {
   
   
    'default': {
   
   
        'ENGINE': 'django.db.backends.mysql',
        'HOST': '127.0.0.1',  # 数据库主机
        'PORT': 3306,  # 数据库端口
        'USER': 'root',  # 数据库用户名
        'PASSWORD': '123456',  # 数据库用户密码
        'NAME': 'book'  # 数据库名字
    }
}

4、登陆MySQL客户端

 mysql -u root -p

5、在MySQL中创建数据库book

create database book charset=utf8;

3.创建图书模型类

创建模型类：book/models.py

from django.db import models


class BookInfo(models.Model):
    # 数据存储内容：大分类、小分类、书名、作者、出版社、价格、默认图片
    category = models.CharField(max_length=50, default="大类", verbose_name="图书大类")
    small_category = models.CharField(max_length=50, default="小类", verbose_name="图书小分类")
    name = models.CharField(max_length=100, default="无", verbose_name="书名")
    author = models.CharField(max_length=50, default="无", verbose_name="作者")
    store = models.CharField(max_length=100, default="无", verbose_name="出版社")
    pub_date = models.CharField(max_length=30, null=True, verbose_name="出版时间"<