qq_45803593的博客

基于B站纪录片使用 Python 进行爬取，使用 Spark 进行对数据的分析，使用 ECharts 展示数据 环境 jdk-1.8，scala-2.12.13，nodejs-12.1.0，hadoop-2.7.3，python-3.7

简述 需求：读书网数据入库 环境：python3.7，pycharm 脚本需求：scrapy、pymysql 操作 1.下载scrapy pip install scrapy 2.创建项目：scrapy startproject dushu 3.跳转到 spiders 路径 cd\dushu\dushu\spiders 4.创建爬虫类：scrapy genspider ‐t crawl read www.dushu.com 5.items（实体类） import scrapy class ScrapyD