python从零开始到scrapy框架应用(youtube示例)

python是目前开发爬虫最好的语言，本次爬取youtube视频所需用到：

   python环境，scrapy框架，pycharm编译器，mongo数据库

步骤：

1.windows python环境搭建和安装：
  进入python官网https://www.python.org/进行下载python3.7，进行安装并配置环境变量

2.安装python编译器pycharm
  进入pycharm官网https://www.jetbrains.com 下载pycharm社区版本并安装

3.安装mongodb数据库

  进入mongodb官网进行下载https://www.mongodb.com/download-center/community

 

4.启动cmd通过以下命令安装scrapy框架
  pip install scrapy

5..搭建scrapy爬虫框架并使用pycharm打开
   通过命令 scrapy startproject youtube 创建爬虫项目，然后切换到youtube目录下创建爬虫文件：scrapy genspider youtubeInfo *使用pycharm打开，项目目录结构如图

6.scrapy各模块介绍:

item.py：用于设置爬虫想要爬取的字段