创建项目/执行

创建项目

一、创建项目

　　1.conda创建环境

　　1）安装anaconda后，使用conda向指定工作目录下创建虚拟环境；

　　命令：conda create --prefix=w:\work_preject\Scrapy_project\venv python=3.6

　　解释：在工作目录下，首先创建conda 虚拟环境；

 

　　2）安装Scrapy库

　　步骤：

　　　　1.激活虚拟环境        activate  w:\work_project\Scrapy_project\venv　　

　　　　2.安装Scrapy           conda install Scrapy　　

　　2.Scrapy 创建项目

 

　　1）进入爬虫项目工作目录，如video_project,建立爬虫项目 目录结构；

　　步骤：

　　　　1.进入video_project 项目，建立爬虫项目结构

　　　　　　cd w:\work_project\Scrapy_project　　

　　　　　　scrapy startproject video_spider

 

　　3.Scrapy 创建爬虫主程序

　　1)进入爬虫项目 目录结构 建立爬虫主程序

　　步骤：

　　　　1.进入目录结构 spiders下，cd w:\work_project\Scrapy_project\video_spider\video_spider\spiders

　　　　2.建立主程序，scrapy genspider youku youku.com

 　　　　

 

二、编辑项目

 

三、执行项目

　　1.使用命令

　　　　scrapy crawl 爬虫文件名（即scrapy genspider example example.com）# 即example

　　2.创建执行文件

　　1）在项目下新建start执行文件

　　2）输入代码

　　

　　3.在爬虫文件中创建main函数

 

转载于:https://www.cnblogs.com/guozepingboke/p/10755075.html