一、创建项目
cmd打开命令行
打开项目保存的文件夹地址如下图
我的项目保存在D:\Pycharm\ScrapyProjects
然后在终端输入 scrapy startproject 项目名称(此处我的项目名称为WeiboSpider)
以上则为创建项目成功
此时存储位置会出现创建的项目文件夹,如下图:
二、打开爬虫项目
用Pycharm打开项目文件夹
则有如下的文件
再在Pycharm终端创建爬虫项目,如下图所示输入
weibo是爬虫名称,weibo.com是网站域名
三、运行爬虫文件
在上图终端输入scrapy crawl weibo
然后出现了下图错误
解决方法:cmd打开命令行,输入pip install pypiwin32安装pypiwin32,如下图则为安装成功
然后再在终端输入scrapy crawl weibo
最后显示结果如下图:
借鉴了此篇博客写的https://blog.youkuaiyun.com/dayun555/article/details/79415782
以上仅为个人操作编辑
菜鸟一枚,写下来以备不时之需。
文档还不够完整,后续更新