pycharm使用scrapy框架(十步解决问题)

最新推荐文章于 2024-04-15 22:48:05 发布

weixin_43554366

最新推荐文章于 2024-04-15 22:48:05 发布

阅读量605

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/weixin_43554366/article/details/86621890

码代码最蛋疼在于解决bug和其它问题，自己摸索要很长时间，耗了3个多小时才找到适合自己的方法。之前在Ubuntu里弄linux图形化写scrapy就是bug不断，系统稳定性不咋样，折腾蛋都疼，不多讲了，看问题解决步骤吧。

第一步：在命令行pip install scrapy 不行就试试pip3 install scrapy或sudo pip install scrapy

第二步：在命令行进入自己想写这个项目的磁盘位置，如果去E盘则在命令行中输e: ,去G盘输g:

第三步：创建文件: scrapy startproject testdemo（testdemo为文件名，自己随意取）

第四步：打开pycharm ,点击左上角file > open ，找到刚才创建的文件(test)打开它

第五步：在pycharm最下面有个Terminal,此时应该已经默认在此文件夹了，输入cd test ，进入下一层目录，仔细看确实是自动建立了两个test，第二个test是真正我们有大作用的

第六步：衔接上一步，cd spiders,进入spiders文件夹，然后创建爬虫，输入命令：scrapy genspider myspider zhihu.com (myspider是爬虫名，随意取,后面那个是规定爬取的网址是一级域名)

第七步：创建好了爬虫，发现spiders 里没出现，不用着急，把spiders下拉收上去再点下来就出来了。然后写了爬虫发现运行不对劲，显示运行完了没结果那是因为scrapy默认不能在IDE中运行，所以我们自己搞个文件让它运行。在项目根目录建个文件，名字随意，我自己起了start.py（与scrapy.cfg同级）