攻城狮小关的博客

紧接上文内容（https://www.cnblogs.com/guanguan-com/p/13535351.html），来细化爬虫程序3.制作爬虫详细教程可以参考慕课网@大壮老师的课程https://www.imooc.com/video/17518编写细致化的爬虫文件如下注意代码之间的缩进规则，没有红波浪的下划线即没有错误，鼠标移动到红波浪的下划线位置会提示错误然后我们到main.py中运行爬虫程序如下，即为成功4.储存内容（1）在cmd执行程序下输入scrapy c

前提是scrapy 安装成功，需要用到python3.6和pycharm（具体操作见文章如何解决scrapy不是内部或外部命令）豆瓣网 https://movie.douban.com/top250爬虫抓取四步走：新建项目-->明确目标-->制作爬虫-->储存内容1.新建项目（1）以抓取豆瓣网信息为例，在cmd执行模式下输入scrapy startproject douban回车出现此提示即为成功新建（2）输入cd douban打开到豆瓣文件目录下..

爬取网页被拒？看这里，要学会包装自己家的爬虫1.方法一：进行ip代理中间件的编写这种方法呢，需要首先购买一个代理IP，可以去阿布云进行购买，这里并不推荐2.方法二：进行user_agent中间件的编写（能白漂，难道它不香吗）（1）打开middlewares.py编写如下（2）这里强调一下USER_AGENT_LIST列表可以到百度上搜一个，这里我们用的是一个360的USER_AGENT其他照着编写即可（3）接下来编写setting.py文件如下这里需要注意的是47行和

1.首先检查自己的程序有没有错误，确保USER_AGENT是相对应网站的，复制粘贴无误2.检查自己pycharm中setting.py文件中的USER_AGENT有没有打开3.删除USER_AGENT前面的#即为打开4.字体亮起即成功打开，现在运行scrapy crawl +文件名，就可以抓取了希望能帮到大家，问你们要一个赞，你们会给吗，谢谢大家版权声明：本文版权归作者（@攻城狮小关）和优快云共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则.

1.在douban目录下新建main.py文件，编写如下2.右键，点击Run运行，出现报错3.因为系统匹配不到项目的IDE，此时找到File-->Settings-->Project Interpreter4.点击右上角选择add5.Location改为提示错误的括号外面那个路径下的venv6.若左下角提示，证明venv文件夹不为空，只需根据路径找到venv把里面清空即可7.此时再次运行main.py，若还是出现报错：不能找到scr...

我相信绝大多数小伙伴在自学python时，运用pycharm进行编写程序时发现字体太小不方便进行编写，通常像codeblocks这样的编程软件可以通过“ctrl+滚轮”进行放大和缩小。而今天要解释的pycharm通过这种方式却很难实现。显然可以通过设置来固定字体大小，但是每次都要进行设置，比较麻烦，下面介绍一下如何自定义设置通过“ctrl+滚轮”进行放大和缩小。1.打开pycharm中左上角找到File->setting->Keymap->搜索框中输入：Increase Font S.