Magic_xp7的博客

笔者最近对scrapy的学习可谓如火如荼，虽然但是，即使是一整天地学习下来也会有中间两三个小时的“无效学习”，不是笔者开小差，而是掉进了深坑出不来。 在此，给各位分享一下作为一名Scrapy框架的初学者，笔者在学习过程中遇到的各个大坑和小技巧吧。 1. user_agent 这个，在某些网站看来这无关要紧（比如笔者的网站—— 代码的边城 ），但对某些设定了反爬机制的网站来说，这是你的蜘蛛开门遇到的拦路虎。如果没有提前设定好这个参数，那你的蜘蛛连网站都进不去。 不仅网站进不去，而且它还不报错。试问，一个满

本文以爬取网站：www.mxp7.com为例，可以点击文章底部原文链接跳转查看1.安装scrapy框架详细教程可以查看本站文章    点击跳转2.新建scrapy项目生成一个爬虫文件。在指定的目录打开cmd.exe文件，输入代码scrapy startproject mxp7 cd mxp7 scrapy genspider sp mxp7.com然后通过Pycharm打开我们新建的项目，可以发现所有文件都已经新建好了,我们只需要在文件里修改好代码，就可以在命令行中爬取数据了。3.提取数

Win+R 输入cmd打开命令行 我们先把pip升级到最新版，输入代码如下： pip install --upgrade pip 不过一般这种更新方式会经常性出错，安装文件在下载到一半时就会超时报错 可以试试输入下面的代码一般不会出现什么问题了 python -m pip install -U --force-reinstall pip 升级完毕后我们就可以着手于安装scrapy框架了 为了防止接下来出现的超时问题，我们不要使用官方的方式安装框架，采用国内...