tangtang1226的博客

1.看到相关文档写到安装srcrapy，只要python安装时有点选pip，并且添加到path中，就可以在命令符窗口下直接输入：pip install scrapy   因此我也按照此步骤操作   出现了以下提示：Traceback (most recent call last): File "c:\users\46782\appdata\local\programs\python\python...

1.在命令符窗口下，进入项目所在路径下2.使用命令 scrapy --version 查看下scrapy的版本，目的：验证scrapy是否真正安装好3.输入：scrapy startproject 项目名称     备注：项目名称只能是字母数字下划线4.用parcharm打开相应路径下的文件5.此时一个scrapy项目已经创建好6.还可以通过在命令符窗口输入：scrapy  genspider  ...

    因为手头的Python项目有2.7，有3.6的，所以用scrapy时，我想根据python3.6单独做一个虚拟的环境，因此就使用了如下指令：virturalenv  scrapyPython3.6  (g:\scrapyPython3.6)之后创建了我的scrapy项目    g:\scrapyDemo但是安装scrapy时，我是在全局安装，也就是会默认的安装在Python36的安装路径下...

最近写了抓取数据，存放在mysql相关的代码，代码调试通过后，因为各种原因，更换服务器，因此根据出现的问题整理一下：同样的代码，根据记忆一步一步的安装相应的包，（因为项目开发比较紧，所以没有及时的更新相应的文档）出现了，python3-scrapy1.5.0-使用到import MySQLdb  没多想就去通过pycharm下载安装MySQLdb，安装一直失败，后来突然想起来，python2下是使...

最近在做一个爬去某奢侈品网站图片的项目，需要把不同网站上爬取得图片放在不同的目录下，而且需要自定义图片的名称，图片下载一般都会用到ImagesPipeline,因此，通过查看源码，在Python3-scrapy1.5版本下，代码如下：pipeline.py中添加如下代码：class GoodsImagePipeline(ImagesPipeline): def get_media_req...