乖小孩的博客

在安装 python 的 Scrapy 框架的时候，报错：“ error: Microsoft Visual C++ 10.0 is required (Unable to find vcvarsall.bat)” 原因： Visual Studio 版本不对应 解决方法： 安装对应版本的 Visual Studio 版本 如何寻找“对应”的版本： 1、打开 python 安装目录下的...

环境： Windows10 系统、python3.4.3 版本 安装 Scrapy ： 使用 pip 安装 Scrapy,在命令行窗口中输入命令 “pip install Scrapy”,若不报错即可安装成功。 注意：可在命令行窗口中输入命令“pip -h”测试 pip 模块是否已安装，若未安装的话，可以看前面博客，先安装 pip 模块。 成功...

创建 Scrapy 项目：scrapy startproject mysqlpjt (其中 mysqlpjt 是项目名称) 基于 crawl 爬虫模板创建一个名为 weiwei 的爬虫文件：scrapy genspider -t crawl weiwei sina.com.cn 基于 basic 爬虫模板创建一个名为 myhexunspd 的爬虫文件：scrapy genspider ...

在使用scrapy爬虫的过程中，在命令控制台输入scrapy crawl demo 出现ModuleNotFoundError: No module named ‘win32api’错误 原因： 缺少 pywin32 模块 解决办法： 安装pywin32 在网址“https://sourceforge.net/projects/pywin32/files/pywin32/Build%20...

First: scrapy 框架的项目目录结构： Second:scrapy.cfg文件：主要是爬虫项目的配置文件 hexunpjt/hexunpjt/__init__.py 文件：项目的初始化文件，主要写的是一些项目初始化信息。 hexunpjt/hexunpjt/items.py 文件：爬虫项目的数据容器文件，主要用来定义我们要获取的数据。 hexunpjt/hexunpjt/p...