乖小孩的博客

在安装 python 的 Scrapy 框架的时候，报错：“ error: Microsoft Visual C++ 10.0 is required (Unable to find vcvarsall.bat)”原因：Visual Studio 版本不对应解决方法：安装对应版本的 Visual Studio 版本如何寻找“对应”的版本：1、打开 python 安装目录下的...

环境：Windows10 系统、python3.4.3 版本安装 Scrapy ：使用 pip 安装 Scrapy,在命令行窗口中输入命令 “pip install Scrapy”,若不报错即可安装成功。注意：可在命令行窗口中输入命令“pip -h”测试 pip 模块是否已安装，若未安装的话，可以看前面博客，先安装 pip 模块。成功...

创建 Scrapy 项目：scrapy startproject mysqlpjt (其中 mysqlpjt 是项目名称)基于 crawl 爬虫模板创建一个名为 weiwei 的爬虫文件：scrapy genspider -t crawl weiwei sina.com.cn基于 basic 爬虫模板创建一个名为 myhexunspd 的爬虫文件：scrapy genspider ...

在使用scrapy爬虫的过程中，在命令控制台输入scrapy crawl demo 出现ModuleNotFoundError: No module named ‘win32api’错误原因：缺少 pywin32 模块解决办法：安装pywin32在网址“https://sourceforge.net/projects/pywin32/files/pywin32/Build%20...

First:scrapy 框架的项目目录结构：Second:scrapy.cfg文件：主要是爬虫项目的配置文件hexunpjt/hexunpjt/__init__.py 文件：项目的初始化文件，主要写的是一些项目初始化信息。hexunpjt/hexunpjt/items.py 文件：爬虫项目的数据容器文件，主要用来定义我们要获取的数据。hexunpjt/hexunpjt/p...