徐雄辉笔记

安装python　第一步，windows下面的Python安装一般是通过软件安装包安装而不是命令行，所以我们首先要在Python的官方主页上面下载最新的Python安装包。 　下载地址是：https://www.python.org/downloads/ 在安装完成之后，打开控制台，输入“Python”，我们能够看到下面的效果：  原因很简单，是因为python.exe文件在 Python 目录下...

导入sklearn模块报一下错误的解决办法可能是电脑配置原因解决方案E:\ruanjian\python3.5.4\Lib\site-packages\sklearn\utils\fixes.py找到这个文件修改为

首先考虑使用最简单的方法安装[plain] view plain copy pip install scrapy   命令安装，提示  Failed building wheel for TwistedMicrosoft Visual C++ 14.0 is required...于是开始问度娘应该怎样安装，看了几篇博客，虽然和我的问题不十分相同，但是也收到了启发，知道应该怎样解决我的问题了。解决...

今天在搭建一个虚拟环境过程中，遇到了点问题，在此记录一二。安装完scrapy后，再去安装pywin32，之后再通过命令行调试scrapy项目时，发现任然爆出了如下错误：?12import win32apiImportError: DLL load failed: 找不到指定的模块。按以往经验只要安装了pywin32就可以了，而且我也找到了\venv\Lib\site-packages\win32\...

首先得有一个Scrapy项目，我在Desktop上新建一个Scrapy的项目叫test，在Desktop目录打开命令行，键入命令：scrapy startproject test1  目录结构如下：    打开Pycharm，选择open  选择项目，ok 打开如下界面之后，按alt + 1， 打开project 面板  在test1/spiders/，文件夹下，新建一个爬虫spider.py， ...

#-*- encoding: UTF-8 -*- #---------------------------------import------------------------------------ import scrapy import re from tutorial.items import TutorialItem from scrapy import Request #------...

#!/usr/bin/env python # -*- encoding: utf-8 -*- """ Topic: 爬取链接的蜘蛛 Desc : """ import logging from coolscrapy.items import CoolscrapyItem import scrapy from scrapy.spiders import CrawlSpider, Rule fro...

先说结论，关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决。 使用scrapy爬取淘宝页面的时候，在提交http请求时出现debug信息Forbidden by robots.txt，看来是请求被拒绝了。开始因为是淘宝页面有什么保密机制，防止爬虫来抓取页面，于是在spider中填入各种header信息，伪装成浏览器，结果还是不行。。。用...