datiao9919-优快云博客

转载 scrapy官方安装方法

安装依赖sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev python-dev, zlib1g-dev, libxml2-dev and libxslt1-dev are required for lxml libss...

2016-12-29 13:12:00 181

转载 ubuntu系统中安装RoboMongo

1、下载RoboMongoRoboMongo官网下载链接。选择好相应版本。2、解压文件tar -xzf robomongo-0.9.0-linux-x86_64-0786489.tar.gzcd robomongo-0.9.0-linux-x86_64-0786489 (如果移动到其他目录，请加上相应的目录。)解压后，把robomongo文件夹保存到一个常用的...

2016-12-21 12:00:00 256

转载 docker常用命令

docker安装最好的办法就是看官方网站的方法。常用命令sudo service docker start #启动systemctl start docker.service　　　　#开始启动docker info　　　　　　　　　　　　　　　　#基本信息查看docker images　　　　　　　　　　　　　　　　#本机镜像情况,-a表示全部do...

2016-12-16 23:37:00 165

转载 pyspider示例代码七：自动登陆并获得PDF文件下载地址

自动登陆并获得PDF文件下载地址#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2015-03-22 22:06:55# Project: pdf_spiderimport refrom pyspider.libs.base_handler import *class Handl...

2016-12-08 16:35:00 551

转载 pyspider示例代码六：传递参数

传递参数示例一#!/usr/bin/env python# -*- encoding: utf-8 -*-# vim: set et sw=4 ts=4 sts=4 ff=unix fenc=utf8:# Created on 2014-10-25 14:31:24import reimport jsonfrom libs.pprint impor...

2016-12-07 13:18:00 276

转载 pyspider示例代码五：实现自动翻页功能

实现自动翻页功能示例代码一#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2016-05-19 00:21:31# Project: v2exfrom pyspider.libs.base_handler import *#import reclass Handler(B...

2016-12-07 13:17:00 674

转载 pyspider示例代码四：搜索引擎爬取

搜索引擎爬取#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2016-03-23 08:25:01# Project: __git_lab_fixfrom pyspider.libs.base_handler import *class Handler(BaseHandler):...

2016-12-07 13:15:00 112

转载 ubuntu系统下安装pyspider：搭建pyspider服务器新手教程

首先感谢“巧克力味腺嘌呤”的博客和Debian 8.1 安装配置 pyspider 爬虫，本人根据他们的教程在ubuntu系统中进行了实际操作，发现有一些不同，也出现了很多错误，因此做此教程，为新手服务。安装pyspider安装pyspider请参考另一篇：ubuntu系统下安装pyspider及问题解决安装mysqlsudo apt-get install mysq...

2016-12-07 13:11:00 217

转载 ubuntu系统下安装pyspider：安装命令集合。

本篇内容的前提是你已安装好python 3.5。在ubuntu系统中安装pyspider最大的困难是要依赖组件经常出错，特别是pycurl，但把对应的依赖组件安装好，简单了。下面直接上代码，所有的依赖我都实践过。sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-...

2016-12-07 13:09:00 126

转载 ubuntu系统下安装pyspider：使用supervisord启动并管理pyspider进程配置及说明

首先感谢segmentfault.com的“imperat0r_”用户的文章和新浪的“小菜一碟”用户的文章。这是他们的配置文件。我参考也写了一个，在最后呢。重点说明写在前面。本人用supervisord配置好pyspider后，pyspider一直有问题，不能正常运行。找了很久原因。最后想起，supervisord启动的进程是否正常这个问题。于是果断用supervisorctl命...

2016-12-07 11:06:00 178

转载 ubuntu系统下安装pyspider：解决pyspider启动时不启动phantomjs问题

问题描述：在建立第一个虚拟环境时，运行pyspider正常。建立第二个虚拟环境时，运行pyspider再现下面错误。应该是phantomjs没有启动成功。错误代码：(phantomjs:21507): WARNING **: Couldn't register with accessibility bus: Did not receive a reply. Possible ...

2016-12-06 10:00:00 476

转载 ubuntu系统中解决github下载速度慢问题

如果你在使用github，出现访问和下载速度慢问题，可以通过修改host解决。记得不要踩坑哦！分四步：第一步：查询速度快的IP地址在http://tool.chinaz.com/dns中查询下面三个域名：github.com把TTL值最小的IP地址记录下来。第二步：修改HOST文件进入终端命令行模式，输入sudo gedit /etc/hosts在文件最后添加...

2016-12-05 11:26:00 2068

转载 pyspider示例代码三：用PyQuery解析页面数据

本系列文章主要记录和讲解pyspider的示例代码，希望能抛砖引玉。pyspider示例代码官方网站是http://demo.pyspider.org/。上面的示例代码太多，无从下手。因此本人找出一些比较经典的示例进行简单讲解，希望对新手有一些帮助。示例说明：本示例主要是PyQuery解析返回的response页面数据。response.doc解析页面数据是pyspider的主要...

2016-11-28 22:36:00 224

转载 pyspider示例代码二：解析JSON数据

本系列文章主要记录和讲解pyspider的示例代码，希望能抛砖引玉。pyspider示例代码官方网站是http://demo.pyspider.org/。上面的示例代码太多，无从下手。因此本人找出一下比较经典的示例进行简单讲解，希望对新手有一些帮助。示例说明：pyspider爬取的内容通过回调的参数response返回，response有多种解析方式。1、response.jso...

2016-11-28 22:14:00 204

转载 pyspider示例代码一：利用phantomjs解决js问题

本系列文章主要记录和讲解pyspider的示例代码，希望能抛砖引玉。pyspider示例代码官方网站是http://demo.pyspider.org/。上面的示例代码太多，无从下手。因此本人找出一下比较经典的示例进行简单讲解，希望对新手有一些帮助。示例说明：如果页面中部分数据或文字由js生成，pyspider不能直接提取页面的数据。pyspider获取页面的代码，但是其中的js...

2016-11-28 16:50:00 351

转载让Ubuntu使用阿里云国内源，解决下载速度慢问题。

阿里云镜像官方地址http://mirrors.aliyun.com/找到最新源地址列表：http://www.linuxdiyf.com/linux/23163.html软件包管理中心（推荐）在软件包管理中心“软件源”中选择“中国的服务器”下mirros.aliyun.com即可自动使用在终端中修改方法：sudo cp /etc/apt/sources.li...

2016-11-28 14:23:00 958

转载让PIP源使用国内镜像，提升下载速度和安装成功率。

对于Python开发用户来讲，PIP安装软件包是家常便饭。但国外的源下载速度实在太慢，浪费时间。而且经常出现下载后安装出错问题。所以把PIP安装源替换成国内镜像，可以大幅提升下载速度，还可以提高安装成功率。国内源：新版ubuntu要求使用https源，要注意。清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：http://mir...

2016-11-27 23:15:00 12427

datiao9919的博客