<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[rainDG的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/rainDG</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; rainDG]]></copyright><item><title><![CDATA[将博客搬至优快云]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331378</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331378</guid><author>rainDG</author><pubDate>Wed, 24 Jul 2019 20:27:00 +0800</pubDate><description><![CDATA[优快云有APP端，感觉更方便一些，所以把内容搬到优快云了。
]]></description><category></category></item><item><title><![CDATA[python 类属性的简单性质和使用]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97162751</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97162751</guid><author>rainDG</author><pubDate>Wed, 24 Jul 2019 20:20:16 +0800</pubDate><description><![CDATA[python中的类属性是定义在class内部的，在def外面。
类属性有两种，一种是int、string等不可改变的数据类型，另外一种就是list、dict等可以改变的类型
下面介绍一个实例，区分两种类型的不同。
类属性记录实例的个数
class MyClass:
    counter = 0  # 类属性，不可改变类型
    tricks=[]    #类属性，可以改变类型
    def ...]]></description><category></category></item><item><title><![CDATA[爬虫入门【11】Pyspider框架入门—使用HTML和CSS选择器下载小说]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331374</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331374</guid><author>rainDG</author><pubDate>Tue, 12 Dec 2017 21:02:00 +0800</pubDate><description><![CDATA[开始之前
首先我们要安装好pyspider，可以参考上一篇文章。
从一个web页面抓取信息的过程包括：
1、找到页面上包含的URL信息，这个url包含我们想要的信息
2、通过HTTP来获取页面内容
3、从HTML中提取出信息来
4、然后找到更多的URL，回到第2步继续执行~
选择一个开始的URL
我推荐一部小说给大家《恶魔法则》。
今天我们从网上将这部小说的内容按照章节下载下来。
小说目录的url...]]></description><category></category></item><item><title><![CDATA[爬虫入门【10】Pyspider框架简介及安装说明]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331370</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331370</guid><author>rainDG</author><pubDate>Mon, 11 Dec 2017 21:38:00 +0800</pubDate><description><![CDATA[Pyspider是python中的一个很流行的爬虫框架系统，它具有的特点如下：
1、可以在Python环境下写脚本
2、具有WebUI，脚本编辑器，并且有项目管理和任务监视器以及结果查看。
3、支持多种数据库
4、支持定义任务优先级，自动重试链接。。。
5、分布式架构
等等优点。
pyspider的设计基础是：以python脚本驱动的抓取环模型爬虫。
教程: http://docs.pyspide...]]></description><category></category></item><item><title><![CDATA[【Python基础】装饰器的解释和用法]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331366</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331366</guid><author>rainDG</author><pubDate>Sun, 10 Dec 2017 15:18:00 +0800</pubDate><description><![CDATA[装饰器的用法比较简单，但是理解装饰器的原理还是比较复杂的，考虑到接下来的爬虫框架中很多用到装饰器的地方，我们先来讲解一下。
函数
我们定义了一个函数，没有什么具体操作，只是返回一个固定值
请注意一下缩进
def sample():
    return 1
print(sample())
作用域
函数内部的变量和函数外的变量是不同的
我们看一下下面的例子，locals()和globals()方法会...]]></description><category></category></item><item><title><![CDATA[爬虫入门【9】Python链接Excel操作详解-openpyxl库]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331363</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331363</guid><author>rainDG</author><pubDate>Sat, 09 Dec 2017 12:36:00 +0800</pubDate><description><![CDATA[Openpyx是一个用于读写Excel2010各种xlsx/xlsm/xltx/xltm文件的python库。
现在大多数用的都是office2010了，如果之前之前版本的可以使用xlrd读，xlwt写，这里就不介绍了。
入门范例
from openpyxl import Workbook

wb=Workbook()#创建一个工作簿
ws=wb.active#获取工作的激活工作表

ws['A1...]]></description><category></category></item><item><title><![CDATA[爬虫实战【13】获取自己的动态代理ip池]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331357</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331357</guid><author>rainDG</author><pubDate>Fri, 08 Dec 2017 21:02:00 +0800</pubDate><description><![CDATA[在爬取一些比较友好的网站时，仍然有可能因为单位时间内访问次数过多，使服务器认定为机器访问，导致访问失败或者被封。如果我们使用不同的ip来访问网站的话，就可以绕过服务器的重复验证，使服务器以为使不同的人在访问，就不会被封了。
如何获取动态ip
网络上有很多提供代理ip的网站，我们经常使用的一个是西刺免费代理ip，url='http://www.xicidaili.com/'
我们来看一下这个网站的构...]]></description><category></category></item><item><title><![CDATA[爬虫实战【12】使用cookie登陆豆瓣电影以及获取单个电影的所有短评]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331353</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331353</guid><author>rainDG</author><pubDate>Thu, 07 Dec 2017 20:20:00 +0800</pubDate><description><![CDATA[昨天我们已经实现了如何抓取豆瓣上的热门电影信息，虽然不多，只有几百，但是足够我们进行分析了。
今天我们来讲一下如何获取某一部电影的所有短评论信息，并保存到mongodb中。
反爬虫
豆瓣设置的反爬虫机制是比较简单的，我们可以通过selenium模拟浏览器登陆这种终极办法来绕过，但是更加有效率的方法是设置请求头信息的cookie，是豆瓣认为在访问的就是一个用户，而不是机器。
【插入图片，我的cook...]]></description><category></category></item><item><title><![CDATA[爬虫实战【11】Python获取豆瓣热门电影信息]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331348</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331348</guid><author>rainDG</author><pubDate>Tue, 05 Dec 2017 22:33:00 +0800</pubDate><description><![CDATA[之前我们从猫眼获取过电影信息，而且利用分析ajax技术，获取过今日头条的街拍图片。
今天我们在豆瓣上获取一些热门电影的信息。
页面分析
首先，我们先来看一下豆瓣里面选电影的页面，我们默认选择热门电影，啥都不点了。
【插入图片，豆瓣热门电影页面】

在选电影这个框中其实有很多标签的，这个其实可以在url设置，后面讲，现在就用热门好了。
下面每部电影罗列出来，包括电影封面，评分，电影名称等信息。
最下...]]></description><category></category></item><item><title><![CDATA[爬虫实战【10】利用Selenium自动登陆京东签到领金币]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331344</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331344</guid><author>rainDG</author><pubDate>Mon, 04 Dec 2017 22:23:00 +0800</pubDate><description><![CDATA[今天我们来讲一下如何通过python来实现自动登陆京东，以及签到领取金币。
如何自动登陆京东？
我们先来看一下京东的登陆页面，如下图所示：
【插入图片，登陆页面】

登陆框就是右面这一个框框了，但是目前我们遇到一个困呐，默认的登陆方式是扫码登陆，如果我们想要以用户民个、密码的形式登陆，就要切换一下。
我们看一下这两种登陆方式是如何切换的，通过浏览器的元素检查，我们看一下两个标签。
【插入图片，两种...]]></description><category></category></item><item><title><![CDATA[Python基础——原生数据类型（字典，列表，元组，字符串）]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331340</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331340</guid><author>rainDG</author><pubDate>Mon, 04 Dec 2017 20:38:00 +0800</pubDate><description><![CDATA[字典Dictionary
字典定义了键值对的1对1管理。
1、定义字典
请看下面的栗子，我们先创建了一个具有两个元素的字典，每对都是key：value的形式。
我们能通过key得到value，但是不能通过value得到key。
还可以通过get方法得到对应key的value。
d={'server':'mpilgrim','database':'master'}
d
{'database': 'm...]]></description><category></category></item><item><title><![CDATA[爬虫实战【9】Selenium解析淘宝宝贝-获取宝贝信息并保存]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331336</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331336</guid><author>rainDG</author><pubDate>Sat, 02 Dec 2017 17:10:00 +0800</pubDate><description><![CDATA[通过昨天的分析，我们已经能到依次打开多个页面了，接下来就是获取每个页面上宝贝的信息了。
分析页面宝贝信息
【插入图片，宝贝信息各项内容】

从图片上看，每个宝贝有如下信息；price，title，url，deal amount，shop，location等6个信息，其中url表示宝贝的地址。
我们通过查看器分析，每个宝贝都在一个div里面，这个div的class属性包含item。
而所有的item...]]></description><category></category></item><item><title><![CDATA[爬虫实战【8】Selenium解析淘宝宝贝-获取多个页面]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331331</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331331</guid><author>rainDG</author><pubDate>Sat, 02 Dec 2017 15:42:00 +0800</pubDate><description><![CDATA[作为全民购物网站的淘宝是在学习爬虫过程中不可避免要打交道的一个网站，而是淘宝上的数据真的很多，只要我们指定关键字，将会出现成千上万条数据。
今天我们来讲一下如何从淘宝上获取某一类宝贝的信息，比如今天我们以“手机”作为关键词，举个例子。
分析页面的源代码
【插入图片，淘宝手机页面示意】

上面是搜索框，下面显示了很多宝贝信息，最下面是翻页的控制按钮。
【插入图片，淘宝手机页面源代码】

我们看一下这...]]></description><category></category></item><item><title><![CDATA[爬虫实战【7】Ajax解析续-今日头条图片下载]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331327</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331327</guid><author>rainDG</author><pubDate>Fri, 01 Dec 2017 20:22:00 +0800</pubDate><description><![CDATA[昨天我们分析了今日头条搜索得到的信息，一直对图集感兴趣的我还是选择将所有的图片下载下来。
我们继续讲一下如何通过各个图集的url得到每个图集下面的照片。
分析图集的组成
【插入图片，某个图集的页面】

我们看上面的这个图片，右面的1/5可以看出，这个图集有5张图片，在图片上右侧点击的话，会打开下一张图片。
我们来看一下这些图片的url在哪里？
分析图集的源代码
【插入图片，图集页的XHR信息】

...]]></description><category></category></item><item><title><![CDATA[爬虫实战【6】Ajax内容解析-今日头条图集]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331323</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331323</guid><author>rainDG</author><pubDate>Thu, 30 Nov 2017 21:05:00 +0800</pubDate><description><![CDATA[Ajax技术
AJAX = Asynchronous JavaScript and XML（异步的 JavaScript 和 XML）。
Ajax并不是新的编程语言，而是一种使用现有标准的新方法，当然也不是很新了，在97年左右，微软就发明了ajax的关键技术，但是并没有推广；随着Google eath、google suggest和gmail的广泛应用，ajax才开始流行起来。
ajax最大的优点...]]></description><category></category></item><item><title><![CDATA[【穿插】Python基础之文件、文件夹的创建，对上一期代码进行优化]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331319</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331319</guid><author>rainDG</author><pubDate>Mon, 27 Nov 2017 21:05:00 +0800</pubDate><description><![CDATA[在上一期妹子图的爬虫教程中，我们将图片都保存在了代码当前目录下，这样并不便于浏览，我们应该将同一个模特的图片都放在一个文件夹中。
今天我们就简单讲一下Python下如何创建文件、文件夹，今后就可以用上了。
1、搞清楚相对路径和绝对路径
绝对路径比较好理解，就是最完整的路径，包含盘符的，比如D:\user\abc.txt，表示的就是D盘目录下，user文件夹中的abc.txt文件。当然在代码中，\是...]]></description><category></category></item><item><title><![CDATA[爬虫实战【5】送福利！Python获取妹子图上的内容]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331315</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331315</guid><author>rainDG</author><pubDate>Sun, 26 Nov 2017 19:39:00 +0800</pubDate><description><![CDATA[【插入图片，妹子图首页】

哈，只敢放到这个地步了。
今天给直男们送点福利，通过今天的代码，可以把你的硬盘装的满满的~
下面就开始咯！
第一步：如何获取一张图片
假如我们知道某张图片的url，如何获取到这张图片呢？
先看一下最简单的方法：
【插入图片，单页url】

我们获取到图片的内容，通过二进制流写入到文件中，并保存起来。
这次偷懒啦，将所有图片都保存在当前目录下。
import reques...]]></description><category></category></item><item><title><![CDATA[爬虫实战【4】Python获取猫眼电影最受期待榜的50部电影]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331311</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331311</guid><author>rainDG</author><pubDate>Sat, 25 Nov 2017 20:37:00 +0800</pubDate><description><![CDATA[前面几天介绍的都是博客园的内容，今天我们切换一下，了解一下大家都感兴趣的信息，比如最近有啥电影是万众期待的？
猫眼电影是了解这些信息的好地方，在猫眼电影中有5个榜单，其中最受期待榜就是我们今天要爬取的对象。这个榜单的数据来源于猫眼电影库，按照之前30天的想看总数量从高到低排列，取前50名。
我们先看一下这个表单中包含什么内容：
【插入图片，6猫眼榜单示例】

具体的信息有”排名，电影海报，电影名称...]]></description><category></category></item><item><title><![CDATA[爬虫实战【3】Python-如何将html转化为pdf(PdfKit)]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331307</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331307</guid><author>rainDG</author><pubDate>Thu, 23 Nov 2017 22:01:00 +0800</pubDate><description><![CDATA[前言
前面我们对博客园的文章进行了爬取，结果比较令人满意，可以一下子下载某个博主的所有文章了。但是，我们获取的只有文章中的文本内容，并且是没有排版的，看起来也比较费劲。。。
咋么办的？一个比较好的方法是将文章的正文内容转化成pdf，就不要考虑排版的事情了，看起来比较美观，也不会丢失一些关键信息。
python中将html转化为pdf的常用工具是Wkhtmltopdf工具包，在python环境下，p...]]></description><category></category></item><item><title><![CDATA[爬虫实战【2】Python博客园-获取某个博主所有文章的URL列表]]></title><link>https://blog.youkuaiyun.com/rainDG/article/details/97331303</link><guid>https://blog.youkuaiyun.com/rainDG/article/details/97331303</guid><author>rainDG</author><pubDate>Wed, 22 Nov 2017 23:31:00 +0800</pubDate><description><![CDATA[Python博客园-获取某个博主所有文章的URL列表
首先，我们来分析一下，在博主的首页里，每个文章的标题在网页源码中是什么样子的。
【插入图片，文章标题1】

【插入图片，文章标题2】

通过这两个图片我们可以看出，博文标题所在的标签为，并且具有class属性为"postTitle2"，其href属性就指向这篇博文的地址。
如下面代码所示：
&lt;a id="homepage1_HomePag...]]></description><category></category></item></channel></rss>