<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Money多多]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/topleeyap</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; topleeyap]]></copyright><item><title><![CDATA[2021-10-26]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/120968120</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/120968120</guid><author>topleeyap</author><pubDate>Wed, 27 Oct 2021 00:00:32 +0800</pubDate><description><![CDATA[这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
欢迎使用Markdown编辑器
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar]]></description><category></category></item><item><title><![CDATA[Python3.6.x中内置函数总结]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79222771</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79222771</guid><author>topleeyap</author><pubDate>Wed, 31 Jan 2018 22:20:28 +0800</pubDate><description><![CDATA[# -*- coding:utf-8 -*-

"""
abs()           dict()          help()          min()           setattr()
all()           dir()           hex()           next()          slice()
any()           divmod()]]></description><category></category></item><item><title><![CDATA[Anaconda使用总结]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79215647</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79215647</guid><author>topleeyap</author><pubDate>Wed, 31 Jan 2018 12:17:48 +0800</pubDate><description><![CDATA[管理镜像源



# 显示配置信息，查看有哪些镜像源
conda config --show

# 添加镜像源
# 清华镜像(linux-64)
conda config --add channels 'https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/'
conda config --set show_channel_urls yes]]></description><category></category></item><item><title><![CDATA[Scrapy框架学习 - 使用Twisted框架实现异步存储数据到MySQL数据库中]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79209816</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79209816</guid><author>topleeyap</author><pubDate>Tue, 30 Jan 2018 19:35:49 +0800</pubDate><description><![CDATA[概述

以爬取豆瓣读书Top250排行榜为例。

关键是使用Twisted框架的adbapi，创建数据库连接池对象，然后使用这个数据库连接池对象进行数据库操作， 
这样就实现了数据存储的异步方案。

核心代码如下: 
1.使用Twisted中的adbapi获取数据库连接池对象。 
参数“pymsql”为使用的数据库引擎名字，params与直接使用pymsql.connect(params)连接数据]]></description><category></category></item><item><title><![CDATA[正则表达式必知必会(二)]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79184571</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79184571</guid><author>topleeyap</author><pubDate>Sun, 28 Jan 2018 03:14:37 +0800</pubDate><description><![CDATA[使用子表达式



什么是子表达式

子表达式，通俗的叫法是 “分组”。把一个完整的正则表达式分解为一系列的小的表达式，这些小的表达式就是子表达式。



子表达式的语法

子表达式必须使用圆括号 () 括起来。 
子表达式中可以使用竖线 | 表示逻辑或的操作。 
可以将子表达式认为是一个拥有多个元素的特殊“字符”，支持重复匹配。 
子表达式支持嵌套，允许多重嵌套。



子表达式示例]]></description><category></category></item><item><title><![CDATA[正则表达式必知必会(一)]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79176761</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79176761</guid><author>topleeyap</author><pubDate>Fri, 26 Jan 2018 21:10:24 +0800</pubDate><description><![CDATA[概述


定义 
正则表达式(Regular Expression，简称regex)，是一种处理文本的工具，并不算得上是一门“语言”，可以理解为内嵌于其它语言中的“迷你语言”。
用途 
搜索，替换
语法 
正则表达式区分大小写； 
由字符和具有特殊含义的元字符构成； 
对于大部分的元字符，当要使用它们本身时，一般需要使用反斜线 \ 进行转义，\ 本身也是一个元字符，要搜索 \ 本身时，使用  \\]]></description><category></category></item><item><title><![CDATA[Python爬虫 - 使用requests和re模块爬取慕课网课程信息]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79168198</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79168198</guid><author>topleeyap</author><pubDate>Fri, 26 Jan 2018 01:44:26 +0800</pubDate><description><![CDATA[分析

使用requests和re模块爬取慕课网 “免费课程/数据库/“ 分类下的课程信息

代码实现



# !/usr/bin/env python
# -*- coding:utf-8 -*-

import re
import requests
import os

num=0
def crawl(url):
    global num
    base_url='https://ww]]></description><category></category></item><item><title><![CDATA[Python中的OOP - 类中的几种函数或方法总结]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79157273</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79157273</guid><author>topleeyap</author><pubDate>Thu, 25 Jan 2018 04:12:52 +0800</pubDate><description><![CDATA[概述

实例方法


使用实例调用时,默认传递实例本身到实例方法的第一个参数self
使用类调用时,必须传递一个实例对象到实例方法的第一个参数


静态方法


使用实例调用和类调用效果相同;


类方法


装饰器版: 
使用实例调用和类调用效果相同;
classmethod(function)版: 
在类中,尽量不要使用classmethod(function)实现类方法,会将其当做实例方法使]]></description><category></category></item><item><title><![CDATA[Scrapy框架学习 - 扩展内置的ImagesPipeline实现图片下载]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79155822</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79155822</guid><author>topleeyap</author><pubDate>Wed, 24 Jan 2018 21:26:51 +0800</pubDate><description><![CDATA[分析

需求：下载斗鱼主播图片

思路：


使用Fiddler抓包工具，抓取斗鱼APP中关于主播信息的请求接口，响应数据为Json格式
在items中定义Item，包含 image_urls 和 images 字段
在spider中提取图片链接，保存到Item的 image_urls 字段中，返回Item
在Pipeline中通过继承内置的ImagesPipeline类，扩展功能，实现自定义Im]]></description><category></category></item><item><title><![CDATA[Scrapy框架学习 - 爬取西刺代理网免费高匿代理]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79145147</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79145147</guid><author>topleeyap</author><pubDate>Tue, 23 Jan 2018 21:47:11 +0800</pubDate><description><![CDATA[分析

需求: 
爬取西刺代理网免费高匿代理，并保存到MySQL数据库中。 
这里只爬取前10页中的数据。 


思路：


分析网页结构，确定数据提取规则
创建Scrapy项目
编写item，定义数据字段
编写spider，实现数据抓取
编写Pipeline，保存数据到数据库中
配置settings.py文件
运行爬虫项目


代码实现

items.py

import scrapy

cla]]></description><category></category></item><item><title><![CDATA[Scrapy框架学习 - 模拟登录的实现方式]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79144326</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79144326</guid><author>topleeyap</author><pubDate>Tue, 23 Jan 2018 20:40:23 +0800</pubDate><description><![CDATA[使用Cookie模拟已登录状态



import scrapy


class LoginByCookie(scrapy.Spider):
    """
    模拟登录方式一:直接使用cookie登录
        登录慕课网
    """

    name = 'login_by_cookie'
    allowed_domains=['www.imooc.com']
    st]]></description><category></category></item><item><title><![CDATA[Pathon爬虫 - 登录的原理及其方式]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79135215</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79135215</guid><author>topleeyap</author><pubDate>Tue, 23 Jan 2018 01:26:19 +0800</pubDate><description><![CDATA[原理

登录一个网站，实际上就是服务器对客户端的身份识别过程。

第一次登录的时候，一般需要验证用户名、密码或者秘钥等信息； 
当再次登录时，如果客户端保存了Cookie信息，则服务器只需要验证Cookie或Session信息即可。



模拟登录的方式

通过对登录的原理的分析，可以得出两种登录方式：


模拟填写Web表单的方式。通过向服务器发送登录需要的用户名和密码等表单数据，实现登录；
直]]></description><category></category></item><item><title><![CDATA[Scrapy框架学习 - 常用的下载器中间件用法总结]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79135094</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79135094</guid><author>topleeyap</author><pubDate>Tue, 23 Jan 2018 00:33:22 +0800</pubDate><description><![CDATA[Downloader Middleware（下载器中间件）

包括Scrapy内置的下载器中间件和用户自定义的下载器中间件。

内置下载器中间件的用法参考官方文档

自定义下载器中间件，需要以下2步：


定义下载器中间件,继承自object
在settings.py文件中的DOWNLOADER_MIDDLEWARES 字段中配置，激活中间件




User-Agent下载器中间件

middl]]></description><category></category></item><item><title><![CDATA[Scrapy框架学习 - 使用内置的ImagesPipeline下载图片]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79134543</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79134543</guid><author>topleeyap</author><pubDate>Mon, 22 Jan 2018 22:43:17 +0800</pubDate><description><![CDATA[需求分析

需求：爬取斗鱼主播图片，并下载到本地

思路：


使用Fiddler抓包工具，抓取斗鱼手机APP中的接口
使用Scrapy框架的ImagesPipeline实现图片下载


ImagesPipeline实现图片下载的使用方法:


在items中的XxxItem中定义 image_urls 和 images字段
在spider中将提取出来的图片链接保存到Item的 image_url]]></description><category></category></item><item><title><![CDATA[Scrapy框架学习 - 常用命令行工具]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79124136</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79124136</guid><author>topleeyap</author><pubDate>Sun, 21 Jan 2018 23:20:51 +0800</pubDate><description><![CDATA[scrapy 
scrapy –version 
scrapy version [-v] 
查看版本信息，可选项 -v 参数查看各组件的版本信息 

scrapy –help 
查看帮助信息

scrapy list 
列出当前项目中所有的爬虫

scrapy bench 
scrapy基准测试，用于检测scrapy安装环境是否完整

scrapy view  
创建给定url对应网页的真实响应的]]></description><category></category></item><item><title><![CDATA[使用正则表达式爬取古诗文网唐诗300首]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79118009</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79118009</guid><author>topleeyap</author><pubDate>Sun, 21 Jan 2018 02:28:59 +0800</pubDate><description><![CDATA[思路

先从唐诗300首页面获取所有唐诗详情页的链接; 
再从每一首唐诗的详情页提取标题、作者、朝代、内容等信息。



源码

# !/usr/bin/env python
# -*- coding:utf-8 -*-

import re
import requests


def crawl(start_url):
    base_url='http://so.gushiwen.org']]></description><category></category></item><item><title><![CDATA[使用requests库模拟登录豆瓣网并获取个人信息]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79117842</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79117842</guid><author>topleeyap</author><pubDate>Sun, 21 Jan 2018 00:24:25 +0800</pubDate><description><![CDATA[分析

首先分析登录时需要post哪些数据到服务器。 
登录界面如图所示，验证码并不是一开始就需要输入的，而是尝试登录失败几次后才出现。所以，需要在代码中判断是否 
需要输入验证码。 


打开Chrome调试工具，使用错误的密码登录一次，可以看到以下信息:

source:None
redir:https://www.douban.com/people/88152161/
form_email:]]></description><category></category></item><item><title><![CDATA[Selenium库的基本用法总结]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79049147</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79049147</guid><author>topleeyap</author><pubDate>Sat, 13 Jan 2018 01:51:12 +0800</pubDate><description><![CDATA[# !/usr/bin/env python
# -*- coding:utf-8 -*-

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.common]]></description><category></category></item><item><title><![CDATA[动态网站数据采集 - 去哪儿网火车票查询爬虫]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79049140</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79049140</guid><author>topleeyap</author><pubDate>Sat, 13 Jan 2018 01:41:02 +0800</pubDate><description><![CDATA[分析

在去哪儿网火车票查询页面，需要用户填写出发站、目的地站、出发时间等信息，然后，点击搜索按钮， 
页面通过Ajax获取并显示查询结果数据。



这里用Selenium+PhantomJS模拟这一过程。


通过Selenium加载火车票查询页面，并获取到需要进行数据填充的3个输入框和进行数据提交的搜索按钮；
模拟填充3个输入框数据，模拟点搜索按钮；
从浏览器对象中获取到已经渲染完毕的HTM]]></description><category></category></item><item><title><![CDATA[动态网站数据采集 - 时光网电影信息爬虫]]></title><link>https://blog.youkuaiyun.com/topleeyap/article/details/79037831</link><guid>https://blog.youkuaiyun.com/topleeyap/article/details/79037831</guid><author>topleeyap</author><pubDate>Thu, 11 Jan 2018 19:45:54 +0800</pubDate><description><![CDATA[分析

由于时光网中电影的票房、排名等大部分信息是通过Ajax异步加载的，所以，使用常规的静态网站抓取技术， 
无法获取到这些信息。

要获取这些信息，必须从Ajax请求中查找。

先点开一个正在上映的电影 《前任3》 
首先，找到是哪个Ajax请求用于获取这些信息 


发现，以下url返回了所需要的数据

Ajax请求URL

http://service.library.mtime.com/]]></description><category></category></item></channel></rss>