<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[susmote]]></title><description><![CDATA[技术成就人生]]></description><link>https://blog.youkuaiyun.com/susmote</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; susmote]]></copyright><item><title><![CDATA[数据挖掘_利用协程抓取]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80203936</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80203936</guid><author>susmote</author><pubDate>Sat, 05 May 2018 11:16:58 +0800</pubDate><description><![CDATA[协程，又称微线程，纤程。英文名Coroutine。协程的概念很早就提出来了，但直到最近几年才在某些语言（如Lua）中得到广泛应用。子程序，或者称为函数，在所有语言中都是层级调用，比如A调用B，B在执行过程中又调用了C，C执行完毕返回，B执行完毕返回，最后是A执行完毕。所以子程序调用是通过栈实现的，一个线程就是执行一个子程序。子程序调用总是一个入口，一次返回，调用顺序是明确的。而协程的调用和子程序不...]]></description><category></category></item><item><title><![CDATA[16_Python变量作用域_Python编程之路]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80162169</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80162169</guid><author>susmote</author><pubDate>Wed, 02 May 2018 09:41:06 +0800</pubDate><description><![CDATA[ 之前跟大家已经讲了有关函数的一部分知识，但是忘了讲一个很重要的点，就是变量的作用域，这块知识不只是适用于函数，它试用域所有的Python程序在正式写程序之前，必须要清楚这一块，否则就很容易犯错误 首先理清一个概念，什么是变量变量可以我们可以将它看为指向值的名称，就像我们之前讲的字典一样的，只是这个字典你是看不到，当然这是很通俗的解释，但也离真相不远了在Python中有一个vars的内置函数，他可...]]></description><category></category></item><item><title><![CDATA[数据挖掘_多进程抓取]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80153941</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80153941</guid><author>susmote</author><pubDate>Tue, 01 May 2018 08:59:08 +0800</pubDate><description><![CDATA[ 之前说过Python的多线程只能运行在一个单核上，也就是各线程是以并发的方式异步执行的这篇文章我们来聊聊Python多进程的方式 多进程依赖于所在机器的处理器个数，在多核机器上进行多进程编程时，各核上运行的进程之间是并行执行的，可以利用进程池，是每一个内核上运行一个进程，当翅中的进程数量大于内核总数时，待运行的进程会等待，直至其他进程运行完毕让出内核多进程就相当于下面这种卖票的行为  在这里要注...]]></description><category></category></item><item><title><![CDATA[数据挖掘_多线程抓取]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80147865</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80147865</guid><author>susmote</author><pubDate>Mon, 30 Apr 2018 10:47:02 +0800</pubDate><description><![CDATA[在这一篇文章中，我们主要来介绍多线程抓取数据。 多线程是以并发的方式执行的，在这里要注意，Python的多线程程序只能运行在一个单核上以并发的方式运行，即便是多核的机器，所以说，使用多线程抓取可以极大地提高抓取效率 下面我们以requests为例介绍多线程抓取，然后在通过与单线程程序比较，体会多线程的效率的提高 这一次，我就不用我的网站做测试了，因为网站的内容此时还并不是太多，不能体现多线程的优势...]]></description><category></category></item><item><title><![CDATA[数据挖掘_并行并发介绍和同步异步介绍]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80134841</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80134841</guid><author>susmote</author><pubDate>Sat, 28 Apr 2018 14:41:35 +0800</pubDate><description><![CDATA[ 前面跟大家讲的request s和spynner都是单进程（单线程）的顺序抓取，而并发和并行执行的异步抓取会极大地提高抓取效率。 并行和并发并发和并行使两个相似的概念，并发是指在一个时间段内发生若干事件的情况，并行是指在同一时刻发生若干事件的情况。我们可以以CPU的工作方式来说明这两个概念 单核CPU下，多任务操作系统的各任务是以并发的方式运行的，因为只有一个处理器，所以各任务会以分时的方式在一...]]></description><category></category></item><item><title><![CDATA[数据挖掘_requests模块的post方法]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80107763</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80107763</guid><author>susmote</author><pubDate>Fri, 27 Apr 2018 14:37:43 +0800</pubDate><description><![CDATA[前面已经跟大家讲了requests模块的get方法，这一篇文章我们要介绍的是requests模块中的另一个比较常用的方法，post方法 post方法的形式相比于get要复杂一些，这时因为post在提交时需要提供一些数据信息，对于使用来说，两种方法基本差不多 请注意，查询字符串（名称/值对）是在 POST 请求的 HTTP 消息主体中发送的：下面我们通过一个例子简单了解一下post方法的使用 首先我...]]></description><category></category></item><item><title><![CDATA[15_Python模块化编程_Python编程之路]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80100144</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80100144</guid><author>susmote</author><pubDate>Thu, 26 Apr 2018 21:25:26 +0800</pubDate><description><![CDATA[ 之前跟大家讲的是一些python的数据基础，从这篇文章开始，我们开始正式学习python的模块化编程 下面我们解释一下什么叫做模块之前已经讲过怎么去定义一个方法，如果你是用python交互器(自带交互器，或者是ipython)来学习定义方法的话，你定义完方法后，然后退出交互器，然后你再来使用这个方法，很显然，是不会成功调用的，这是因为python交互器在你退出后，会清空内存，所有定义的变量和方法...]]></description><category></category></item><item><title><![CDATA[数据挖掘_requests模块的get方法]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80093223</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80093223</guid><author>susmote</author><pubDate>Thu, 26 Apr 2018 14:13:48 +0800</pubDate><description><![CDATA[关于requests模块之前在跟大家讲通过字典列表批量获取数据的时候用过这个模块安装过程就不再讲解了requests模块是python的http库，可以完成绝大部分与http应用相关的工作，所以我们可以用它来进行数据抓取工作requests模块有两个常用的方法，get 和 post 我们也主要只是围绕这两个方法来讲解requests模块 注意:requests不能模拟浏览器的全部行为 get方法在...]]></description><category></category></item><item><title><![CDATA[07_Linux目录文件操作命令4解压缩,文件查找_我的Linux之路]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80086520</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80086520</guid><author>susmote</author><pubDate>Wed, 25 Apr 2018 22:00:09 +0800</pubDate><description><![CDATA[ 这一节还是一样学习操作目录文件的命令在这一节，我会讲到解压压缩tar以及zip命令，以及文本查找命令grep tar 打包压缩命令tar命令可以为linux的文件和目录创建档案首先要弄清两个概念：打包和压缩。打包是指将一大堆文件或目录变成一个总的文件；压缩则是将一个大的文件通过一些压缩算法变成一个小文件。为什么要区分这两个概念呢？这源于Linux中很多压缩程序只能针对一个文件进行压缩，这样当你想...]]></description><category></category></item><item><title><![CDATA[14_Python将列表作为栈和队列_Python编程之路]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80073288</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80073288</guid><author>susmote</author><pubDate>Wed, 25 Apr 2018 08:02:50 +0800</pubDate><description><![CDATA[上一篇文章跟大家介绍了列表的一些方法，这一节我们还是讲列表只是这一节我们要联系一些数据结构，来讲列表 栈首先我们要理解一下栈是一种什么数据结构 栈（stack）又名堆栈，它是一种运算受限的线性表。其限制是仅允许在表的一端进行插入和删除运算。这一端被称为栈顶，相对地，把另一端称为栈底。向一个栈插入新元素又称作进栈、入栈或压栈，它是把新元素放到栈顶元素的上面，使之成为新的栈顶元素；从一个栈删除元素又称...]]></description><category></category></item><item><title><![CDATA[13_Python数据类型字符串加强_Python编程之路]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80058170</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80058170</guid><author>susmote</author><pubDate>Mon, 23 Apr 2018 23:06:06 +0800</pubDate><description><![CDATA[前面已经跟大家讲了python的数据类型，但是没有深入去讲，这一节我们深入了解python数据类型的使用 列表数据类型有很多方法，我们在这里一一跟大家介绍 1.append方法append用于将一个对象附加到列表末尾。例如以下代码In [1]: my_list = [1, 2, 3, 4]

In [2]: my_list.append(5)

In [3]: my_list
Out[3]: [1...]]></description><category></category></item><item><title><![CDATA[监督学习与无监督学习的区别_机器学习]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80053995</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80053995</guid><author>susmote</author><pubDate>Mon, 23 Apr 2018 17:58:33 +0800</pubDate><description><![CDATA[ 最近发现很多人还是不能真正分清机器学习的学习方法，我以个人的愚见结合书本简单说一下这个 机器学习中，可以根据学习任务的不同，分为监督学习(Supervised Learning),无监督学习(Unsupervised Learning)、半监督学习(Semi-Supervised Learning)和强化学习(Reinforcement Learning). 监督学习和无监督学习是使用较多的两种...]]></description><category></category></item><item><title><![CDATA[12_Python的（匿名函数）Lambda表达式_Python编程之路]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80049953</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80049953</guid><author>susmote</author><pubDate>Mon, 23 Apr 2018 14:23:13 +0800</pubDate><description><![CDATA[Python作为一门高级语言，与很多编程语言一样都具有匿名函数这一特征 匿名函数，也就Lambda表达式，通俗来讲就是不用命名的方法，直接定义，直接用即可创建匿名函数需要用到Lambda关键字，下面我们通过一个简单的匿名函数的创建熟悉匿名函数lambda a,b : a + b
　　这个表达式返回的值是a加上b的值，他需要传入两个参数，也就是a，b，同时还需要一个表达式，这样才能构成一个完整的匿名...]]></description><category></category></item><item><title><![CDATA[Python数据挖掘_Python2模块Spynner的安装(安装失败)]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80045643</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80045643</guid><author>susmote</author><pubDate>Mon, 23 Apr 2018 08:56:58 +0800</pubDate><description><![CDATA[我们一起来学习如何使用Spynner进行数据抓取 单数据抓取机顾名思义就是单进程的数据抓取形式，通常在数据不是很多的时候被应用首先我们要介绍Spynner Spynner在抓取时可以出现一个浏览器，在浏览器中可以观察抓取过程的变化，Spynner还可以加载javascript生成的动态内容，然后抓取这部分的动态内容Spynner其他功能与requests模块基本相同，除了上面的功能时spynner...]]></description><category></category></item><item><title><![CDATA[06_Linux目录文件操作命令3查找命令_我的Linux之路]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80034535</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80034535</guid><author>susmote</author><pubDate>Sat, 21 Apr 2018 22:41:25 +0800</pubDate><description><![CDATA[上几节已经大致跟大家说了在Linux端文件目录操作的一些命令这篇随笔，我们继续来学习对文件目录的操作命令 对文件或目录进行查找的命令 find 指定目录下查找文件find(选项)(参数)
 find命令可以用来在特定目录下查找文件，默认是需要加上查找的路径的，如果不加路径，则find命令会在当前目录查找子目录和文件然后把查找的文件或目录显示出来他的选项如下-amin&amp;lt;分钟&amp;gt;：查找在指定...]]></description><category></category></item><item><title><![CDATA[python数据挖掘_Json结构分析]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80026793</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80026793</guid><author>susmote</author><pubDate>Sat, 21 Apr 2018 10:13:24 +0800</pubDate><description><![CDATA[json是一种轻量级的数据交换格式，也可以说是一种配置文件的格式这种格式的文件是我们在数据处理经常会遇到的python提供内置的模块json，只需要在使用前导入即可 你可以通过帮助函数查看json的帮助文档  json常用的方法有load、loads、dump以及dumps，这个都属于python初级，我不做过多解释json可以结合数据库一起使用，在这以后要处理大量数据时非常有用 下面我们正式来利...]]></description><category></category></item><item><title><![CDATA[11_Python的列表推导式_Python编程之路]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80025206</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80025206</guid><author>susmote</author><pubDate>Fri, 20 Apr 2018 23:02:37 +0800</pubDate><description><![CDATA[上一节我们结束了有关python的方法相关内容 这一节我们先来学习python的列表推导式之前跟大家说过range方法的使用，在这里我就不做过多的解释了，如忘记了，请翻阅之前的介绍列表推导式，是Python内置的一种极其强大的生成list的表达式如果要生成一个list [1 , 2 , 3 , 4 , 5 , 6 , 7 , 8 ] 可以用 range(1 , 9)：In [1]: list(ra...]]></description><category></category></item><item><title><![CDATA[Python数据抓取_BeautifulSoup模块的使用]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/80006494</link><guid>https://blog.youkuaiyun.com/susmote/article/details/80006494</guid><author>susmote</author><pubDate>Thu, 19 Apr 2018 16:09:00 +0800</pubDate><description><![CDATA[在数据抓取的过程中，我们往往都需要对数据进行处理本篇文章我们主要来介绍python的HTML和XML的分析库BeautifulSoup BeautifulSoup 的官方文档网站如下https://www.crummy.com/software/BeautifulSoup/bs4/doc/   BeautifulSoup可以在HTML和XML的结构化文档中抽取出数据，而且还提供了各类方法，可以很方...]]></description><category></category></item><item><title><![CDATA[数据挖掘_通过字典列表批量抓取网页数据]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/79999450</link><guid>https://blog.youkuaiyun.com/susmote/article/details/79999450</guid><author>susmote</author><pubDate>Thu, 19 Apr 2018 08:18:06 +0800</pubDate><description><![CDATA[在进行网页数据抓取时我们要先安装一个模块 requests通过终端安装如下图因为我之前安装过了，所以不会显示安装进度条，安装也非常简单，如果你配置好环境变量的话，你只需要执行以下命令pip install requests
 如果提示要升级，就按下面升级pippip install --upgrade pip
  安装完模块后我们正式开始进行数据爬取先说一下requests的用法，导入这个模块后，...]]></description><category></category></item><item><title><![CDATA[10_Python函数方法默认参数_Python编程之路]]></title><link>https://blog.youkuaiyun.com/susmote/article/details/79996914</link><guid>https://blog.youkuaiyun.com/susmote/article/details/79996914</guid><author>susmote</author><pubDate>Wed, 18 Apr 2018 21:11:27 +0800</pubDate><description><![CDATA[上节课已经简单的跟大家讲了如何定义一个方法，但是并没有深入去讲，这一节我们继续来学习定义方法中需要注意的几点 默认参数 前面我们讲到定义一个方法时是可以传递参数的，除了这个功能，实际上python在定义方法时还可以自己预先定义一些参数，这些参数一般被称为默认参数（Default Argument Value）参数赋值比如下面一个官方的例子def ask_ok(prompt, retries=4, ...]]></description><category></category></item></channel></rss>