<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[云飞学编程]]></title><description><![CDATA[python新手的自学之路]]></description><link>https://blog.youkuaiyun.com/programmer_yf</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; programmer_yf]]></copyright><item><title><![CDATA[Python爬虫学习，记一次抓包获取js，从js函数中取数据的过程]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/82505124</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/82505124</guid><author>programmer_yf</author><pubDate>Sat, 08 Sep 2018 00:37:19 +0800</pubDate><description><![CDATA[昨天有小伙伴找我，新浪新闻的国内新闻页，其他部分都是静态网页可以抓到，但是在左下方的最新新闻部分，不是静态网页，也没有json数据，让我帮忙抓一下。大概看了下，是js加载的，而且数据在js函数中，很有意思，就分享出来给大家一起看看！



抓取目标



今天我们的目标是上图红框部分，首先我们确定这部分内容不在网页源代码中，属于js加载的部分，点击翻页后也没有json数据传输！



但是发现有个...]]></description><category></category></item><item><title><![CDATA[python实战，中文自然语言处理，应用jieba库来统计文本词频]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/81529890</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/81529890</guid><author>programmer_yf</author><pubDate>Thu, 09 Aug 2018 08:30:05 +0800</pubDate><description><![CDATA[



模块介绍

安装：pip install jieba 即可

jieba库，主要用于中文文本内容的分词，它有3种分词方法：

1. 精确模式, 试图将句子最精确地切开，适合文本分析：

2. 全模式，把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义；

3. 搜索引擎模式，在精确模式的基础上，对长词再词切分，提高召回率，适合用于搜索引擎分词。

我们用个小例子演示下

...]]></description><category></category></item><item><title><![CDATA[Python学习，多进程了解一下！学爬虫不会用多进程能行吗？]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/81330146</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/81330146</guid><author>programmer_yf</author><pubDate>Wed, 01 Aug 2018 14:31:36 +0800</pubDate><description><![CDATA[
  python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing，只需要定义一个函数，Python会完成其他所有事情。借助这个包，可以轻松完成从单进程到 并发执行的转换


本来想写多线程的，但是演示效果并不是很好，就改成进程了。



其实多进程没有我们想象的那么难...]]></description><category></category></item><item><title><![CDATA[python简单应用！用爬虫来采集天猫所有优惠券信息，写入本地文件]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/81185747</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/81185747</guid><author>programmer_yf</author><pubDate>Tue, 24 Jul 2018 15:35:17 +0800</pubDate><description><![CDATA[今天给大家分享一个小网站的数据采集，并写到excel里面！





分析网站

目标网站是“小咪购”，这里有天猫所有的含有购物券的商品信息，我们今天就来抓它吧！



随便找一段文字，然后点击右键查看网页源代码，看看是否存在该文字，如果存在，那么这个网页就是静态网站了！很幸运，这个网站居然是静态的。



那就简单了，不需要去分析ajax加载数据或者找json包了，直接获取网页源代码==&amp;gt;...]]></description><category></category></item><item><title><![CDATA[python有哪些好玩的应用实现，用python爬虫做一个二维码生成器]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/81143034</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/81143034</guid><author>programmer_yf</author><pubDate>Sat, 21 Jul 2018 11:45:41 +0800</pubDate><description><![CDATA[python爬虫不止可以批量下载数据，还可以有很多有趣的应用，之前也发过很多，比如天气预报实时查询、cmd版的实时翻译、快速浏览论坛热门帖等等，这些都可以算是爬虫的另一个应用方向！

今天给大家分享一个二维码生成器的爬虫版本实现！



爬虫思路

网上有很多的二维码自动生成的网页，它可以将文本、名片、wifi分享等等都以二维码的形式生成，只需要用带有识别二维码的app就可以识别，比如手机浏览器一...]]></description><category></category></item><item><title><![CDATA[Python老司机手把手带你写爬虫，整站下载妹子图，一次爽个够！]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/81043412</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/81043412</guid><author>programmer_yf</author><pubDate>Sat, 14 Jul 2018 14:32:27 +0800</pubDate><description><![CDATA[其实很多编程语言都可以做爬虫，例如java、c#、php等等甚至excel都可以抓网页的图表，那么为什么我们要用Python呢？它简单、便捷，而且有好多库可以选择，可以说python是写爬虫的首选了！

今天就来带大家写一个简单而又完整的爬虫，我们来抓取整站的图片的，并且保存到电脑上！





准备工作

工具：Python3.6、pycharm

库：requests、re、time、rand...]]></description><category></category></item><item><title><![CDATA[Python学习，给自己的代码做个合集，定制自己的桌面软件！]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/80992834</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/80992834</guid><author>programmer_yf</author><pubDate>Tue, 10 Jul 2018 22:04:39 +0800</pubDate><description><![CDATA[

在学习Python的过程中，经常会写很多的练手的脚本，那么有没有想过，写到一起呢？当然了，方法有很多，比如写到web网页中，做各种跳转、写到微信中，各种回复关键字调用，还有今天和大家分享的GUI图形用户界面！



构建基本框架

Python中有标准库tkinter，不需要安装即可使用！可以用来写简单的GUI程序，只需要短短几行代码就可以了，比如下面这个：



具体教程大家可以去自行搜索，...]]></description><category></category></item><item><title><![CDATA[用python抓取“3d”彩票数据，怎么分析你说了算！]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/80923468</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/80923468</guid><author>programmer_yf</author><pubDate>Thu, 05 Jul 2018 10:47:21 +0800</pubDate><description><![CDATA[快下班了，正好准备去买彩票，就顺手写了2个脚本，一个用来下载最近的彩票数据，一个用来统计彩票数字，分享给大家！





彩票数据获取并写入excel表格

数据来源自己看吧~用外链通不过。。。

所用库：xlwt，requests，lxml

有几点需要注意的：

1、构建列表。因为存入excel文件的时候用的是列表，所以新建一个函数，分别取网页5个数据：时间、期数、开奖数123，然后每一页嵌套...]]></description><category></category></item><item><title><![CDATA[怎么让你的代码更Pythonic?光有技巧可不行，你还需要看这些……]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/80884092</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/80884092</guid><author>programmer_yf</author><pubDate>Mon, 02 Jul 2018 14:41:21 +0800</pubDate><description><![CDATA[写代码如同写文章，好的文章是反复修改出来的，代码也同样是反复的重构出来的。今天给大家分享下，怎么从一个编程学习者变为一个程序猿（程序媛）！起码不要让别人一看你的代码就知道你是个小菜鸟！



我们通常写一个代码，必然会经过一个简单-难-简洁的过程，那么在重构的过程中需要注意哪些呢？

1、&amp;nbsp;代码可以正常运行

首先必然要保证，代码可以正常运行！

不论你是直接按逻辑写下来还是函数式编程，...]]></description><category></category></item><item><title><![CDATA[Python学习汇总，做数据采集的一些小技巧，干货满满]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/80867829</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/80867829</guid><author>programmer_yf</author><pubDate>Sat, 30 Jun 2018 16:39:20 +0800</pubDate><description><![CDATA[

学习Python也有一段时间了，在学习过程中不断的练习学到的各类知识，做的最多的还是爬虫，也就是简单的数据采集，有采集图片（这个最多了。。。），有下载电影的，也有学习相关的比如ppt模板的抓取，当然也写过类似收发邮件，自动登录论坛发帖，验证码相关操作等等！

这些脚本有一个共性，都是和web相关的，总要用到获取链接的一些方法，在此总结一下，也分享给正在学习的小伙伴



安装相关

pytho...]]></description><category></category></item><item><title><![CDATA[Python学习，还在用正则或者bs4做爬虫吗？来试试css选择器吧]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/80830922</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/80830922</guid><author>programmer_yf</author><pubDate>Wed, 27 Jun 2018 16:13:51 +0800</pubDate><description><![CDATA[之前写的一些爬虫都是用的正则、bs4、xpath做为解析库来实现，如果你对web有所涉及，并且比较喜欢css选择器，那么就有一个更适合的解析库—— PyQuery。我们就用一个非常简单的小例子来看看css选择器做爬虫是怎么样的！



安装

直接pip安装即可：pip install pyquery

安装完成后，运行 pip show pyquery，如果出现相关信息即为安装完成！

如果pi...]]></description><category></category></item><item><title><![CDATA[Python爬虫，用第三方库解决下载网页中文本的问题]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/80810633</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/80810633</guid><author>programmer_yf</author><pubDate>Tue, 26 Jun 2018 09:39:25 +0800</pubDate><description><![CDATA[

还在辛辛苦苦的查找网页规律，写正则或者其他方式去匹配文本内容吗？还在纠结怎么去除小说网站的其他字符吗？

先来看看下面2张图，都是某小说网站的小说内容





怎么样，是不是很简洁！这就是今天给大家介绍的库，newspaper库！



newspaper

python3.x安装: pip install newspaper3k

python2.7安装: pip install news...]]></description><category></category></item><item><title><![CDATA[神奇的Python,一行代码能做哪些炫酷的事情？]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/80786695</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/80786695</guid><author>programmer_yf</author><pubDate>Sat, 23 Jun 2018 20:23:04 +0800</pubDate><description><![CDATA[ 
可能大家在网上已经看过类似的python单行代码可以实现的功能,比如：

九九乘法表：

print(’ ‘.join([’ ‘.join([‘%s*%s=%-2s’%(y,x,x*y)for y in range(1,x+1)]) for x in range(1,10)]))



或者输出前100项斐波那契数列的值：

print([x[0] for x in [ (a[i][0], a...]]></description><category></category></item><item><title><![CDATA[Python学习，这些高阶函数和高级特性值得一学!]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/80748717</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/80748717</guid><author>programmer_yf</author><pubDate>Wed, 20 Jun 2018 17:07:27 +0800</pubDate><description><![CDATA[Python语言这么火，不论是对于刚开始学习的编程小白或者有接触过其他语言（c/c++/java等等）的同学来说，写代码的时候难免会受本身惯性思维或者其他语言的影响！解决问题的思路有的时候会比较单一，其实Python有很多灵活的解法，比如python的几个高阶函数或者特性！

推导式


列表推导式，使用一句表达式构造一个新列表，可包含过滤、转换等操作。


语法：[exp for item in...]]></description><category></category></item><item><title><![CDATA[Python爬虫基础学习，从一个小案例来学习xpath匹配方法]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/80733080</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/80733080</guid><author>programmer_yf</author><pubDate>Tue, 19 Jun 2018 14:06:28 +0800</pubDate><description><![CDATA[学习目的是为了实践，而实践又可以加深我们的学习效率，今天给大家带来了lxml库的xpath匹配方法的实例！教程大家网上搜索有很多，我们只看实用功能，当然，如果您已经很熟练了，可以跳过不看的！





开始前准备

版本：python3.6

工具：pycharm、lxml库（pip安装即可）

内容：新浪新闻搜索关键字抓取相关信息并保存本地txt文档



思路

我们先打开网页url，看下它的...]]></description><category></category></item><item><title><![CDATA[python爬虫零基础入门——反爬的简单说明]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/80709382</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/80709382</guid><author>programmer_yf</author><pubDate>Fri, 15 Jun 2018 20:08:08 +0800</pubDate><description><![CDATA[之前在《如何开始写你的第一个python脚本——简单爬虫入门！》中给大家分享了一下写一个爬虫脚本的基本步骤，今天继续分享给大家在初期遇到的一个很烦人的问题——反爬及处理办法！

我们的工具及库为：python3.6、pycharm、requests库

基本步骤：获取网页源代码——匹配需要的内容——提取并保存。 
在这中间经常遇到这么几类问题：


脚本中获取的网页源代码和网页右键查看的源代码不同...]]></description><category></category></item><item><title><![CDATA[如何开始写你的第一个python脚本——简单爬虫入门！]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/80697290</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/80697290</guid><author>programmer_yf</author><pubDate>Thu, 14 Jun 2018 19:26:38 +0800</pubDate><description><![CDATA[好多朋友在入门python的时候都是以爬虫入手，而网络爬虫是近几年比较流行的概念，特别是在大数据分析热门起来以后，学习网络爬虫的人越来越多，哦对，现在叫数据挖掘了！



其实，一般的爬虫具有2个功能：取数据和存数据！好像说了句废话。。。

而从这2个功能拓展，需要的知识就很多了：请求数据、反爬处理、页面解析、内容匹配、绕过验证码、保持登录以及数据库等等相关知识，今天我们就来说说做一个简单的爬虫，...]]></description><category></category></item><item><title><![CDATA[欢迎使用优快云-markdown编辑器Python爬虫初接触，学会爬虫不抓美女图片干啥！]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/80681464</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/80681464</guid><author>programmer_yf</author><pubDate>Wed, 13 Jun 2018 16:50:46 +0800</pubDate><description><![CDATA[学习编程语言是很枯燥的，尤其是对一个编程零基础的人来说，更为枯燥！所以我们要从枯燥的学习中找点乐趣和动力！比如，抓点小姐姐的图片



我们的目标选择唯一图库，url自己去找【人工呲牙笑】

这个网站没有反爬，特别好爬，打开主页后，找到美女图片分类



上面分类没有这个分类，自己想办法进入哦。。。

然后往下拉，就会发现N多的图集，我们先去找找翻页，记得先打开F12开发者工具，然后选择翻页，查看...]]></description><category></category></item><item><title><![CDATA[为什么说python入门很简单，但是在你这很难？]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/80668078</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/80668078</guid><author>programmer_yf</author><pubDate>Tue, 12 Jun 2018 17:05:17 +0800</pubDate><description><![CDATA[许许多多的朋友在学习python的时候都会有这样的经历：

你辛辛苦苦，埋头苦学了好久基础知识，甚至书都被翻烂了，但是跟着别人的视频或者文章写一个代码，一运行，一堆一堆的error！于是你又要吭哧吭哧的重新排查



这个知识点我会，为啥会报错？



这个知识点我会，为啥写错了？



这里的结果为啥和我想的不一样！



大家都说python入门并不难，那么“你”和“大家”的区别在哪？就4个字...]]></description><category></category></item><item><title><![CDATA[世界杯快到了，看我用Python爬虫实现（伪）球迷速成！]]></title><link>https://blog.youkuaiyun.com/programmer_yf/article/details/80640976</link><guid>https://blog.youkuaiyun.com/programmer_yf/article/details/80640976</guid><author>programmer_yf</author><pubDate>Sun, 10 Jun 2018 14:24:43 +0800</pubDate><description><![CDATA[

还有4天就世界杯了，作为一个资深（伪）球迷，必须要实时关注世界杯相关新闻，了解各个球队动态，这样才能在一堆球迷中如（大）鱼（吹）得（特）水（吹），迎接大家仰慕的目光!

给大家分享一个快速了解相关信息的办法：刷论坛！我们来一起做个虎扑论坛的爬虫吧！



抓包获取虎扑论坛相关帖子内容，逐条显示！

先来观察下网页，打开论坛首页，选择国际足球



然后往下拉，找到世界杯相关内容



这里就是...]]></description><category></category></item></channel></rss>