<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qq_42370313的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_42370313</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_42370313]]></copyright><item><title><![CDATA[学Python爬虫，我推荐《python3网络爬虫开发实战(第二版)》]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/122224676</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/122224676</guid><author>qq_42370313</author><pubDate>Wed, 29 Dec 2021 21:04:31 +0800</pubDate><description><![CDATA[对于崔大的这本《python3网络爬虫开发实战(第二版)》，其实还得从大一下学期的时候参加老师的课题说起，当时老师的课题需要采集一些旅游网站的评论数据，对于当时的我一筹莫展。然后通过请教老师和查询资料了解到爬虫这个东西，当时刚好课程在学习Python，然后碰巧中用度娘以及知乎这些工具搜索发现了python网络爬虫开发，对于当时基础很差的我，然后就考虑买一本厚一点的基础的爬虫书籍，然后结合豆瓣知乎的评价就冲了《python3网络爬虫开发实战(第一版)》，然后因此也和爬虫结下了不解之缘。后续学习过程中发现第一版]]></description><category></category></item><item><title><![CDATA[python实现API的调用]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/121869032</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/121869032</guid><author>qq_42370313</author><pubDate>Sat, 11 Dec 2021 10:06:33 +0800</pubDate><description><![CDATA[python实现API的调用以及数据接口的调用，常用的一些API参考示例。]]></description><category></category></item><item><title><![CDATA[python实现文本翻译]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/103235450</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/103235450</guid><author>qq_42370313</author><pubDate>Mon, 25 Nov 2019 12:02:50 +0800</pubDate><description><![CDATA[在很多数据处理的时候，我们可能会面临一个问题-多语言的文本数据，比如我最近做的一个评论数据分析，我们发现这个数据有多种语言形式，这个时候我们需要对它进行统一化，方面后面的进行，不然可能会面临多语言分情况分析（比如做情感分析的时候，语言不同，它所使用的模型也不同），所以这篇博客也是为了那个问题解决所介绍的。
下面我主要介绍几种方法：
1.translate

...]]></description><category></category></item><item><title><![CDATA[scrapy爬取360美食图片]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/102991270</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/102991270</guid><author>qq_42370313</author><pubDate>Sat, 09 Nov 2019 22:03:26 +0800</pubDate><description><![CDATA[基本介绍
上面有篇博客专门对scrapy入门爬取进行了一个简单介绍，而且实现了对新闻网站数据的爬取，这次我们将要爬取360上面的美食图片。我们将图片相关的信息保存在MYSQL和MongDB数据库中，首先我们需要安装好MYSQL和MongDB数据库,安装这一块大家可以参考网上的安装教程。
需求分析
首先我们需要了解我们爬取的目标网站：https://image.so.com/z?ch=food，打开...]]></description><category></category></item><item><title><![CDATA[pyecharts绘图]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/102985770</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/102985770</guid><author>qq_42370313</author><pubDate>Sat, 09 Nov 2019 15:28:21 +0800</pubDate><description><![CDATA[基本介绍
pyecharts是一个基于百度开发的echarts的一个第三方库，它绘制的图像功能更强大。交互性比较强，在用作展示等方面是一个值得使用的第三方库。在了解这个第三方库之前我们了解一下Echarts.

ECharts是一个免费的、功能强大的、可视化的一个库。它可以非常简单的往软件产品中添加直观的、动态的和高度可定制化的图表。它是一个全新的基于zrender的用纯JavaScript打造完...]]></description><category></category></item><item><title><![CDATA[seaborn绘图包的使用]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/102778453</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/102778453</guid><author>qq_42370313</author><pubDate>Mon, 28 Oct 2019 12:19:57 +0800</pubDate><description><![CDATA[Seaborn概述
Seaborn是基于matplotlib的Python数据可视化库，并与pandas数据结构紧密集成。它提供了一个高级界面，用于绘制引人入胜且内容丰富的统计图形。它相对matplotlib用起来很简单，只需要简单几行代码就能绘制出比较好的图。
seaborn提供的一些功能

面向数据集的API，用于检查多个变量之间的关系
专门支持使用分类变量显示观察结果或汇总统计信息
可视化单...]]></description><category></category></item><item><title><![CDATA[scrapy框架入门]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/102723161</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/102723161</guid><author>qq_42370313</author><pubDate>Thu, 24 Oct 2019 19:16:38 +0800</pubDate><description><![CDATA[scrapy框架
Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。
框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。
Scrapy 使用了 Twisted’twɪstɪd异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各...]]></description><category></category></item><item><title><![CDATA[pandas 入门学习]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/102665536</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/102665536</guid><author>qq_42370313</author><pubDate>Mon, 21 Oct 2019 17:03:29 +0800</pubDate><description><![CDATA[概述
pandas作为python的第三方库，它所包含的数据结构和数据处理工具的设计使其在python中进行数据清洗和分析非常快捷，pandas经常是和其他数值计算工具，Numpy和Scipy,以及数据可视化工具比如matplotlib一起使用的。pandas支持大部分Numpy语言风格的数组计算。
pandas的 常用的工具数据结构：Series和DataFrame,这两种数据结构为大多数提供了...]]></description><category></category></item><item><title><![CDATA[数据存储]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/102130715</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/102130715</guid><author>qq_42370313</author><pubDate>Tue, 08 Oct 2019 11:11:56 +0800</pubDate><description><![CDATA[我们对网页进行请求后，然后利用解析器解析出数据，而做数据采集中很重要的一步就是数据存储，如何将爬取的数据保存下来，以及有哪几种途径，我这里大致的介绍一下。我们一般主要有四种，TXT文件，JSON文件，CSV文件以及数据库存储。
文章目录TXT文件存储具体实例
TXT文件存储
将数据保存到TXT文本的操作非常简单，而且TXT文本几乎兼容任何平台，但是这有个缺点，那就是不利于检索。所以如果对检索和数据...]]></description><category></category></item><item><title><![CDATA[爬虫系列-解析库]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/101343770</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/101343770</guid><author>qq_42370313</author><pubDate>Wed, 25 Sep 2019 09:41:44 +0800</pubDate><description><![CDATA[概述
在前面的实例中，我们采用正则表达式来提取相关的信息，但正则表达式过于复杂，容易写错，一旦写错就可能匹配不到我们想要的东西。所以这次博客我将介绍另一种提取信息的方法-解析库。
对于网页的节点来说，它可以定义id、class或其他属性。而且节点之间还有层次关系，在网页中可以通过XPath或CSS选择器来定位一个或多个节点。那么，在页面解析时，利用XPath或CSS选择器来提取某个节点，然后再调用...]]></description><category></category></item><item><title><![CDATA[正则表达式-简单爬虫的实例]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/101283345</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/101283345</guid><author>qq_42370313</author><pubDate>Tue, 24 Sep 2019 15:18:18 +0800</pubDate><description><![CDATA[前面几篇博客主要介绍的是对于爬虫所需要的库以及相关知识点的介绍，这篇博客就是让我们练习一下真正的爬虫该怎么写。下面我主要讲两个实例，一个是b站新番的信息爬取，另一个是猫眼电影TOP100的相关信息爬取。
b站新番排行榜的爬取
首先我们需要request和re模块，我采用函数结构话来写爬虫，你们可以看看，首先我们找到我们需要爬取的详情页b站新番排行榜。

我们需要爬取得信息有上面的新番排名，动漫名称...]]></description><category></category></item><item><title><![CDATA[爬虫系列-正则表达式]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/101148841</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/101148841</guid><author>qq_42370313</author><pubDate>Mon, 23 Sep 2019 16:49:33 +0800</pubDate><description><![CDATA[我们常常总是说在处理字符串一类数据的时候，总会提到一个正则表达式，但每次别人提到是又爱又恨的感受，它虽然是一个万能的办法，但是它相比其他几个，麻烦很多，一般都不会用它，但它一般都是我们最后的杀手锏，我们在写爬虫的时候也少不它。
工具介绍
首先提供一个在线测试正则表达式的网站，点开这个链接你就可以进去看，然后最近设计一个匹配的文本，然后就可以得出合理的结果。比如：

这个网站对于刚学习的小白是很有用...]]></description><category></category></item><item><title><![CDATA[python 神奇的第三方库 -Faker]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/101100411</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/101100411</guid><author>qq_42370313</author><pubDate>Sat, 21 Sep 2019 12:00:18 +0800</pubDate><description><![CDATA[在做数据处理和数据分析的时候，我们总是少不了测试数据，比如你想对设一个合理的数据清洗方案，但有的时候事先能够找一些样例做测试，但大多数的情况是我们自己构建一个测试数据。但对于我这个选择困难症的人，每次想名字或者定一些其他东西都是很纠结，前段时间在一篇微信推文上看到这个库，我觉得对我来说，受益匪浅。
Faker这个库简单来说，就是造假，具体怎么造假，我这篇博客会详细的介绍。
基本用法
安装
这个和其...]]></description><category></category></item><item><title><![CDATA[爬虫系列-request基本库的使用]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/100970374</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/100970374</guid><author>qq_42370313</author><pubDate>Thu, 19 Sep 2019 16:46:53 +0800</pubDate><description><![CDATA[上一篇博客中，我们了解了urllib的基本用法，但是它还是存在很多缺陷，比如处理网页验证和Cookies时，需要写通过类来实例化对象比较麻烦。为了更加方便地实现这些操作，就有了更为强大的库requests，对于它来说Cookies、登录验证、代理设置等操作都容易很多。

...]]></description><category></category></item><item><title><![CDATA[爬虫系列-urllib基本库的使用]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/100904753</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/100904753</guid><author>qq_42370313</author><pubDate>Wed, 18 Sep 2019 07:57:12 +0800</pubDate><description><![CDATA[学习爬虫，最基础便是模拟浏览器向服务器发出请求，请求需要来我们自己来构造？以及如何构造？具体怎么实现？服务器的响应和应答原理是什么样的？
可能我们对这些一无所知，但python提供了功能齐全的类库来帮助我们完成这些请求。常用的HTTP库有urlllib.requests.trep等。
而我们今天主要介绍的就是urllib库，这个库只需要我们传入相应的参数和相应的链接。首先我给出官方文档的链接，所有...]]></description><category></category></item><item><title><![CDATA[Python-matplotlib入门--基础图表的绘制（持续更新中）]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/100892275</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/100892275</guid><author>qq_42370313</author><pubDate>Mon, 16 Sep 2019 20:50:06 +0800</pubDate><description><![CDATA[通过前面几篇博客的大致内容，我们也能大致学会绘制图像，然后在我们做数据分析，统计分析的时候，我们需要用特定的图像来展示特定的数据，从而达到可视化的效果，让结果更加直观，这篇博客我将会详细介绍一下每一种图例。
实例目录：
1、线性图
2、直方图
3、条状图
4、多序列条状图
5、饼状图
6、极坐标图
7、散点图
8、3D曲面
首先需要区分清楚概念：直方图和条形图。
条形图：条形图用长条形表示每一个类...]]></description><category></category></item><item><title><![CDATA[python基于Matplotlib模块的绘图2]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/100883993</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/100883993</guid><author>qq_42370313</author><pubDate>Mon, 16 Sep 2019 16:14:51 +0800</pubDate><description><![CDATA[上一篇博客简单介绍了一些如何进行绘图，和如何设置各种图形格式，这篇博客主要讲解一下一些细节部分以及具体的实例操作。
实例1
有时我们需要绘制一个图形，需要指定它的大小并且将其输出保存下来，这个时候我们需要用到plt.figure函数和plt.savefig()函数，这两个函数前一个是生成一个指定大小的figure，单位是英寸，如果我们不生成，后面也会自动创建。plt.savefig()函数则是保存...]]></description><category></category></item><item><title><![CDATA[python基于Matplotlib模块的绘图1]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/100846877</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/100846877</guid><author>qq_42370313</author><pubDate>Sun, 15 Sep 2019 16:22:53 +0800</pubDate><description><![CDATA[Matplotlib模块
Matplotlib模块是python中绘图的第三方库，它模仿MATLAB中绘图，既适合交互式地进行制图，也可以作为绘图控件方便地嵌入GUI应用程序中。其中最主要的Matplotlib的pyplot子库提供了和MATLAB类似的绘图API，方便用户快速绘制2D图表，包括直方图、饼图、散点图等.
在matplotlib.pyplot中，各种状态在函数调用中保留，以便跟踪当前...]]></description><category></category></item><item><title><![CDATA[数据可视化概要]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/100385481</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/100385481</guid><author>qq_42370313</author><pubDate>Mon, 02 Sep 2019 22:02:05 +0800</pubDate><description><![CDATA[数据可视化
数据如何呈现，如何突出它的重要性是我们在做数据挖掘中很重要的一个部分，而数据可视化让数据以可视化形式呈现时，格局、关联和其他会心时刻便浮现出来，让我们可以了解到数据背后的故事。
常用的数据可视化工具
如何制作一个既能准确的描述出数据的特点又能美观的图表，是数据可视化的最核心的内容，而对于数据可视化，我们不能只关注与实现的途径，我们更加关注的是它的结果。数据可视化没有最好的工具，我们的目...]]></description><category></category></item><item><title><![CDATA[numpy科学计算入门]]></title><link>https://blog.youkuaiyun.com/qq_42370313/article/details/90741618</link><guid>https://blog.youkuaiyun.com/qq_42370313/article/details/90741618</guid><author>qq_42370313</author><pubDate>Sun, 02 Jun 2019 18:01:34 +0800</pubDate><description><![CDATA[为什么要用numpy？
NumPy是一个开源的Python科学计算基础库，包含：
• 一个强大的N维数组对象 ndarray • 广播功能函数 • 整合C/C++/Fortran代码的工具 • 线性代数、傅里叶变换、随机数生成等功能
NumPy是SciPy、Pandas等数据处理或科学计算库的基础
在numpy中我们会引入一种数组N维数组对象：ndarray，那么大家肯定在想Python已有列表类...]]></description><category></category></item></channel></rss>