<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qq_45112156的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_45112156</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_45112156]]></copyright><item><title><![CDATA[第7章Hadoop的数据仓库框架-Hive]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/120603431</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/120603431</guid><author>qq_45112156</author><pubDate>Mon, 04 Oct 2021 22:53:00 +0800</pubDate><description><![CDATA[在Facebook Jeff团队所构建的信息平台中，最庞大的组成部分是Apache Hive。Hive是一个构建在Hadoop上的数据仓库框架，是应Facebook每天产生的海量网络数据进行管理和机器学习的需求而产生和发展的。

7.1Hive的配置与安装

    Hive有3种Metastore的配置方式，分别是内嵌模式、本地模式和远程模式。这里我们以本地模式为例，介绍Hive的配置与安装，首先，本地模式需要Mysql作为Hive Metastore的存储数据库，因此在安装Hiv...]]></description><category></category></item><item><title><![CDATA[Python数据分析9-综合案例-网站日志分析]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/120595131</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/120595131</guid><author>qq_45112156</author><pubDate>Sun, 03 Oct 2021 17:17:01 +0800</pubDate><description><![CDATA[目录

9.1数据来源

9.1.1网站日志解析

9.1.2日志数据清洗

9.2日志数据分析

9.2.1网站流量分析

9.2.2状态码分析

9.2.3IP地址分析


网站的日志数据记录了所有Web对服务器的访问活动。本章主要讲解如何通过Python第三方库解析网站日志；如何利用pandas对网站日志数据进行预处理，并结合前面章节中的数据分析和数据可视化计数，对网站日志数据进行分析。

9.1数据来源

9.1.1网站日志解析



注：该数据集可以从从网上资源下...]]></description><category></category></item><item><title><![CDATA[Python数据分析8-时间序列]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/120572775</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/120572775</guid><author>qq_45112156</author><pubDate>Sat, 02 Oct 2021 20:49:29 +0800</pubDate><description><![CDATA[1
]]></description><category></category></item><item><title><![CDATA[第6章Hadoop分布式离线计算框架-MapReduce]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/120437272</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/120437272</guid><author>qq_45112156</author><pubDate>Thu, 30 Sep 2021 15:07:31 +0800</pubDate><description><![CDATA[Hadoop中有两个重要的组件，一个是HDFS，另一个是MapReduce，HDFS用来存储大批量得数据，而MapReduce则是通过计算来发现数据中有价值得内容。

5.1MapReduce概述

    hadoop作为开源组织下最重要得项目之一，最推出后得到了全球学术界和工业界的广泛关注、推广和普及。它是开源项目Lucene（搜索索引程序库）和Nutch（搜索引擎）的创始人Doug Cutting于2004年推出的，当时Doug Cutting 发现MapReduce正是其所需...]]></description><category></category></item><item><title><![CDATA[Python数据分析7-seaborn可视化]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/120482827</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/120482827</guid><author>qq_45112156</author><pubDate>Thu, 30 Sep 2021 15:02:37 +0800</pubDate><description><![CDATA[seaborn其实是在matplotlib的基础上进行了更高级的API封装，从而使得绘图更容易、更美观。本章首先讲解如何使用seaborn样式和分布图，并介绍如何使用seaborn绘制分类如；然后介绍回归图的绘制和网格计数。

7.1样式与分布图
...]]></description><category></category></item><item><title><![CDATA[Python数据分析6-matplotlib可视化]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/120462469</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/120462469</guid><author>qq_45112156</author><pubDate>Sat, 25 Sep 2021 13:06:16 +0800</pubDate><description><![CDATA[数据可视化时数据分析中的一部分，可用于数据的探索和查找缺失值等，也是展现数据的重要手段。matplotlib是一个强大的工具箱，其完整的图标样式函数和个性化的自定义设置，可以满足几乎所有的2D和一些3D绘图的需求。本章节介绍了如何利用matplotlib绘制常用数据图表，如线形图、柱状图、散点图和直方图；还介绍了如何使用matplotlib的自定义设置绘制个性化图表；最后使用全球星巴克店铺的数据进行数据分析和可视化。

    6.1线形图

    线形图是最基本的图标类型...]]></description><category></category></item><item><title><![CDATA[第5章Hadoop的集群资源管理系统-YARN]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/120449230</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/120449230</guid><author>qq_45112156</author><pubDate>Fri, 24 Sep 2021 11:47:44 +0800</pubDate><description><![CDATA[目录

5.1为什么要使用YARN

5.2YARN的基本架构

5.2.1ResourceManager进程

5.2.2ApplicationMaster和NodeManager

5.3YARN工作流程

5.4YARN搭建

   （1）编辑mapered-site.xml配置文件

   （2）编辑yarn-site.xml

   （3）编辑yarn-yarn-env.sh

   （4）检查slaves文件

   （5）配置若没有问题则可以启...]]></description><category></category></item><item><title><![CDATA[Python数据分析5-数据分组与聚合]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/120393597</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/120393597</guid><author>qq_45112156</author><pubDate>Wed, 22 Sep 2021 23:33:27 +0800</pubDate><description><![CDATA[数据的分组统计是数据分析工作中的重要环节。本节将讲解GroupBy的原理和使用方法；聚合函数的使用；富足运算中transform和apply方法的使用 ；通过pandas创建数据透视表的方法；最后通过一个综合示例。巩固数据分析统计的使用。

5.1数据分组

5.1.1GroupBy简介

    GroupBy技术用于数据分组运算，类似于Excel的分类汇总（对于不同分类进行运算），其运算的核心模式为split-apply-combine，如下图所示，首先，数据及按照key（分组键...]]></description><category></category></item><item><title><![CDATA[第4章Hadoop的分布式协调服务-ZooKeeper]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/120383440</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/120383440</guid><author>qq_45112156</author><pubDate>Mon, 20 Sep 2021 11:39:00 +0800</pubDate><description><![CDATA[ZooKeeper在分布式应用中提供了诸如统一命名服务、配置管理和分布式锁的基础，成为高效、稳健的分布式协调服务。另外，在分布式数据一致的情况下，ZooKeeper采用一种被称为ZAB（ZooKeeper Automic Broadcast）的一致性协议。

4.1 ZooKeeper的核心概念

    在分布式系统构建的集群中，每台机器都有自己的角色定位。其中最经典的是Master/Slave模式，在这种模式中，所有写操作的机器都可以称为Master机器；所有通过异步复制方式获取...]]></description><category></category></item><item><title><![CDATA[Python数据分析4-数据清洗与整理]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/120373094</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/120373094</guid><author>qq_45112156</author><pubDate>Sun, 19 Sep 2021 15:18:02 +0800</pubDate><description><![CDATA[有效的数据是进行数据分析的依据，因此在数据分析中，数据的处理往往需要花费70%的时间，可见数据处理的重要性。本章将讲解在pandas中如何进行多数据清洗和处理并介绍针对多元数据的合并和链接，以及数据的重塑等内容。

4.1数据清洗

    现实中通过各种方式收集到的数据都是“肮脏”的。本节将着重讲解数据清洗的工作，如缺失值的处理，重复数据的处理以及如何替代值等具体操作。

4.1.1处理缺失值

    有时由于设备原因（设备故障或无法存入数据等）或人为原因（没有录入或故意...]]></description><category></category></item><item><title><![CDATA[Python爬虫11-Scrapy爬虫框架]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/120054858</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/120054858</guid><author>qq_45112156</author><pubDate>Sat, 18 Sep 2021 19:43:31 +0800</pubDate><description><![CDATA[前面章节着重介绍了但脚本的爬虫代码编写，从数据请求到数据解析和提取，都需要我们进行编写程序。本节所介绍的Scrapy爬虫框架，集数据字段定义、网络请求和解析、数据获取和处理等为一体，极大的方便了爬虫的编写过程。Scrapy是一个为了爬取网站信息，提取结构性数据而编写的应用爬虫框架。

11.1scarapy的安装和使用

11.1.1scrapy的安装

    由于Scrapy爬虫框架依赖许多第三方库，所以在安装scrapy之前，需要确保以下第三方库均以安装。

   1....]]></description><category></category></item><item><title><![CDATA[第16章Stata面板数据分析]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/119535021</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/119535021</guid><author>qq_45112156</author><pubDate>Fri, 17 Sep 2021 10:47:56 +0800</pubDate><description><![CDATA[面板数据（Panel Data）又被称为平行数据，指的是对某变量在一定时间内持续跟踪观测的结果。面板数据间距了横截面数据和时间序列数据的特点，即有横截面维度（在同一时间段内有多个观测样本），又有时间序列维度（同一样本在多个时间段内被观测到）。面板数据通常样本数量相对较多，也可以有效解决遗漏变量的问题，还可以提供更多样本动态行为的信息，具有横截面数据和时间序列数据无可比拟的优势。根据横截面为度和时间序列维度相对长度的大小，面板数据被区分为长面板数据和短面板数据。

16.1短面...]]></description><category></category></item><item><title><![CDATA[第15章Stata时间序列分析]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/119250943</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/119250943</guid><author>qq_45112156</author><pubDate>Fri, 17 Sep 2021 10:47:08 +0800</pubDate><description><![CDATA[reg


regress m s g t #本命令的含义是不考虑数据的时间序列性质，直接以城乡人口净转移量为因变量，其他变量为自变量进行简单线性回归




]]></description><category></category></item><item><title><![CDATA[Python数据分析3-外部数据的读取于存储]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/120324831</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/120324831</guid><author>qq_45112156</author><pubDate>Fri, 17 Sep 2021 10:37:43 +0800</pubDate><description><![CDATA[对于数据分析而言，数据大部分来源于外部数据，如常用的CSV文件、Excel文件和数据库文件等。本章讲解如何李彤pandas库将外部数据转换为DataFrame数据格式，再通过Python进行处理，将DataFrame数据存储到相应的外部数据文件中。

3.1文本数据的读取于存储

3.1.1CSV文件的读取

    pandas库提供了将表格型数据读取为DataFrame数据结构的函数。在现实应用中，常用的有read_csv和read_table函数，具体差异如下表：

字符
		...]]></description><category></category></item><item><title><![CDATA[第14章Stata因变量受限回归分析]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/119210928</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/119210928</guid><author>qq_45112156</author><pubDate>Thu, 16 Sep 2021 09:10:14 +0800</pubDate><description><![CDATA[目录

14.1断尾回归分析

案例延伸

使用稳健标准差进行断尾回归分析

14.2截取回归分析

案例延伸

1.使用稳健标准差进行截取回归分析

2.设置下限进行截取回归分析

3.同时设置上限和下线进行截取回归分析

前面我们讲述的回归分析方法，都要求因变量或连续或离散，但是很多时候因变量观测样本数据会受到各种各种的限制，只能观测到满足一定条件的样本。例如，我们再统计某地区游客容量时可能仅仅能够统计到知名景点，或者说游客数大于某一特定值的景点游客量，又例如再统计工...]]></description><category></category></item><item><title><![CDATA[第13章Stata Logistic回归分析]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/118852905</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/118852905</guid><author>qq_45112156</author><pubDate>Thu, 16 Sep 2021 09:09:59 +0800</pubDate><description><![CDATA[前面我们讲述得回归分析方法都要求因变量是连续变量，但很多情况下因变量是离散得而非连续得。例如，公司招聘人才时根据对应聘人员得特征做出录用或者不录用得评价、毕业学生对职业得选择等。这时就需要用到Logistic回归分析。根据因变量得离散特征：常用得Logistic回归分析方法有3终，包括二元Logistic回归分析、多元Logistic回归分析以及有序Logistic回归分析等。

13.1二元Logistic回归分析

    我们经常会遇到因变量只有两种取值的情况，例如是否患病、是...]]></description><category></category></item><item><title><![CDATA[第12章 Stata非线性回归分析]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/118801913</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/118801913</guid><author>qq_45112156</author><pubDate>Thu, 16 Sep 2021 09:09:43 +0800</pubDate><description><![CDATA[前面讲述的回归分析方法都属于线性回归的范畴，即因变量和自变量之间存在线性关系。在很多情况下，线性模型都是对真实情况的一种合理又简单的近似。如果遇到回归参数不是现行的，也不能通过转换的方法将其转换为线性的参数，这时候就需要用到本章将要讲述的非线性回归分析。常用的非线性分析方法由3终，包括非参数回归分析、转换变量回归分析以及非线性回归分析。

12.1非参数回归分析

    非参数回归分析与前面讲述的回归方式区别很大，是一种探索性工具，通常不会像其他回归方法一样形成一个明确的回归方程，...]]></description><category></category></item><item><title><![CDATA[第11章Stata回归诊断与应对]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/118523102</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/118523102</guid><author>qq_45112156</author><pubDate>Thu, 16 Sep 2021 09:09:13 +0800</pubDate><description><![CDATA[在上以讲中，简要介绍了最小二乘线性回归，这种方法可以满足大部分的研究需要。但是这种分析方法的有效性建立在变量无异方差、无自相关、无多重线共线性的基础之上。显示生活中很多数据是不满足这些条件的
...]]></description><category></category></item><item><title><![CDATA[第10章 最小二乘线性回归分析]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/118435928</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/118435928</guid><author>qq_45112156</author><pubDate>Thu, 16 Sep 2021 09:08:28 +0800</pubDate><description><![CDATA[回归分析是经典的数据分析方法之一，应用广泛。它是研究分析某一变量受到其他变量影响的分析方法，基本思想是以被影响变量为因变量，以影响变量为自变量，研究因变量与自变量之间的因果关系。本章主要介绍最简单最常用的最小二乘线性回归分析方法（包括简单线性回归、多重线性回归）的应用。

10.1简单线性回归分析

    简单线性回归又称一元线性回归分析，是最简单也是最基本的一种回归分析方法。简单线性回归的特色是只涉及一个自变量，主要用来处理一个因变量一个自变量之间的线性关系，建立变量之间的线性模...]]></description><category></category></item><item><title><![CDATA[第9章 Stata聚类分析]]></title><link>https://blog.youkuaiyun.com/qq_45112156/article/details/118389163</link><guid>https://blog.youkuaiyun.com/qq_45112156/article/details/118389163</guid><author>qq_45112156</author><pubDate>Thu, 16 Sep 2021 09:07:43 +0800</pubDate><description><![CDATA[聚类分析（Cluster Analysis）是研究事物分类的基本方法，基于我们所研究的指标或数据之间存在着不同程度的相似性或者相异性。聚类分析采用定量数学方法，根据样品或指标的数值特征对样品进行分类，从而辨别出各样品之间的亲疏关系。聚类分析是一种使用简单但是很常用的分析方法，往往被用来经验性类型的探索，而不是用来检验实现所定的假设，聚类分析分成两个宽泛的类别，包括划分聚类分析和层次聚类分析。

9.1划分聚类分析

    划聚类分析的基本思想是将观测到的样本划分到一系列事先设定好的...]]></description><category></category></item></channel></rss>