<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[cpz]]></title><description><![CDATA[学习笔记]]></description><link>https://blog.youkuaiyun.com/chipeize</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; chipeize]]></copyright><item><title><![CDATA[Sql 练习50道（掌握可解大部分的sql问题）（11 - 20）]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/101613623</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/101613623</guid><author>chipeize</author><pubDate>Sat, 28 Sep 2019 14:18:50 +0800</pubDate><description><![CDATA[题目（详解 11-20）：


11.查询至少有一门课与学号为“01”的同学所学相同的同学的学号和姓名；
SELECT s.sid,s.sname 
FROM student s,sc 
WHERE s.sid=sc.sid 
AND sc.cid IN (SELECT cid FROM sc WHERE sid=01) 
AND sc.sid&lt;&gt;01
GROUP BY s.sid;
...]]></description><category></category></item><item><title><![CDATA[Sql 练习50道（掌握可解大部分的sql问题）（初始化 and 1-10）]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/101159298</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/101159298</guid><author>chipeize</author><pubDate>Sun, 22 Sep 2019 15:09:00 +0800</pubDate><description><![CDATA[数据库表初始化：


create table Student(sid varchar(10),sname varchar(10),sage datetime,ssex nvarchar(10));
insert into Student values('01' , '赵雷' , '1990-01-01' , '男');
insert into Student values('02' , '钱电'...]]></description><category></category></item><item><title><![CDATA[Hadoop生态圈之Kudu（一）]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100880907</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100880907</guid><author>chipeize</author><pubDate>Mon, 16 Sep 2019 10:56:39 +0800</pubDate><description><![CDATA[Apache Kudu

​    Apache Kudu 是由 Cloudera 开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。它是一个融合 HDFS 和 HBase 的功能的新组件，具备介于两者之间的新存储组件。

​    Kudu 支持水平扩展，并且与 Cloudera Impala 和 Apache Spark 等当前流行的大数据查询和分析工具结合紧密...]]></description><category></category></item><item><title><![CDATA[Hadoop生态圈之Hue（一）]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100880810</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100880810</guid><author>chipeize</author><pubDate>Mon, 16 Sep 2019 10:51:14 +0800</pubDate><description><![CDATA[Apache Hue

​    HUE=Hadoop User Experience

​    Hue 是一个开源的 Apache Hadoop UI 系统，由 Cloudera Desktop 演化而来，最后 Cloudera 公司将其贡献给 Apache 基金会的 Hadoop 社区，它是基于 Python Web 框架 Django 实现的。

​    通过使用...]]></description><category></category></item><item><title><![CDATA[Hadoop生态圈之Oozie（一）]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100880155</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100880155</guid><author>chipeize</author><pubDate>Mon, 16 Sep 2019 10:39:14 +0800</pubDate><description><![CDATA[Apache Oozie

​ Oozie 是一个用来管理 Hadoop 生态圈 job 的工作流调度系统。由 Cloudera 公司贡献给 Apache。 Oozie 是运行于 Java servlet 容器上的一个 java web 应用。 Oozie 的目的是按照 DAG（有向无环图） 调度一系列的 Map/Reduce 或者 Hive 等任务。 Oozie 工作流由 hPDL（Hadoop...]]></description><category></category></item><item><title><![CDATA[Hadoop生态圈之Impala（一）]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100879298</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100879298</guid><author>chipeize</author><pubDate>Mon, 16 Sep 2019 10:34:41 +0800</pubDate><description><![CDATA[Apache Impala

   impala 是 cloudera 提供的一款高效率的 sql 查询工具，提供实时的查询效果

​   impala 是基于 hive 并使用内存进行计算，兼顾数据仓库，具有实时，批处理，多并发等优点。



Impala 与 Hive 关系

​    impala 是基于 hive 的大数据分析查询引擎，直接使用 hive 的元数据...]]></description><category></category></item><item><title><![CDATA[Hadoop生态圈之Azkaban（一）]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100878652</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100878652</guid><author>chipeize</author><pubDate>Mon, 16 Sep 2019 10:20:54 +0800</pubDate><description><![CDATA[Azkaban

1.工作流

​   工作流（Workflow），指“业务过程的部分或整体在计算机应用环境下的自动化”。是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。

​   工作流解决的主要问题是：为了实现某个业务目标，利用计算机软件在多个参与者之间按某种预定规则自动传递文档、信息或者任务。

​   一个完整的数据分析系统通常都是有多个前后依赖的模块组合构...]]></description><category></category></item><item><title><![CDATA[Hadoop生态圈之Sqoop（一）]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100876883</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100876883</guid><author>chipeize</author><pubDate>Mon, 16 Sep 2019 10:07:59 +0800</pubDate><description><![CDATA[Apache Sqoop 介绍

   Apache Sqoop 是在 Hadoop 生态体系和 RDBMS 体系之间传送数据的一种工具

​   Sqoop 工作机制是将导入或导出命令翻译成 mapreduce 程序来实现。在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。


	Hadoop 生态系统包括： HDFS、 H...]]></description><category></category></item><item><title><![CDATA[Hadoop生态圈之Flume（二）]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100375794</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100375794</guid><author>chipeize</author><pubDate>Mon, 02 Sep 2019 20:31:09 +0800</pubDate><description><![CDATA[Flume拦截器实战案例

日志采集和汇总

案例场景

A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log

现在要求：

把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。

但是在hdfs中要求的目录为：

/source/logs/access/20160101/**

...]]></description><category></category></item><item><title><![CDATA[Hive（数据仓库）Hive 调优]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100373976</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100373976</guid><author>chipeize</author><pubDate>Mon, 02 Sep 2019 20:23:36 +0800</pubDate><description><![CDATA[10.hive调优
10.1 Fetch抓取
Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM score;在这种情况下，Hive可以简单地读取score对应的存储目录下的文件，然后输出查询结果到控制台。通过设置hive.fetch.task.conversion参数,可以控制查询语句是否走MapReduce.
案例实操：
1）把hive.fetch....]]></description><category></category></item><item><title><![CDATA[Hive（数据仓库）数据压缩、数据存储格式]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100373460</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100373460</guid><author>chipeize</author><pubDate>Mon, 02 Sep 2019 20:22:55 +0800</pubDate><description><![CDATA[7.hive的数据压缩
在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽
**7.1 **MR支持的压缩编码




压缩格式
工具
算法
文件扩展名
是否可切分




DEFAULT
无
DEFAULT
.deflate
否


Gzip
gzip
...]]></description><category></category></item><item><title><![CDATA[Hive（数据仓库）Hive 的查询语法、shell参数、函数]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100372248</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100372248</guid><author>chipeize</author><pubDate>Mon, 02 Sep 2019 20:21:02 +0800</pubDate><description><![CDATA[4. Hive 查询语法
4.1. SELECT
SELECT [ALL | DISTINCT] select_expr, select_expr, ...
FROM table_reference
[WHERE where_condition]
[GROUP BY col_list [HAVING condition]]
[CLUSTER BY col_list
| [DISTRIBUTE BY...]]></description><category></category></item><item><title><![CDATA[Hive（数据仓库） Hive 的交互方式和基本操作]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100364057</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100364057</guid><author>chipeize</author><pubDate>Mon, 02 Sep 2019 20:16:00 +0800</pubDate><description><![CDATA[1. Hive 的交互方式

第一种交互方式：bin/hive



第二种交互方式：使用 sql 语句或者 sql 脚本进行交互





2. Hive 的基本操作

2.1 数据库操作

创建数据库：


create database if not exists myhive;

创建数据库并指定位置：


create database myhive location '/myhi...]]></description><category></category></item><item><title><![CDATA[Sql 学习笔记（一）]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100148303</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100148303</guid><author>chipeize</author><pubDate>Thu, 29 Aug 2019 23:00:03 +0800</pubDate><description><![CDATA[1. 数据库的创建


create database &lt;数据库名称&gt;;

2. 表的创建


create table &lt;表名&gt;
(&lt;列名1&gt; &lt;数据类型&gt; &lt;该列所需约束&gt;,
 &lt;列名1&gt; &lt;数据类型&gt; &lt;该列所需约束&gt;,
 &lt;列名1&gt; &lt;数据类型&gt; &lt;该列所需约束&g...]]></description><category></category></item><item><title><![CDATA[新模块 Sql 学习笔记声明！！]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100148106</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100148106</guid><author>chipeize</author><pubDate>Thu, 29 Aug 2019 22:24:03 +0800</pubDate><description><![CDATA[声明：

   最近准备开始从头系统地学习一下 Sql 的相关知识，并会在本文中进行汇总。（本人初学，如有错误，欢迎斧正！）



Sql 练习：

Sql 练习50道（掌握可解大部分的sql问题）（初始化 and 1-10）

Sql 练习50道（掌握可解大部分的sql问题）（11 - 20）

Sql：

Sql学习笔记（一）








...]]></description><category></category></item><item><title><![CDATA[Hadoop生态圈之Flume（一）]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100144692</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100144692</guid><author>chipeize</author><pubDate>Thu, 29 Aug 2019 20:19:46 +0800</pubDate><description><![CDATA[1. 概述

   Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。

   Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的...]]></description><category></category></item><item><title><![CDATA[Hive（数据仓库） Hive 的安装]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100085515</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100085515</guid><author>chipeize</author><pubDate>Mon, 26 Aug 2019 20:44:48 +0800</pubDate><description><![CDATA[Hive 的安装

这里我们选用hive的版本是2.1.1下载地址为：http://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz

下载之后，将我们的安装包上传到第三台机器的/export/softwares目录下面去

第一步：上传并解压安装包

将我们的hive的安装包上传到第三台服务器的/expo...]]></description><category></category></item><item><title><![CDATA[Hive（数据仓库）数据仓库和 Hive 的基本概念]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100085186</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100085186</guid><author>chipeize</author><pubDate>Mon, 26 Aug 2019 20:41:27 +0800</pubDate><description><![CDATA[1. 数据仓库

1.1 基本概念

   英文名称为 Data Warehouse，可简写为 DW 或 DWH。数据仓库的目的是构建面相分析的集成化数据环境，为企业提供决策支持（Decision Support）。

   数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表...]]></description><category></category></item><item><title><![CDATA[Hadoop_day06_MapReduce 的 经典案例（求共同好友）]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100085023</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100085023</guid><author>chipeize</author><pubDate>Mon, 26 Aug 2019 20:22:21 +0800</pubDate><description><![CDATA[1. 需求分析

以下是qq的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的）



A:B,C,D,F,E,O
B:A,C,E,K
C:A,B,D,E,I 
D:A,E,F,L
E:B,C,D,M,L
F:A,B,C,D,E,O,M
G:A,C,D,E,F
H:A,C,D,E,O
I:A,O
J:B,O
K:A,C,D
L:D,E,F
M:E,F,G
O:A,...]]></description><category></category></item><item><title><![CDATA[Hadoop_day06_MapReduce 的 Reduce 和 Map 端实现 join 操作]]></title><link>https://blog.youkuaiyun.com/chipeize/article/details/100084861</link><guid>https://blog.youkuaiyun.com/chipeize/article/details/100084861</guid><author>chipeize</author><pubDate>Mon, 26 Aug 2019 20:12:40 +0800</pubDate><description><![CDATA[一、Reduce 端

1. 需求

商品表

id
			pname
			category_id
			price
		P0001
			小米5
			1000
			2000
		P0002
			锤子T1
			1000
			3000
		订单数据表

id
			date
			pid
			amount
		1001
			20150710
			P0001
			2
		1002
...]]></description><category></category></item></channel></rss>