<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[啊_汤哥的博客]]></title><description><![CDATA[分享，开源，尊重他人付出]]></description><link>https://blog.youkuaiyun.com/a52308</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; a52308]]></copyright><item><title><![CDATA[spark on yarn 原理、资源分配、优化等收集]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/85127840</link><guid>https://blog.youkuaiyun.com/a52308/article/details/85127840</guid><author>a52308</author><pubDate>Thu, 20 Dec 2018 17:05:35 +0800</pubDate><description><![CDATA[一、集群使用注意点：
1、跑的任何job，最好都要加上有意义的job name，不要使用默认的名字hive on spark；
2、job应尽可能的少用集群资源达到理想的效果，而不是有多大用多大来提高性能；
二、spark on yarn 原理篇：
参考博客
三、资源分配篇：
参考1
参考2
参考3
参考4
参考5
参考6
参考7
参考8
四、优化篇：
spark性能优化：数据倾斜调优
如何通过查...]]></description><category></category></item><item><title><![CDATA[Phoenix优化]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/81705928</link><guid>https://blog.youkuaiyun.com/a52308/article/details/81705928</guid><author>a52308</author><pubDate>Wed, 15 Aug 2018 16:07:15 +0800</pubDate><description><![CDATA[文章转载自：http://outofmemory.cn/code-snippet/7879/Phoenix-performance-tuning

Phoenix性能优化

一．建表优化

Salting 翻译成中文是加盐的意思，本质是在hbase的rowkey的byte数组的第一个字节位置设定一个系统生成的byte值， 这个byte值是由主键生成rowkey的byte数组做一个哈希算法，计算得来...]]></description><category></category></item><item><title><![CDATA[OLAP 玩转KYLIN 步十四 为什么使用Hive View]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/79805527</link><guid>https://blog.youkuaiyun.com/a52308/article/details/79805527</guid><author>a52308</author><pubDate>Tue, 03 Apr 2018 16:39:07 +0800</pubDate><description><![CDATA[本篇内容大部分参考自文章《Kylin实践之使用Hive视图》



为什么需要使用视图

Kylin在使用的过程中使用hive作为cube的输入，但是有些情况下，hive中的表定义和数据并不能满足分析的需求，例如有些列的值需要进行处理，有些列的类型不满足需求，甚至有时候在创建hive表时为了图方便，hive中的所有列都被定义成了string，因此很多情况下在使用Kylin之前需要对hive上的数据...]]></description><category></category></item><item><title><![CDATA[OLAP 玩转KYLIN 步十三 官方案列实战之查询]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/79804514</link><guid>https://blog.youkuaiyun.com/a52308/article/details/79804514</guid><author>a52308</author><pubDate>Tue, 03 Apr 2018 15:47:25 +0800</pubDate><description><![CDATA[cube build成功后，我们就可以进行相关查询了，我们可以用kylin的web UI 来写SQL进行查询，也可以用kylin提供的查询接口来查询，并自定义自己的展示方式，也可以与现有的第三方系统集成，完成数据的查询展示。 
cube的查询web UI如图所示： 
...]]></description><category></category></item><item><title><![CDATA[OLAP 玩转KYLIN 步十二 官方案列实战之build cube]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/79803590</link><guid>https://blog.youkuaiyun.com/a52308/article/details/79803590</guid><author>a52308</author><pubDate>Tue, 03 Apr 2018 15:05:35 +0800</pubDate><description><![CDATA[Cube 创建之后，我们就可以对其进行build，下面将介绍build过程中涉及的一些操作。 
如下图所示，点击Build，即开启cube的创建： 
 
具体的创建过程及进度，可在Monitor菜单下查看，如下图： 
 
 
如果上图中的Progress一栏进度为绿色100%，则表示cube的build已经成功。 ...]]></description><category></category></item><item><title><![CDATA[OLAP 玩转KYLIN 步十一 官方案列实战之创建Cube之最后一课]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/79802312</link><guid>https://blog.youkuaiyun.com/a52308/article/details/79802312</guid><author>a52308</author><pubDate>Tue, 03 Apr 2018 13:58:04 +0800</pubDate><description><![CDATA[经过前面几节讲解cube的创建，终于我们迎来了最后一步，保存cube的创建，如图： 




创建完成cube并不是工作的结束，只有build cube完成，才算是达到了我们查询的目的，但这时候仍然离终极解决方案有些距离。如何优化cube减少数据的膨胀率，如何配置参数，优化build的性能，这些都是达到查询目的之后，需要慢慢不断去尝试，去探索的，只有这样，才会对kylin的强大有更深的体会。...]]></description><category></category></item><item><title><![CDATA[OLAP 玩转KYLIN 步十 官方案列实战之创建Cube之Configuration Overwrites]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/79802148</link><guid>https://blog.youkuaiyun.com/a52308/article/details/79802148</guid><author>a52308</author><pubDate>Tue, 03 Apr 2018 13:45:47 +0800</pubDate><description><![CDATA[在kylin的安装目录 下的conf/kylin.properties 文件中有许多控制影响kylin执行的参数配置项; 其中有些是全局配置，即一个运行中的kylin进程，全局参数一旦设定，运行过程中只以全局参数的配置为准，不会运行中被改变; 有些则是与某个 Cube 相关的配置参数，这些配置可以根据Cube的不同进行不同的设置，所以这些参数可以灵活改变以适应具体要求，下面我们就来介绍一下，与Cu...]]></description><category></category></item><item><title><![CDATA[OLAP 玩转KYLIN 步九 官方案列实战之创建Cube之Advanced Setting]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/79793919</link><guid>https://blog.youkuaiyun.com/a52308/article/details/79793919</guid><author>a52308</author><pubDate>Mon, 02 Apr 2018 19:49:54 +0800</pubDate><description><![CDATA[紧接上一节数据刷新设置完毕，点击Next，便进入Advanced Setting设置界面。



首先，第一项设置聚合组，如图： 
 
合理的聚合组设置，既可以满足查询的需求，也可以优化cube的构建，让我们先理解概念，再谈如何优化。

聚合组既将一个Cube的所有维度根据业务需求划分成若干组（当然也可以是一个组），由于同一个组内的维度更可能同时被同一个查询用到，因此会表现出更加紧密的内在关联。每...]]></description><category></category></item><item><title><![CDATA[OLAP 玩转KYLIN 步八 官方案列实战之创建Cube之数据刷新设置]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/79793017</link><guid>https://blog.youkuaiyun.com/a52308/article/details/79793017</guid><author>a52308</author><pubDate>Mon, 02 Apr 2018 18:17:28 +0800</pubDate><description><![CDATA[紧接步七，我们就进入了cube数据刷新设置的界面，如图： 
 
这里的设置目前包含“Auto Merge Thresholds”、“Volatile Range”、“Retention Threshold”、“Partition Start Date”。 
“Partition Start Date”是指Cube默认的第一个Segment的起始时间。同一个Model下不同的Cube可以指定不同的起...]]></description><category></category></item><item><title><![CDATA[OLAP 玩转KYLIN 步七 官方案列实战之创建Cube之设计度量]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/79791012</link><guid>https://blog.youkuaiyun.com/a52308/article/details/79791012</guid><author>a52308</author><pubDate>Mon, 02 Apr 2018 16:19:28 +0800</pubDate><description><![CDATA[紧接上一节，我们继续来看Cube创建的又一关键点，设计度量。



进入度量添加界面，Kylin默认会为我们创建一个Count（1）的度量，避免不必要的麻烦，不要对其做修改或删除。如图： 
 
点击上图中的+Measure便可以添加我们自己的度量。 
Kylin支持的度量有：SUM、MIN、MAX、COUNT、COUNT DISTINCT、TOP_N、RAW等。选择需要的度量 
类型，然后再选择适...]]></description><category></category></item><item><title><![CDATA[OLAP 玩转KYLIN 步六 官方案列实战之创建Cube之维度的选择]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/79786748</link><guid>https://blog.youkuaiyun.com/a52308/article/details/79786748</guid><author>a52308</author><pubDate>Mon, 02 Apr 2018 13:56:41 +0800</pubDate><description><![CDATA[上一节，我们创建了一个Model，现在在其之上，我们就可以开始Cube的创建。



如下图所示，按标注的数字顺序点击，打开cube创建界面： 
 
选择上一节创建完成的Model，命名我们的cube，填写描述信息，点击Next，继续： 


接下来进入关键一步，cube的维度选择。



操作之前，先让我们理解几个概念。 
衍生维度：维表中可以由主键推导出值的列可以作为衍生维度。如：users维...]]></description><category></category></item><item><title><![CDATA[OLAP 玩转KYLIN 步五 官方案列实战之创建Model]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/79759370</link><guid>https://blog.youkuaiyun.com/a52308/article/details/79759370</guid><author>a52308</author><pubDate>Fri, 30 Mar 2018 16:40:58 +0800</pubDate><description><![CDATA[有了表信息之后，就可以开始创建数据模型（Data Model）了。数据模型是Cube的基础，有了数据模型以后，定义Cube的时候就可以直接从此模型定义的表和列中选择需要的维度列及度量列。 
为什么需要Model？ 
我们假设不用建Model，直接定义Cube，那如果有两个cube1、cube2，他们用到的事实表、维度表都一样，表间的关联关系也一样，只是查询维度或度量的角度不同，那创建这两个cube...]]></description><category></category></item><item><title><![CDATA[OLAP 玩转KYLIN 步四 官方案列实战之hive与kylin间的表同步]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/79747966</link><guid>https://blog.youkuaiyun.com/a52308/article/details/79747966</guid><author>a52308</author><pubDate>Fri, 30 Mar 2018 14:08:21 +0800</pubDate><description><![CDATA[Project创建完成后，我们的下一步就是要同步表。若要在kylin中使用OLAP 玩转KYLIN 步二 官方案列实战之介绍涉及的表中提到的各张表，需要先将表从hive同步到kylin中，步骤如下： 
按下图标记的数字顺序点击 
 
点击表所在的数据库，在数据库展开的表列表中点击选择需要同步的表，最后，点击Sync，开始表同步 
 
同步完成后，便可以在下图所示的位置看到各个表，点击某个表，右侧会...]]></description><category></category></item><item><title><![CDATA[OLAP 玩转KYLIN 步三 官方案列实战之创建Project]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/79747582</link><guid>https://blog.youkuaiyun.com/a52308/article/details/79747582</guid><author>a52308</author><pubDate>Thu, 29 Mar 2018 19:38:24 +0800</pubDate><description><![CDATA[不同的查询需求，可以创建不同的Project，就像文件系统的目录一样。创建Project很简单，步骤如下：



打开Apache Kylin的Web UI，点击Model，点击下图‘+’，创建Project，如图： 
 
命名project,填写项目描述，点击提交，完成创建： 
 
如下图，可以在不同的项目间进行切换选择： 
...]]></description><category></category></item><item><title><![CDATA[OLAP 玩转KYLIN 步二 官方案列实战之介绍涉及的表]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/79746846</link><guid>https://blog.youkuaiyun.com/a52308/article/details/79746846</guid><author>a52308</author><pubDate>Thu, 29 Mar 2018 18:10:53 +0800</pubDate><description><![CDATA[接下来我将从kylin的官方案例开始循序渐进的开始kylin的学习。



案例涉及的表的描述

（1）KYLIN_SALES 
         该表保存了销售订单的明细信息。每一行对 应着一笔交易订单。 
         根据事实表的定义:事实表（Fact Table）是指存储有事实记录的表，如系统日志、销售记录等 
         所以，我们会把该表作为事实表来使用




  字段
 ...]]></description><category></category></item><item><title><![CDATA[OLAP 玩转KYLIN 步一 万丈高楼平地起]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/79742296</link><guid>https://blog.youkuaiyun.com/a52308/article/details/79742296</guid><author>a52308</author><pubDate>Thu, 29 Mar 2018 14:32:43 +0800</pubDate><description><![CDATA[教程假定kylin系统已被负责运维的人员安装部署完成，使用kylin的人员无需关心系统的运行及配置问题。





工欲善其事，必先必知必会


kylin设计原理，必知 
kylin概念术语，做到深刻理解，方便优化cube的构建 
维度（Dimension）
维度基数
度量（Measure）
Model
Cube
Cuboid
Cube Segment
事实表（Fact Table）
维度表（D...]]></description><category></category></item><item><title><![CDATA[Java反射]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/51755154</link><guid>https://blog.youkuaiyun.com/a52308/article/details/51755154</guid><author>a52308</author><pubDate>Fri, 24 Jun 2016 18:57:00 +0800</pubDate><description><![CDATA[1.java中获得Class对象的三种方式
   1)使用Class类的forName静态方法，该方法需要传入字符串参数，其值是某个类的全限定类名
   2)调用某个类的class属性来获取该类对应的Class对象，如Person.class
   3)调用某个对象的getClass方法，该方法是java.lang.Object类中的方法，该方法返回对象所属类对应的Class对象
2.Cl]]></description><category></category></item><item><title><![CDATA[Java类加载]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/51752026</link><guid>https://blog.youkuaiyun.com/a52308/article/details/51752026</guid><author>a52308</author><pubDate>Fri, 24 Jun 2016 13:27:43 +0800</pubDate><description><![CDATA[1.Java类加载指的是将class文件读入内存，并为之创建一个java.lang.Class的对象。
2.java初始化类或接口的时机：
   1) 创建类实例，通过new或反射或反序列化创建类实例
   2) 调用类的静态方法
   3) 访问类或接口的静态属性，或为静态属性赋值
   4) 使用反射强制创建某个类或接口对应的java.lang.Class对象。
   5) 初始化]]></description><category></category></item><item><title><![CDATA[Java对象与垃圾回收]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/51727206</link><guid>https://blog.youkuaiyun.com/a52308/article/details/51727206</guid><author>a52308</author><pubDate>Tue, 21 Jun 2016 14:40:58 +0800</pubDate><description><![CDATA[1.垃圾回收机制只负责回收堆内存中的对象。
2.垃圾回收机制回收任何对象之前，总会调用它的finalize方法，该方法可能使该对象复活，从而使垃圾回收机制取消回收。
3.对象在堆内存中有三种状态：
激活状态：即有一个或以上引用变量引用该对象
去活状态：即没有任何引用变量引用该对象，这时垃圾回收机制准备回收该对象所占有的内存，回收之前，会调用对象的finalize方法，如果方法中让一个变量重]]></description><category></category></item><item><title><![CDATA[Java枚举类]]></title><link>https://blog.youkuaiyun.com/a52308/article/details/51714271</link><guid>https://blog.youkuaiyun.com/a52308/article/details/51714271</guid><author>a52308</author><pubDate>Sun, 19 Jun 2016 21:49:10 +0800</pubDate><description><![CDATA[1.枚举类可以实现一个或多个接口，用enum关键字定义枚举类，默认继承java.lang.Enum类，而不是继承Object类，其中java.lang.Enum类实现了java.lang.Serializable和java.lang.Comparable两个接口。
2.枚举类的构造器只能用private访问控制符，不管是省略还是默认或者强制指定访问控制符，都必须是private。
3.枚举类的]]></description><category></category></item></channel></rss>