<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[yoghurt]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/yoghurt2016</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; yoghurt2016]]></copyright><item><title><![CDATA[IDEA的使用]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/53689844</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/53689844</guid><author>yoghurt2016</author><pubDate>Fri, 16 Dec 2016 10:25:52 +0800</pubDate><description><![CDATA[1，首先启动
cd /opt/modules/idea-IC-141.178.9/
bin/idea.sh 1212
2，导入scala插件









3，导入spark源码





















4，创建scala工程




















]]></description><category></category></item><item><title><![CDATA[UML类图几种关系的总结]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/53289508</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/53289508</guid><author>yoghurt2016</author><pubDate>Tue, 22 Nov 2016 18:15:16 +0800</pubDate><description><![CDATA[在UML类图中，常见的有以下几种关系: 泛化（Generalization）,  实现（Realization），关联（Association)，聚合（Aggregation），组合(Composition)，依赖(Dependency)

         1. 泛化（Generalization）

        【泛化关系】：是一种继承关系，表示一般与特殊的关系，它指定了子类如何特]]></description><category></category></item><item><title><![CDATA[Java的接口与Scala的trait特质]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52938295</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52938295</guid><author>yoghurt2016</author><pubDate>Wed, 26 Oct 2016 21:12:26 +0800</pubDate><description><![CDATA[今天说一说Java中的接口和Scala中的trait。一直就把特质当做半个接口用，因为确实挺像的，但仔细看，还是有很大区别的。


1.接口不会有构造器，特质可以有构造器，并且在实现类继承特质的时候，先要调用特质的构造器。
trait构造器的调用顺序小结：
class B{}
trait C extends E{}
trait D extends E{}
A extends B w]]></description><category></category></item><item><title><![CDATA[Spark运行架构]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52924338</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52924338</guid><author>yoghurt2016</author><pubDate>Tue, 25 Oct 2016 17:02:52 +0800</pubDate><description><![CDATA[Spark传入中国也有两三年的时间了，之后必然也会是比较火的东西，scala也是一样，所以又好好梳理了一下Spark的运行基本架构，画了一个简版的图，可以凑合着看一下，其实我挺佩服大牛们的那些牛技术博客，但是每次一贴图就感觉自己画的好low啊，上各种颜色，我是不会看颜sai的人，哈哈，不过没关系，看得懂是目的，哈哈~~]]></description><category></category></item><item><title><![CDATA[Zookeeper的作用以及选举机制]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52838088</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52838088</guid><author>yoghurt2016</author><pubDate>Mon, 17 Oct 2016 14:41:57 +0800</pubDate><description><![CDATA[zookeeper：
其实，我觉得要是深度理解zookeeper的工作状态挺难的，也非常深，我学完之后又看了很多大牛的博客，觉得自己理解的也不好，只能说是对zookeeper有个浅显的概念，或者浅显都称不上，觉得只是硬生生的记住了一些概念的东西，没有做过调优的工作，实在是不能写出什么东西，但是也勉强记一些我能理解的吧，毕竟这些枯燥的概念也是比较磨练心性的，能坐下来好好看一些概念不容易。后面我再贴]]></description><category></category></item><item><title><![CDATA[Hadoop调度器小解]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52837643</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52837643</guid><author>yoghurt2016</author><pubDate>Mon, 17 Oct 2016 13:32:44 +0800</pubDate><description><![CDATA[Hadoop 调度器
之前对调度器其实了解并不是很多，貌似要涉及到比较多额算法，所以也不是很懂，现在也只能理解一下大概的工作概念而已，这些算法是大牛们干的事情啊，高深的东西，我望尘莫及啊。。。（默默的流泪中）



FIFO 调度器

集成在 JobTracker 中的原有调度算法被称为 FIFO。在 FIFO 调度中，JobTracker
 从工作队列中拉取作业，最老的作业最先。]]></description><category></category></item><item><title><![CDATA[mr运行过程中的一些参数]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52837570</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52837570</guid><author>yoghurt2016</author><pubDate>Mon, 17 Oct 2016 11:55:32 +0800</pubDate><description><![CDATA[mr运行过程中的一些参数说明：


jar包：/home/grid/hadoop-0.20.2/hadoop-0.20.2-examples.jar      
安装hadoop时从源代码拷贝过来的，我们可以直接使用
[grid@h1 hadoop-0.20.2]$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount in out   ]]></description><category></category></item><item><title><![CDATA[Sqoop迁移工具的使用]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52821427</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52821427</guid><author>yoghurt2016</author><pubDate>Sat, 15 Oct 2016 09:53:28 +0800</pubDate><description><![CDATA[概述
sqoop是Apache顶级项目，主要用来在Hadoop和关系数据库中传递数据。通过sqoop，我们可以方便的将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据库。
sqoop架构：







sqoop架构非常简单，其整合了Hive、Hbase和Oozie，通过map-reduce任务来传输数据，从而提供并发特性和容错。
sqoop的进一步发展可]]></description><category></category></item><item><title><![CDATA[案例十二：多文件输出MultipleOutputs]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52745350</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52745350</guid><author>yoghurt2016</author><pubDate>Thu, 06 Oct 2016 20:33:38 +0800</pubDate><description><![CDATA[案例十二：多文件输出MultipleOutputs




好几天没写什么了，今天写点工作当中比较常用的东西吧--MultipleOutputs

多路径输出，这个用的也比较多，比如可以输出分区的数据，方便hive里建表，

也可以分类数据，都比较方便了。

下篇再说一下多格式输出。主要用到MultipleOutputs这个类。直接上代码。





先贴一下数据]]></description><category></category></item><item><title><![CDATA[案例十三：多格式文件输出MultipleOutputs]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52745263</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52745263</guid><author>yoghurt2016</author><pubDate>Thu, 06 Oct 2016 20:03:03 +0800</pubDate><description><![CDATA[案例十二：多文件输出MultipleOutputs




好几天没写什么了，今天写点工作当中比较常用的东西吧，多路径输出，下篇再说一下多格式输出。主要用到MultipleOutputs这个类。直接上代码。



























下面是结果，有两个都在/out/222，分别是FormatText和Fo]]></description><category></category></item><item><title><![CDATA[HQL加载数据的几种方法小结]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52658728</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52658728</guid><author>yoghurt2016</author><pubDate>Sun, 25 Sep 2016 10:35:27 +0800</pubDate><description><![CDATA[HQL加载数据的几种方法小结：


对于没有创建分区的表（这里都以外部表为例）而言：
create external table if not exists test 
(id int,name string) 
comment 'This is for test.' 
row format delimited 
fields terminated by '\t' 
locati]]></description><category></category></item><item><title><![CDATA[HIVE中表之间相互联系的方式小结]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52652567</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52652567</guid><author>yoghurt2016</author><pubDate>Sat, 24 Sep 2016 19:21:25 +0800</pubDate><description><![CDATA[HIVE中表之间相互联系的方式小结：
今天总结了一下hive中表与表之间发生关联的方式，大概的有以下几种，日后再补充：
先建立两张表：user+job
表的数据结构：
--------------------------------------------------
user：
user_id name
1 张三
2 李四
3 王五
create external table]]></description><category></category></item><item><title><![CDATA[Navicat for mysql的乱码问题+linux下mysql乱码问题]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52622290</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52622290</guid><author>yoghurt2016</author><pubDate>Thu, 22 Sep 2016 14:43:06 +0800</pubDate><description><![CDATA[Navicat for mysql的乱码问题或者linux下mysql乱码问题

从hdfs到处数据到mysql或者从mysql导入数据到hdfs总是乱码，于是我就把基本上可能出现的问题就都总结了一下：

1.首先确认linux下的mysql不乱码。

如果乱码以下方法解决：（我只说一下永久性更改的方法，一次性的方法可以百度）


a.linux和window不一样，所以需要先找]]></description><category></category></item><item><title><![CDATA[napreduce调优三]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52505121</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52505121</guid><author>yoghurt2016</author><pubDate>Sun, 11 Sep 2016 18:06:16 +0800</pubDate><description><![CDATA[MapReduce任务的优化


相信每个程序员在编程时都会问自己两个问题“我如何完成这个任务”，以及“怎么能让程
序运行得更快”。同样，MapReduce计算模型的多次优化也是为了更好地解答这两个问
题。


MapReduce计算模型的优化涉及了方方面面的内容，但是主要集中在两个方面：一是计
算性能方面的优化；二是I/O操作方面的优化。这其中，又包含六个方面的内容。

]]></description><category></category></item><item><title><![CDATA[mapreduce调优二]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52505110</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52505110</guid><author>yoghurt2016</author><pubDate>Sun, 11 Sep 2016 18:04:20 +0800</pubDate><description><![CDATA[map阶段优化

参数：io.sort.mb（default 100）

当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。

而是会利用到了内存buffer来进行已经产生的部分结果的缓存，

并在内存buffer中进行一些预排序来优化整个map的性能。

每一个map都会对应存在一个内存buffer,map会将已经产生的部分结果先写入到该]]></description><category></category></item><item><title><![CDATA[mapreduce调优一]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52505097</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52505097</guid><author>yoghurt2016</author><pubDate>Sun, 11 Sep 2016 18:01:44 +0800</pubDate><description><![CDATA[Cloudera提供给客户的服务内容之一就是调整和优化MapReduce job执行性能。MapReduce和HDFS组成一个复杂的分布式系统，并且它们运行着各式各样用户的代码，这样导致没有一个快速有效的规则来实现优化代码性能的目的。在我看来，调整cluster或job的运行更像一个医生对待病人一样，找出关键的“症状”，对于不同的症状有不同的诊断和处理方式。 

        在医学领域，没]]></description><category></category></item><item><title><![CDATA[HDFS读写文件的java代码]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52504752</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52504752</guid><author>yoghurt2016</author><pubDate>Sun, 11 Sep 2016 17:06:15 +0800</pubDate><description><![CDATA[对HDFS操作可以通过命令行，-put，-mkdir，-rm等等，也可以通过java代码来实现，
总结一下读写的两个操作，其他的功能可以通过FileSystem类的方法获取。


HDFS读文件的操作：
可以通过简单的URL读取，也可以通过FileSystem读取，代码如下：


//通过URL读取

public class URLText {
static{
URL.s]]></description><category></category></item><item><title><![CDATA[MapReducer工作流程小结]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52504470</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52504470</guid><author>yoghurt2016</author><pubDate>Sun, 11 Sep 2016 16:21:02 +0800</pubDate><description><![CDATA[自己画了一个Mapreduce的工作流程，比较简易~~]]></description><category></category></item><item><title><![CDATA[HDFS一些概念的理解]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52504061</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52504061</guid><author>yoghurt2016</author><pubDate>Sun, 11 Sep 2016 15:15:01 +0800</pubDate><description><![CDATA[HDFS（Hadoop Distribute File System）分布式文件系统
概念好多，枯燥不易理解，多看几遍！！


1.HDFS数据存放策略：分块存储+副本存放。


2.数据拓扑结构（即数据备份）：默认存放3份，可以通过修改配置文件hdfs-site.xml修改备份数量，如果本机在集群中，第一份就会存放到本节点即本机上，如果不在集群中，就通过负载均衡存放到一个相应的随机]]></description><category></category></item><item><title><![CDATA[MapReduce算法形式十一：自定义排序(即重写shuffle过程的排序规则)]]></title><link>https://blog.youkuaiyun.com/yoghurt2016/article/details/52503366</link><guid>https://blog.youkuaiyun.com/yoghurt2016/article/details/52503366</guid><author>yoghurt2016</author><pubDate>Sun, 11 Sep 2016 12:26:33 +0800</pubDate><description><![CDATA[案例十一：自定义排序(即重写shuffle过程的排序规则)




这个案例有点难理解，但学会了非常方便，shuffle的排序过程是自然排序的（数值小

大，其他字符Unicode），如果不改变shuffle的排序过程只能是写新的集合再写比较

器，过程难免多了很多步骤，这个自定义排序过程重写了shuffle的排序过程，可以按照

各自需求来排序，倒序，正序等等都可以。]]></description><category></category></item></channel></rss>