iteye_16975-优快云博客

原创 hive drop table 报错分析

hive> drop table you_20161114;FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:One or more instances could not be retrieved) 报这类似的错误的...

2016-11-15 10:43:17 2545

原创解决flume向kafka发送均分到各个partition中

官网中虽然说没有key 会随机分配到partition,但是不知道为什么在我这没有出现这种效果,所以我加了一个key,需要加个source拦截器运行flume-ng agent --conf conf --conf-file test.sh --name a1 -Dflume.root.logger=INFO,console # example.conf: A single-nod...

2016-10-13 17:11:55 1085

原创 hbase参数配置

版本：0.94-cdh4.2.1hbase-site.xml配置hbase.tmp.dir本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的线上配置<property> <name>hbase.tmp.dir</name> ...

2016-07-17 16:34:44 155

原创 scala学习笔记

1、for循环格式for(i System.err.print(e)case_ => //should never happen}finally {}7、定长数组 val array_name = new Array[String](5),也可以 val a = Array("Jack","Lucy") 直接指定String类型的初始化值8、变长数组 va...

2016-07-11 15:32:53 126

原创 mapreduce on yarn的工作流程

[img]http://dl2.iteye.com/upload/attachment/0117/7347/350b0c0e-f646-3838-aadb-34290f505223.png[/img][size=medium]　　当client提交一个任务后,首先resourceManger(RM)来调度出一个container,这个container是在nodeManger(NM)运作的...

2016-05-29 16:56:42 223