<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[superye1983的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/superye1983</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; superye1983]]></copyright><item><title><![CDATA[Thrift lua example]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/51190166</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/51190166</guid><author>superye1983</author><pubDate>Tue, 19 Apr 2016 16:01:02 +0800</pubDate><description><![CDATA[最近做个项目，想法是nginx＋lua＋thrift
thrift是一个比较流行的rpc框架，很多公司都有大规模使用的经验，不过网上很少有关于thrift－lua的介绍和example
apache的thrift－lua也是刚刚从fbthrift项目引入，在安装过程中踩了一些坑，记录一下


首先是版本问题，apache-thrift的最新版本是0.9.3，这个版本支持的lua版本是5.]]></description><category></category></item><item><title><![CDATA[centos6.4安装GCC4.8 Ｃ＋＋１１]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/48263811</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/48263811</guid><author>superye1983</author><pubDate>Mon, 07 Sep 2015 12:08:34 +0800</pubDate><description><![CDATA[参考资料
http://superuser.com/questions/381160/how-to-install-gcc-4-7-x-4-8-x-on-centos/542091#542091



其实就是安装一个工具devtools
gcc４.８对应devtools２
资料http://people.centos.org/tru/devtools-2/readme


具]]></description><category></category></item><item><title><![CDATA[Hbase merge multiple region]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/44063323</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/44063323</guid><author>superye1983</author><pubDate>Wed, 04 Mar 2015 18:12:32 +0800</pubDate><description><![CDATA[假设你的table有10个region，他们的名字分别为1，2...10
Hbase 并没有提供直接合并 2-8这7个region的方法，如果你要合并多个region，那要稍微麻烦一点，具体方法如下
首先使用Hbase shell自带的merge_region方法：
Merge two regions. Passing 'true' as the optional third paramet]]></description><category></category></item><item><title><![CDATA[使用rmp包安装impala1.4.1]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/42876139</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/42876139</guid><author>superye1983</author><pubDate>Mon, 19 Jan 2015 17:49:19 +0800</pubDate><description><![CDATA[首先安装impala依赖包
添加repo使用yum安装
sudo wget -O /etc/yum.repos.d/bigtop.repo http://www.apache.org/dist/bigtop/bigtop-0.7.0/repos/centos5/bigtop.repo
sudo yum install bigtop-utils


hadoop使用的cdh版本为5.1.]]></description><category></category></item><item><title><![CDATA[cloudera-manage 安装报错]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/41960415</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/41960415</guid><author>superye1983</author><pubDate>Tue, 16 Dec 2014 15:02:54 +0800</pubDate><description><![CDATA[Installation failed. Failed to receive heartbeat from agent.


    Ensure that the host's hostname is configured properly.
    Ensure that port 7182 is accessible on the Cloudera Manager Server (c]]></description><category></category></item><item><title><![CDATA[安装implala报错找不到jdbc]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/41548803</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/41548803</guid><author>superye1983</author><pubDate>Thu, 27 Nov 2014 16:53:12 +0800</pubDate><description><![CDATA[错误信息:
Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
E1127 16:39:33.860738 22207 catalog.cc:70] java.lang.IllegalStateException: javax.jdo.JDOFatalInternalException: Error creat]]></description><category></category></item><item><title><![CDATA[导入protobuf源码报错]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/17167721</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/17167721</guid><author>superye1983</author><pubDate>Fri, 06 Dec 2013 16:03:02 +0800</pubDate><description><![CDATA[导入protobuf的源码作为一个项目查看，结果都是红叉叉，有些类找不到
真是奇怪源码怎么可能直接有错，部分找不到的类如下
DescriptorProto cannot be resolved to a type
MessageOptions cannot be resolved to a type
最后在JAVA文件夹下的README.txt文件中找到答案，部分源码需要自己生成
执行如]]></description><category></category></item><item><title><![CDATA[在cdh5-yarn上运行map-reduce]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/17020621</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/17020621</guid><author>superye1983</author><pubDate>Fri, 29 Nov 2013 10:50:24 +0800</pubDate><description><![CDATA[在cdh5版本的yarn上运行一个map-reduce任务结果报错，信息如下
2013-11-28 15:31:04,978 WARN org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch: Failed to launch container.
java.io.FileNotFo]]></description><category></category></item><item><title><![CDATA[Hadoop CDH5 手动安装伪分布式模式]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/16884097</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/16884097</guid><author>superye1983</author><pubDate>Fri, 22 Nov 2013 16:52:06 +0800</pubDate><description><![CDATA[CDH5已经使用了Hadoop2.2.0
重新弄个虚拟机重头装一下
由于Cloudera强烈建议使用rmp包或者apt-get的方式安装，一时半刻我都没有找到手动安装的说明，在安装的遇到多个问题，稍作记录
首先环境要求
         JDK1.7_u25+
         Maven3.0.5
         protoc2.5]]></description><category></category></item><item><title><![CDATA[在Maven中generate-protobuf]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/10106871</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/10106871</guid><author>superye1983</author><pubDate>Tue, 20 Aug 2013 14:33:32 +0800</pubDate><description><![CDATA[在maven中generate-protobuf有2种方法
1是使用protobuf的maven插件，不过作者是开发的maven2的插件，而且有2年没更新了
所以我选择了第二种方法就是使用mavn的ant插件，整个配置和ant很像，稍作调整即可，具体配置如下

    maven-antrun-plugin
    
        
            compile-protoc
 ]]></description><category></category></item><item><title><![CDATA[用awk解压多个文件]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/8970100</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/8970100</guid><author>superye1983</author><pubDate>Fri, 24 May 2013 15:08:32 +0800</pubDate><description><![CDATA[tar好像不支持解压多个文件
使用awk做个循环就可以了
ls a/*.tar.gz|awk '{print $NF}' | xargs -t -i tar -xzf {} -C b

解压a目录下的所有.tar.gz到b目录]]></description><category></category></item><item><title><![CDATA[oozie rerun job in 2.3.0-cdh3u0]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/8804879</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/8804879</guid><author>superye1983</author><pubDate>Mon, 15 Apr 2013 17:42:18 +0800</pubDate><description><![CDATA[当一个oozie job运行失败后可以使用rerun参数重跑job
由于我的oozie版本比较旧，文档中是这样说的


oozie.wf.application.pathoozie.wf.rerun.skip.nodesAbove two are mandatory configs.Skip nodes are comma separated list of action names. T]]></description><category></category></item><item><title><![CDATA[pentaho-hadoop-cdh3u0配置]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/8781796</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/8781796</guid><author>superye1983</author><pubDate>Wed, 10 Apr 2013 11:35:58 +0800</pubDate><description><![CDATA[安装了pentaho data integration4.4
下载地址点击打开链接
我用的hadoop版本为cdh3u0
新建一个job将文件从本地拷贝到云上
结果报错如下
ERROR 10-04 10:51:15,842 - Hadoop Copy Files - Can not copy file/folder [file://weblogs_rebuild/weblogs_rebu]]></description><category></category></item><item><title><![CDATA[Maven3.0.5运行junit，slf4j报错]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/8731333</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/8731333</guid><author>superye1983</author><pubDate>Thu, 28 Mar 2013 14:35:16 +0800</pubDate><description><![CDATA[在maven中运行junit单元测试报错如下：
java.lang.NullPointerException
        at org.slf4j.helpers.MessageFormatter.arrayFormat(MessageFormatter.java:109)
        at org.slf4j.impl.Log4jLoggerAdapter.info(Log4jLo]]></description><category></category></item><item><title><![CDATA[使用nexus作为maven私有中央仓库，启动出错]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/8730230</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/8730230</guid><author>superye1983</author><pubDate>Thu, 28 Mar 2013 10:54:11 +0800</pubDate><description><![CDATA[最近将项目从ant迁移到maven
并且使用Nexus建立一个私有的中央仓库（网上有很多相关的资料）
在启动nexus的时候报错启动失败，且部分错误信息非nexus打印
错误信息：
********* simple selection *********  ********* selection by list *********
-A all processes]]></description><category></category></item><item><title><![CDATA[使用nohup在后台运行scp]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/8285480</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/8285480</guid><author>superye1983</author><pubDate>Wed, 12 Dec 2012 10:42:43 +0800</pubDate><description><![CDATA[需要从远程拷贝一个比较大的文件，所以要让SCP在后台运行
google搜了一下都是说使用ssh的public key让两台机器可以不用密码连接
但不是每个人都有这个条件允许两台机器无密码通行的
所以可以使用下面的方法实现
1.nohup scp user@server:path/file localpath
2.输入密码
3.按Ctrl+z挂起当前进程
4.使用命令bg让挂起的进程继]]></description><category></category></item><item><title><![CDATA[在pig中读取RCFILE文件]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/8277641</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/8277641</guid><author>superye1983</author><pubDate>Mon, 10 Dec 2012 14:34:15 +0800</pubDate><description><![CDATA[RCFILE是FACEBOOK公司使用的一种数据存储结构
通过把相同列的数据存放在一起从而得到一个很高的压缩比
RCFILE集成在HIVE中，在HIVE并没有提供PIG读取数据的结构
但是在PIG的第三方库中有人贡献了读取RCFILE的PIGLOAD接口HiveColumnarLoader
使用方法很简单：
/*先注册jar包，需要用到的有这样3个*/
register /tmp/pi]]></description><category></category></item><item><title><![CDATA[Hadoop Archive小记]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/8251818</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/8251818</guid><author>superye1983</author><pubDate>Mon, 03 Dec 2012 16:21:33 +0800</pubDate><description><![CDATA[Hadoop中所有文件的信息都记录在Namenode的内存中
因为Hadoop的设计是处理大数据，理想的数据文件应该是BLOCKSIZE的倍数
为了避免小文件占用过多的系统内容,Hadoop提供了Archive来管理小文件
不过har有可能使用的不是很多，在hive，pig，甚至hadoop中都有一些BUG，很多应用都有问题
在这里做个记录
1.文件夹模糊匹配
   在使用hadoop]]></description><category></category></item><item><title><![CDATA[在map中获取当前数据所属文件名]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/8235940</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/8235940</guid><author>superye1983</author><pubDate>Wed, 28 Nov 2012 19:53:55 +0800</pubDate><description><![CDATA[很多业务逻辑在处理数据时和文件名进行了绑定

所以在做MAP的时候需要知道这条数据是从哪个文件而来
这句语句可以获得文件名

String fileName = ((FileSplit)context.getInputSplit()).getPath().getName();]]></description><category></category></item><item><title><![CDATA[通过获取HDFS目录/文件夹大小来控制reduce个数]]></title><link>https://blog.youkuaiyun.com/superye1983/article/details/8234406</link><guid>https://blog.youkuaiyun.com/superye1983/article/details/8234406</guid><author>superye1983</author><pubDate>Wed, 28 Nov 2012 14:48:26 +0800</pubDate><description><![CDATA[一般map的个数系统会根据文件block数量来获取
而reduce个数一般默认1个，在每个JOB用户根据自己的需要自己调整
但是往往同一个JOB在不同目录下获取的数据大小相差很多，所以要根据每次获取数据的大小来确定reduce
    public static long getDirSize(Path dir, Configuration conf) throws IOException{]]></description><category></category></item></channel></rss>