- 博客(7)
- 收藏
- 关注
原创 java 异常com/google/protobuf/UnknownFieldSet
Caused by: java.lang.VerifyError: class org.apache.hadoop.hbase.protobuf.generated.ClientProtos$Result overrides final method getUnknownFields.()Lcom/google/protobuf/UnknownFieldSet; at java.la
2016-05-04 15:24:17
3287
原创 linux编译azkaban
https://github.com/azkaban/azkabandownload下zip包,解压执行./gradlew distTar,报错信息g++命令出错。azkaban是依赖gc命令的,系统没有安装g++sudo apt-get install g++执行./gradlew distTar,报错信息git命令出错。系统没有安装gitsudo apt-get install git执行./g
2015-12-27 13:41:39
2826
原创 hadoop RPC过程1
使用Hadoop源代码启动了一个RPCServer端和一个RPC的client端,模拟了hadoop的远程调度的过程。 1.RPCServer 1.RpcEngine Server server = new RPC.Builder(conf) //.setProtocol(org.apache.hadoop.hdfs.protocolPB.ClientNamenodePr
2015-12-22 22:47:33
595
原创 hadoop中的设计模式1
builder 模式是为了隐藏对象的创建过程,并且很好地管理大量的创建对象参数。在《effective java》中就强烈推荐了这种创建对象的模式。 在NameNode中构建RPCServer会使用到这段代码: this.serviceRpcServer = new RPC.Builder(conf) .setProtocol( org.apache.had
2015-12-20 14:24:13
1462
原创 java RMI 注册服务
如何使用java RMI 包实现一个RPC1.需要使用到的两个类:java.rmi.server.UnicastRemoteObject类和java.rmi.Remote接口1.Remote接口/** * The <code>Remote</code> interface serves to identify interfaces whose * methods may be invoked f
2015-12-16 00:19:01
1599
原创 HFile Mapreduce阶段的优化
Optimize Map/Reduce Job for HBase 1 背景 2 Map阶段的木桶原理 3 MapTask的产生 4 优化 1.背景MapReduce 的优化工作一直比较受重视,官方也提供了很多的接口。不同的实际生产环境可以使用自己开发的API,来获得更好的效率。这次分享一下最近开发的一个HFile的MapReduce的优化开发思想。2.Map阶段的木桶原
2015-12-05 12:58:39
1078
原创 java并发编程实战中的代码
构造函数中创建线程并没有错误,但最好不要立即启动它,而是通过一个start或initial方法启动。 若果想要在构造函数中注册一个事件监听器或启动线程,那么可以使用一个私有的构造函数和一个公共的工厂方法,从而避免不正确的构造过程。 public class SafeListener { private final EventListener listener; privat
2015-08-18 15:52:52
518
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人