红叶幽香的博客

windows+eclipse 连接hadoop集群 以及常见异常

序列化和反序列化是protobuf最基础的框架，它使用MessageLite/Message接口来抽象一个可序列化的实例，并且使用Builder从字节数组或输入字节流中构建MessageLite/Message实例，MessageLite和Message内部都定义了自己的Builder类，他们个字继承自MessageLiteOrBuilder以及MessageOrBuiler，它们定义了MessageLite/Message和它们各自Builder类的共同接口。

动态删除节点：进入hadoop目录的etc/hadoop/目录1.增加excludes文件，每行写一个要删除的节点的主机名2.在hdfs-site.xml中增加 dfs.hosts.exclude /data/hadoop/etc/hadoop/excludes 3.在mapred-site.xml中增加 mapred.hosts.exclude /data/hadoop/etc/hado

Secondary NameNode,Checkpoint Node,Backup Node,HDFS HA

RPC主要应用在分布式系统。如Hadoop生态中hadooop/hbase等中的IPC组件。RPC框架原理是什么呢？所涉及的模块包括 1、RPC服务器 2、接口 3、实现类 4、服务器提供者模块 5、客户端消费者模块从下面几个方面思考，仅供参考：1.通信模型：客户端与服务端通信在Java中一般基于BIO或NIO，HTTP；。2.过程（服务）定位：使用给定的通信方式，确定具体的目标服务；3.远程代理对象：本地调用的方法(服务)其实是远程方法的本地代理，因此可能需要一个远

序列化和反序列化以及hadoop数据类型1.什么是序列化和反序列化序列化就是把内存中的对象，转换成 字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。 hadoop的序列化的特点是：1、节省资源2、对象可重用3、可扩展性

windows 连接Ubuntu 中HDFS的权限错误：Permission deniedimport java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSyst

HADOOP :WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: xxx/xxx出现该错误的可能原因：

“Incompatible clusterIDs”的错误原因是在执行“hdfs namenode -format”之前，没有清空DataNode节点的data目录。从上述描述不难看出，解决办法就是清空所有DataNode的data目录，但注意不要将data目录本身给删除了。

Hadoop启动执行start-all.sh，后台发生了什么start-all.sh脚本 , start-dfs.sh,start-yarn.sh, hdfs, hadoop start-daemons.sh

也可以用python自带的安装工具，pip install numpy scipy 等。如果没有pip的话，可以试试easy-install numpy scipy。打开cmd，在里面输入这些命令。 不想自己一个一个装的话，最简单的方法是安装python(x,y)套装，也可以考虑enthought套装，都有完整的安装包。 如果用linux也很方便，比如ubuntu下用sudo apt-get i