myt0929的专栏

  ssh 用来无秘钥登录的，hadoop集群工作的时候，在启动dfs和yarn时，需要多次输入密码，不但启动本机进程还有辅服务器启动那些节点也需要相应密码，主与辅服务器之间是通过SSH连接的，并发送操作指令。   比如两台服务器A、B，A要通过SSH远程B，A首先本地生成公钥私钥对，将公钥发送给B，B收到A的公钥后加入到自己授权列表中。此时A、B公钥私钥对配置完成   内部流程：在A请求远程...

  真正生产上使用的hadoop以及组件都是源码编译得到的，这样做好处就是有一些功能可以定制化，有一些bug可以自己修复，方便兼容性问题的解决。 一、工具的依赖   hadoop编译依赖jdk、maven，findbugs，protobuf和其他组件。jdk安装到/usr/java中，mysql的博客中有讲解，下面讲解Maven的安装部署。 1.1 Maven 解压部署   Maven使用...

  Hadoop部署，部署方式：集群、单机部署(Standalone)、伪分布式。伪分布式是服务进程存在的，通常是1个节点，通常用于本机开发。单机部署是没有服务进程的，通常用户调用，才用jar包进驻到用户进程中（不实用）。 一、解压Hadoop 1、解压Hadoop 到 /home/hadoop/software中 tar -zxvf hadoop-2.8.1.tar.gz chown ...

  HDFS由NameNode、DataNode、Second人 一、NN（NameNode） 1.1 NameNode信息   NameNode维护的是HDFS上的文件系统的命名空间： 文件名称 文件的目录结构 文件的属性（权限、创建时间 副本数） 一个文件包含哪些块， 数据块在哪些DN节点上（DN列表信息存储在内存中） 二、DN（DataNode） 2.1 DataNod...

   如下是常用的HDFS命令，用于上传文件、删除HDFS上的目录、启动一个作业等操作。 一、hadoop命令 1.1 hadoop fs    hadoop fs 系列指令是对HFDS文件系统的操作，类似于linux文件系统的操作，比如查看目录结构 hadoop fs -ls / ，再比如上传一个文件 hadoop fs -put xxx.log /。 1.2 hadoop ver...

eee