Nurbiya_K的博客

无密钥配置（1）免密登陆原理（2）生成公钥和私钥：[root@hadoop101 .ssh]$ ssh-keygen -t rsa然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）（3）将公钥拷贝到要免密登录的目标机器上[root@hadoop101 .ssh]$ ssh-copy-id hadoop102[root@hadoop101 .ss...

编写集群分发脚本xsync 1. scp（secure copy）安全拷贝（1）scp定义：scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）（2）基本语法scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的用户@...

下载命令 yum install rsync -y就ok了

查看这个地方倒底有没有勾选，没有的话要把这个地方要勾选上，不然不行

找不到scp命令需要安装:yum install openssh-clients

在写spark 读取本地文件命令的时候报hdfs上文件不存在的错…读取文件是分两种情况：（首先要确保文件路径写对了！！！！！）1. 如果读取hdfs上的文件时报这个错，那么去看hdfs上是否有这个文件！！hdfs dfs -ls / （ / 后面写要读取的文件的路径）如果没有那么就创建文件，或者把本地文件上传到hdfs上：上传本地文件：hdfs dfs -put /usr/l...

写Mapreduce代码时 报这个错的时候去查看所有使用Text类型的类里面导的包。Text导的包必须是这个import org.apache.hadoop.io.Text;，我就是因为不小心导包倒错了，才出现的这个问题...

当我们搭建Hadoop环境的时候如果安装那些带桌面的centOS，会发现电脑带不动，尤其时需要安装多态子节点的时候，为了解决这个问题我们可以使用MobaXterm工具，这个工具使用起来非常方便，简单，它可以把那些不带桌面的centOS变成带桌面的centOS，而且占用内存也非常小。今天介绍一个软件，那就是可以实现Hadoop多态节点远程操作的工具MobaXtermMobaXterm这是一个...

在配置Hadoop的时候经常需要一个节点里面安装解压配置一个文件，然后就可以直接传给其他的节点，比如Hadoop实现分布式系统的时候就可以直接这样scp 要传的文件路径 目的路径-r 表示传输该文件及其里面的所有文件（递归复制）scp -r /usr/local/hadoop Master(目的节点名称)：/usr/local/当然这个还有更方便的操作：先进入要传的文件的上一级...

安装 centOS7 的详细步骤：centOS7 是可以带桌面的，对于新手来说操作起来会很方便，但是毕竟是带桌面的，比起那些不带桌面的，这种的会占更多的内存，对电脑配置要求会高一点，如果后期想搭hadoop (分布式文件系统框架)，可以主机选带桌面的centOS，其他的子节点就选用不带桌面的minimal版。安装带桌面的centOS7下载安装VMware (我下载的VMwa...

此处我以centOS6.5为例，其实centOS7 和centOS 6 步骤都一样，可以参考使用。查看虚拟机IP地址：ifconfig这样就表示没有设置IP地址，下面开始配置IP地址：（1）点击编辑——（2）虚拟网络编译器点击完更改设置之后需要等待一会儿，它会自己弹出更改页面：确定之后继续进虚拟机里面，输入一下命令： 1. cd /etc/sysconfig/n...

centOS6.5 详细安装步骤：如果后期想搭建Hadoop，主机选择带桌面的centOS7对新手来说会很方便（详细安装步骤参点击这个centOS7安装详细步骤），子节点选用centOS6.5 minimal 版本,下载连接镜像下载...