XiaoYu的博客

Hadoop 2.7.1 在安装好以后启动或者运行时总会出现这个警告提示：WARN til.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable，警告意思：找不到本地库出现原因之一：由于hadoop本地库与系统版本...

linux（centos7）用户重命名 1 . 注销要重命名的用户，改用其他用户或管理员登录。 2 . 修改用户名 usermod -l 新名 旧名 id 旧用户名 # 不存在 id 新用户名 # 显示用户名、组等信息 3 . 修改组名 groupmod -n 新组名 旧组名 id 新用户名 # 显示用户名、组等信息 4 . 修改新用户...

1、在Hadoop配置的基础上，配置环境变量HBASE_HOME、hbase-env.sh　　　　编辑 vim /etc/profile  加入 　　　　　 export  HBASE_HOME=/opt/hbase-1.2.6 　　　　     export  PATH=$HBASE_HOME/bin:$PATH　　　　编辑vim /opt/hbase-1.2.6/conf/hbase-env....

SSH的英文全称是Secure SHell。通过使用SSH，你可以把所有传输的数据进行加密，这样“中间人”这种攻击方式就不可能实现了，而且也能够防止DNS和IP欺骗。还有一个额外的好处就是传输的数据是经过压缩的，所以可以加快传输的速度的.ssh有很多功能，它既可以代替远程登录，又可以为FTP，POP，甚至PPP提供一个安全的“通道”。SSH在Linux中的服务是sshd，安装openssh后才可开...

总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。1、环境，3台CentOS 7，64位，Hadoop2.7需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十几分钟就可以安装完成，Master 192.168.0.182Slave1 192.168....

Shell 命令可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题，执行：Shell 命令如下图，找到 root ALL=(ALL) ALL 这行（应该在第98行，可以先按一下键盘上的 ESC 键，然后输入 :98 (按一下冒号，接着输入98，再按回车键)，可以直接跳到第98行），然后在这行下面增加一行内容：hadoop ALL=(ALL) ALL （当中的间隔...

在正常启动的hadoop的时候系统没有报错，但是JPS查看进程的时候发现缺少了节点管理器，查看后台的日志进程...问题：发现如下错误：FATAL org.apache.hadoop.yarn.server.nodemanager.NodeMana ger：启动NodeManager时出错  org.apache.hadoop.yarn.exceptions.YarnRuntimeException...

1，映射精简实际处理流程1.1，输入阶段数据以一定的格式传递给映射器，有的TextInputFormat，DBInputFormat，SequenceFileFormat等可以使用，在Job.setInputFormat可以设置，也可以自定义分片函数。1.2，地图阶段对输入的（键，值）进行处理，即图（K1，V1） - >列表（K2，V2），使用Job.setMapperClass进行设置。1...

（1）从本地文件系统中导入数据到Hive表；（2）从HDFS上导入数据到Hive表；（3）从别的表中查询出相应的数据并导入到Hive表中；（4）在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中...

hadoop的集群是基于master/slave模式，namenode和jobtracker属于master，datanode和tasktracker属于slave，master只有一个，而slave有多个.SecondaryNameNode内存需求和NameNode在一个数量级上，所以通常secondary NameNode（运行在单独的物理机器上）和 NameNode 运行在不同的机器上。Jo...

1.Hadoop集群可以运行的3个模式？单机（本地）模式伪分布式模式全分布式模式2.  单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。3.  伪分布模式中的注意点？伪分布式（Pseudo）适用于开发和测试环境，在这...