
hadoop
暉暉
不断努力,不断进步,
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop伪分布式搭建-(1)
1.0配置虚拟机子网网段(hostonly模式时) 点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only -> 修改subnet ip 设置网段:192.168.8.0 子网掩码:255.255.255.0 -> apply -> ok设置本地机器IP 回到windows –> 打开网络和共享中心 -> 更改原创 2016-01-19 17:06:51 · 557 阅读 · 0 评论 -
Hadoop伪分布式搭建-(2)
安装JDK2.1从Windows上传jdk到虚拟机你可以用FlashFXP/FileZilla/SecureCRT将jdk-7u79-linux-x64.gz传到Linux上。假设现在你已经传到了虚拟机的root目录下2.2解压jdk#创建文件夹mkdir /usr/java#解压tar -zxvf jdk-7u79-linux-x64.gz -C /usr/java/2.3将java添加到原创 2016-01-19 17:14:09 · 451 阅读 · 3 评论 -
Hadoop伪分布式搭建-(3)
安装hadoop2.4.1(或其他更高版本<最好用更高的64位版本,免得重新编译>)注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop伪分布式需要修改5个配置文件3.0上传hadoop并解压到指定目录同jdk一样,上传Hadoop的包到本目录,并在root目录下创建/dh/这个目录,将Hadoop解压到该目录3.1配置hadoop第一个:hadoop-env.sh文原创 2016-01-19 17:19:15 · 540 阅读 · 0 评论 -
Hadoop伪分布式搭建-(4)
生成ssh免登陆密钥进入到/dh/下的home目录(隐藏) cd ~/.sshssh-keygen -t rsa (一直回车)执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)将公钥拷贝到要免登陆的机器上ssh-copy-id -i localhost (ssh-copy-id -i 要免登陆的机器的IP)或cat ~/.ssh/id_rsa.pub >>原创 2016-01-19 17:21:13 · 342 阅读 · 0 评论 -
HDFSh和YARN启动异常可以尝试一下配置
vim /etc/profileexport JAVA_HOME=/usr/java/jdk1.7.0_79export HADOOP_HOME=/dh/hadoop-2.4.1export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib#解决Hadoop2.4.1启动报错问题expor原创 2016-01-19 17:22:20 · 497 阅读 · 0 评论 -
hadoop2.x部署警告:Unable to load native-hadoop library for your platform
有时候你的Hadoop是32位的,你通过自己编译后为64位,有的时候你的Hadoop直接就是64位的,但不管是自己编译的还是官方的Hadoop进行部署的时候会出现警告: WARN util.NativeCodeLoader:Unable to load native-hadoop library for your platform…using builtin-java classes where原创 2016-01-19 17:23:59 · 460 阅读 · 0 评论 -
hadoop2.4.1及2.4以上版本集群搭建
hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA注意:apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库, 所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译 (建议第一次安装用32位的系统,我将编译好的6原创 2016-09-29 14:19:46 · 1321 阅读 · 0 评论