
hadoop/spark
GoJawee
这个作者很懒,什么都没留下…
展开
-
2.修改/etc/hosts文件 /安装SSH、配置SSH无密码登陆(全程切换到hadoop用户下操作)
修改/etc/hosts文件 sudo gedit /etc/hosts127.0.0.1 localhost192.168.222.129 master 下面分别对应三个机器的IP地址,用ifconfig查看192.168.222.130 slave1192.168.222.131 slave2# The following lines are desirable for IPv原创 2017-08-10 11:06:31 · 2858 阅读 · 0 评论 -
1.VMware安装3个ubuntu14.05
VMware Workstation 10 for Linux(64 位)官方中文版下载地址: http://www.verycang.com/vmware-workstation-chinese.html JZ6WK-4529P-HZAA1-9RAG6-33JNR 5F4EV-4Z0DP-XZHN9-0L95H-02V17VMware Ubuntu安装详细过程: http原创 2017-08-09 12:48:44 · 837 阅读 · 0 评论 -
7.测试hadoop安装成功与否,并跑mapreduce实例
hadoop2.6.5集群安装及mapreduce测试运行 http://blog.youkuaiyun.com/fanfanrenrenmi/article/details/54232184【准备工作】在每一次测试之前,必须把前一次测试完的文件删除掉,具体命令见下:#################################在master机器上:su hadoop #切换用户##########原创 2017-08-12 21:18:53 · 3834 阅读 · 0 评论 -
6.神操作(把master上的三个安装包scp给slave)—Hadoop完全分布式搭建完成
一、把master上的3个安装包拷贝到slave1、slave2机器上的/data目录下先进入/data目录下,打开终端,不用修改用户再:scp -r hadoop-2.6.5/ scala-2.11.8/ jdk1.8.0_111/ hadoop@slave1:/data/scp -r hadoop-2.6.5/ scala-2.11.8/ jdk1.8.0_111/ hadoop@sl原创 2017-08-12 21:06:23 · 2534 阅读 · 0 评论 -
加载Hadoop+spark镜像文件需要修改的配置文件
用虚拟机加载镜像后需要做的调整工作; (1)分别查看三台机器的IP地址ifconfig (2)修改/etc/hosts文件中的IP地址 (3)修改三台机器中的Spark的配置文件中的master的IP 1.先进入${SPARK_HOME}/conf目录 2.再修改配置文件sudo gedit spark-env.sh中的IP地址原创 2017-08-13 12:59:00 · 455 阅读 · 0 评论 -
二、安装Spark集群
【一个很疑惑的问题】 为什么我们一直在反复做一个操作:就是scp拷贝过来拷贝过去?【答案】这是为了将文件或目录的权限修改成hadoop所属组。一. 下载Spark安装包并传给mster机器,使权限是hadoop①在slave1机器上下载Spark(进入官网下载更快) ②解压安装包 tar -zxvf spark-1.6.3-bin-hadoop2.6.tgz -C /data③原创 2017-08-13 11:09:30 · 367 阅读 · 0 评论 -
3.在slave1机器下载3个安装包解压后,复制给master机器
务必:从机器slave1或者slave2中下载下面三个安装包一、在slave1机器上下载下面三个安装包jdk-8u111-Linux-x64.tar.gz下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html (更多版本:Java Archive)scala2.11.8 下载地址:http://www.scal原创 2017-08-12 20:23:17 · 927 阅读 · 0 评论 -
5.修改hadoop配置文件
一、创建Hadoop使用到的目录先在本地创建目录/home/hadoop/hadoop/home/hadoop/hadoop/tmp/home/hadoop/hadoop/namenode/home/hadoop/hadoop/datanodemaster@master:/home/hadoop$ su hadoop #切换到hadoop用户密码: hadoop@master:~$ mk原创 2017-08-12 20:57:28 · 8167 阅读 · 0 评论 -
4.在master机器上配置环境变量
重点: 所有的环境变量的配置,必须配置在hadoop用户的~/.bashrc文件中一、在master机器上配置hadoop的环境变量(1)su hadoop #切换到hadoop用户下sudo gedit ~/.bashrc加入下面的内容export JAVA_HOME=/data/jdk1.8.0_111export PATH=$JAVA_HOME/bin:$PATHexport原创 2017-08-12 20:31:37 · 677 阅读 · 0 评论 -
【查看hadoop镜像】
1.先查看用户 sudo gedit /etc/hosts2.sudo passwd修改密码3.ifconfig修改sudo gedit /etc/hosts文件 ping测试4.查看root用户、第三方用户可以ssh ssh测试5.eclipse安装?6.spark安装?原创 2017-08-13 21:01:28 · 1110 阅读 · 0 评论