weixin_43978029的博客

大数据开发——hadoop、spark（5） 大数据第五周 1配置hadoop集群 1.1配置环境 （1）配置hadoop-env.sh 找到这句，把JAVA_HOME写进来，如下图： 注意：是修改。 （2）配置yarn-env.sh 找到如下图位置： 将JAVA_HOME变量写在if前面，例如： 1.2 配置核心配置文件core-site.xml fs.defaultFS hdfs://master:9000 hadoop.tmp.dir /home/user1/hadoopdata 1.

大数据开发——hadoop、saprk（4） 大数据第4周 1.用户名相同 要求三个虚拟机的用户名相同，否者相互访问时需要使用用户名，这样集群会有问题。 如要新增用户，先转换为root用户su root，然后执行以下操作： 添加新用户：useradd 用户名 设置用户密码：passwd 用户名 添加新用户到wheel用户组（获得sudo权限）：usermod -a –G wheel 用户名 如果要删除用户：userdel 用户名 2.关闭防火墙 检查防火墙状态：sudo systemctl status

大数据开发——hadoop、saprk（3） 大数据第三周（TuesPM） 1.验证上周安装的最小安装系统 打开虚拟机，验证是否能够上网，查看IP地址。 然后，进行系统更新。系统更新命令：sudo yum update。 2.linux系统远程使用 一般服务器系统都不安装GUI，因为没有必要，而且GUI非常占用系统资源。一般情况下，Server系统都是远程使用。如果桌面系统是linux或mac，可以直接ssh远程登陆，如果是windows，由于windows一般版本没有相应组件，需要使用第三方软件，例如：

大数据开发——hadoop、spark（2） 大数据第二周 1.安装CentOS7最小安装版 硬盘容量不小于30G。 自定义硬件中，勾选“虚拟化Intel VT-x/EPT或AMD-V/RVI(V) ”。 在此界面中，“SOFTWARE SELECTION”保持默认，因为默认就是最小安装。 安装完成后，配置网络。 进入/etc/sysconfig/network-scripts目录，使用命令 cd /etc/sysconfig/network-scripts 使用ls命令查看与网卡号相关的文件。使用i

大数据开发——hadoop、spark 大数据第一周 1安装CentOS7 用鼠标右键以管理员身份运行VmWare，点击创建新的虚拟机。 选择“典型（推荐）”，然后点击“下一步”。 给虚拟机起个名字，选择安装位置，第一个考虑是把虚拟机与宿主机放到不同的物理硬盘上，第二个考虑是硬盘读写速度。建议硬盘空余空间>40G。 建议最大磁盘大小>40G，why：因为这个节点除了要安装集群文件，还要安装开发系统。勾选“将虚拟磁盘存储为单个文件”，这样运行速度比较快。 为了安装速度比较快，点击“自定义