指剑

一、掌握spark的安装与环境配置二、掌握spark的安装与环境配置三、掌握Ubuntu下的Python的版本管理与第三方的安装四、掌握windows下Pycharm与Ubuntu的同步连接五、掌握Spark读取文件系统的数据参考网站:https://spark.apache.org/docs/1.1.1/quick-start.html一、写在最前:实验环境操作系统：Ubuntu16.04；Spark版本：2.4.6；Hadoop版本：2.7.1。Python版本：3.5.。点击

1.创建数据库并授权2.获得admin凭证执行管理员命令并创建服务证书1.创建数据库并授权

一、Master节点创建hbase文件夹，并解压tar包2、Master节点添加环境变量并生效配置3、Master节点编辑配置文件4、master节点拷贝文件到 hdfs5、mater节点分发到其他节点6、master节点启动hadoop集群7、启动zookeeper8、启动hbase9、jps查看进程10、启动hbase shell11、关闭并退出Master节点创建hb...

一、创建 /usr/zookeeper 文件夹二、解压缩 zookeeper-3.4.10.tar.gz三、备份zoo.cfg文件四、编辑zoo.cfg文件修改五、编辑环境变量并生效六、启动 zookeeper 服务,查询 zookeeper 状态七、关闭 zookeeper 服务。八、重启 zookeeper 服务九、jps查看进程1、创建 /usr/zookeeper 文件...

Node2节点配置Master节点配置Node1节点配置启动Hive并测试一、Node2节点配置Node2节点执行：1、安装mysqld/mariadb服务(建议使用离线源)[root@node2 ~]# yum -y install mariadb-server2、启动mysql服务，并设置开机自启[root@node2 ~]# systemctl start mariadb...

报错提示:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid请在yarn-site.xml中添加<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuff...

最近总有朋友问如何免密登陆，其实方法很简单1、设备配置列表2、主机名映射3、生成密钥4、将密钥发送到各个节点5、注意事项及验证1、假设有如下设备设备编号主机名系统IP地址1mastercentos7.210.0.0.102node1centos7.210.0.0.113node2centos7.210.0.0.122、首先，...

1、设备配置列表2、主机名映射3、生成密钥4、将密钥发送到各个节点5、注意事项及验证6、关闭防火墙和SeLinux安全模块(所有主机均需操作7、解压JDK包，设置Java环境变量(所有主机均需操作)，解压hadoop包，并设置环境8、配置Hadoop相关配置文件9、将已经修改好的文件使用scp命令复制到各个节点10、node1 、 node2使环境生效，并验证11、启动hado...