mn525520的博客

此脚本仅供参考，请谨慎使用！！！当时是为了解决平台在部署中出现的问题而写的脚本。当遇到没有任何解决办法的资料时，一时间也找不到问题的根源，我就使用排除法。然后找到并解决问题。#############本脚本在master节点执行。##################################执行脚本前，两个节点必须是纯净的系统。先将大数据镜像放到master节点/opt目录下，然后配置好两台主机的hosts文件和hostname以及免密登陆。################master=192

问题一：[root@Hadoop~]# hiveSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/root/hive/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in [jar:file:/usr/hadoop/share/hadoop.

501.配置master Node的主机名为：master；slaver1 Node的主机名为：slaver1。将查询2个节点的主机名信息以文本形式提交到答题框。[root@master ~]# hostnamemaster[root@slave ~]# hostnameslave502.修改2个节点的hosts文件，配置IP地址与主机名之间的映射关系。将查询hosts文件的信息以文本形...

Spark 题：在先电大数据平台部署 Spark 服务组件,打开 Linux Shell 启动 spark-shell终端,将启动的程序进程信息以文本形式提交到答题框中。[root@master ~]# spark-shellSetting default log level to “WARN”.To adjust logging level use sc.setLogLevel(ne...

Flume 题：1.在 master 节点安装启动 Flume 组件,打开 Linux Shell 运行 flume-ng 的帮助命令,查看 Flume-ng 的用法信息。[root@master ~]# flume-ng helpUsage: /usr/hdp/2.6.1.0-129/flume/bin/flume-ng.distro [options]…commands:help...

Mahout 题：在 master 节点安装 Mahout Client,打开 Linux Shell 运行 mahout 命令查看Mahout 自带的案例程序。[root@master ~]# mahoutMAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath.Running on hadoop, using /us...

Pig 题：在 master 节点安装 Pig Clients,打开 Linux Shell 以 MapReduce 模式启动它的 Grunt。[root@master ~]# pig -x mapreduce19/05/13 12:22:05 INFO pig.ExecTypeProvider: Trying ExecType : LOCAL19/05/13 12:22:05 IN...

Sqoop 题：在 master 和 slaver 节点安装 Sqoop Clients,完成后,在 master 节点查看Sqoop 的版本信息。[root@master ~]# sqoop-versionWarning: /usr/hdp/2.6.1.0-129/accumulo does not exist! Accumulo imports will fail.Please ...

Hive 题：启动先电大数据平台的 Hive 数据仓库,启动 Hvie 客户端,通过 Hive 查看 hadoop 所有文件路径（相关数据库命令语言请全部使用小写格式）。[root@master ~]# hivelog4j:WARN No such property [maxFileSize] in org.apache.log4j.DailyRollingFileAppender....

HBase 题：启动先电大数据平台的 Hbase 数据库,其中要求使用 master 节点的RegionServer。在 Linux Shell 中启动 Hbase shell,查看 HBase 的版本信息。（相关数据库命令语言请全部使用小写格式）[root@master ~]# hbase shellHBase Shell; enter ‘help’ for list of supp...

MapReduce 题：在集群节点中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目录下,存在一个案例JAR 包 hadoop-mapreduce-examples.jar。运行 JAR 包中的 PI 程序来进行计算圆周率π的近似值,要求运行 5 次 Map 任务,每个 Map 任务的投掷次数为 5。root@master ~]# su hdfs[hdfs...

HDFS 题：在 HDFS 文件系统的根目录下创建递归目录“1daoyun/file”,将附件中的BigDataSkills.txt 文件,上传到 1daoyun/file 目录中,使用相关命令查看文件系统中 1daoyun/file 目录的文件列表信息。[root@master ~]# su hdfs[hdfs@master ~]$ hadoop fs -mkdir -p /1dao...