Lpy的博客

Hadoop 格式化的时候报错：dfs.namenode.format.enable false。此时启动集群会发现 Namenode 无法启动，其实就是 Namenode 格式化失败了。原因：很有可能是你们公司在编译 hadoop 的时候故意把格式化功能注释掉了。解决办法：在 hdfs-site.xml 添加一个配置<property> <name>dfs.namenode.format.enable</name> <value&

一、数据导入1.最基本的导入方式：loadload data [ local ] inpath '/opt/module/datas/test.txt' [overwrite] into table student [partition (partcol1=val1,…)];local：从本地导入加上 local ，从 hdfs 导入不用加 overwrite：是否覆盖之前的数据 partition：导入指定分区栗子：a).加载本地文件到 hivehive (default..

一、RDDobject Test { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("Spark").setMaster("local[*]") val sc = new SparkContext(conf) val listRDD: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4, 5, 6, 6, 3), 3) //sc.

一、文件配置yarn-site.xml（直接覆盖 configuration 内容）<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!--启用resourceman.

xsync:#!/bin/bash#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if ((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname#3 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1); pwd`echo pdir=$pdir#4 获取当前用户名称user=`whoami`#5 循环

一、文件配置(配置顺序并无先后)1.配置hadoop-env.sh打开hadoop.env.sh：vim hadoop/etc/hadoop/hadoop/env.sh 修改：export JAVA_HOME=/你的路径/jdk1.8.0_144，根据自己安装的jdk版本及路径配置2.配置core-site.xml。注意：第二项路径要改为自己的真实目录<configuration><!-- 把两个NameNode）的地址组装成一个集群mycluster --&gt..

切换到.ssh目录下：cd .ssh 生成公钥私钥：ssh-keygen -t rsa 分发公钥至本机（首先实现本机免密登陆）：ssh-copy-id hadoop102 将最新的 .ssh 文件拷贝到集群所有机器：xsync .sshxsync：分发脚本。内容如下：#!/bin/bash#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if ((pcount==...