YellowXiuHui的博客

1.由于Hive合成了Tez引擎，Tez加载需要预留大量的内存，所以才高速运行。有时会报这个错Container killed on request. Exit code is 143Container exited with a non-zero exit code 143Failing this attempt. Failing the application.2020-04-04T1...

1.群起脚本后缀名为.sh2.echo $PATH 可看到有个/home/atguigu/bin目录，所以脚本可以放在这目录下，没有就新建一个3.注意.bashrc脚本(在家目录下)，里面要配置source src。否则脚本不生效。...

1.群发脚本XSync(xsync)#!/bin/bash#1 获取参数，如果不够直接退出pcount=$#if ((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname#3 获取上级目录到绝对路径pdir=`cd -P $(dirname $p...

一,TopN全排序的实现有两种方式1.对象实现WritableComparable接口Bean类public class FlowBean implements WritableComparable<FlowBean> { private long upFlow; private long downFlow; private long sumFlow;...

这一行必须设置在获取实例之前否则，Mapper输入格式会不生效，按默认的<行偏移量，行>读取。

1.一个切片，对应开启一个MapTask。3个切片对应3个MapTask。2.所有的MapTask结束，才会进到Reduce。就像所有一行一行读取完，才会进入reduce。

// 原因是hadoop的环境变量没配置好，可能是杀毒软件误删导致的！解决方法：1.win + r ，输入cmd，敲回车，doc窗口命令输入hadoop，查看版本信息。2.如果找不到命令，得重新解压hadoop安装包，重新配环境变量！...