desperado0726的博客

apache官网对于reduce中k,v复用的描述如下： The framework calls this method for each <key, (list of values)> pair in the grouped inputs. Output values must be of the same type as input values. Input keys must not be altered. The framework will reuse the key and val

Hadoop中的TextInputFormat切片的源码分析 查看TextInputFormat发现并没有切片方法 查看TextInputFormat的父类FileInputFormat 切片方法源码 public List<InputSplit> getSplits(JobContext job) throws IOException { StopWatch sw = new StopWatch().start(); long minSize = Math.max(getF

Hadoop常用配置参数说明core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml core-site.xml 参数 默认值 说明 fs.defaultFS file:/// 指定HDFS中NameNode的地址 hadoop.tmp.dir /tmp/hadoop-${user.name} 指定Hadoop运行时产生文件的存储目录 hadoop.http.staticuser.user dr.who 通过web界面操作hdfs的

Hadoop运行环境搭建虚拟机环境准备1. 克隆虚拟机2. 修改克隆虚拟机的静态IP2.1修改70-persistent-net.rules，复制 ATTR{address}2.2修改ifcfg-eth03. 修改主机名4. 配置host5. 关闭防火墙6. 创建用户7. 配用户具有root权8．将原来安装好的Hadoop和Java拷贝到新虚拟机/opt目录9．拷贝配置文件10．source配置文件 虚拟机环境准备 1. 克隆虚拟机 2. 修改克隆虚拟机的静态IP 2.1修改70-persistent-ne

rsync 远程同步工具 rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新, scp是把所有文件都复制过去。 基本语法 rsync -rvl $pdir/$fname $user@hadoop$host:$pdir/$fname 命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称