qq_29305191的博客

MapReduce 1、MapReduce原理 (先分析，在编程) 1、WordCount 2、Yarn平台调度 3、分许WordCount单词计数的数据流程 4、开发自己的WordCount程序  2、MapReduce编程 1、三种方式运行mr windows本地运行 打包成jar，上传linux 命令hadoop jar xxx windows打成jar，然后本地运行，通知...

MR的等值连接 利用MapReduce的功能，v3是相同的k2的v2的集合，这一特性，筛选出对应关系 1.程序流程 要求：得出相应部门的所有员工 根据两个表，部门表和员工表,两个表部门号相同 2.Java编程 1).Maper 要点：取出两个表的部门号作为k2，v2 部门名称+员工姓名，部门姓名加 “*”用作区分 package demo.mutiltable; impo...

分区 多个分区，有多个文件 分区类型 范围分区 列表分区 散列分区 范围-散列 范围-列表 散列分区：(Hive 桶表) 避免热库的产生MapReduce实例 　　使用MR实现一个分区：根据员工的部门号，将相同部门号的员工分到一分区 要点：在Mapper的输出创建分区 即对k2 v2进行操作 创建一个序列化对象 Employee package demo.partition;...