MapReduce
热情散尽
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
MapReduce的Shuffle过程
***mapreduce的工作流程Shuffle机制:Shuffle机制:Map 方法之后Reduce方法之前这段处理过程叫ShuffleMap方法之后,数据首先进入分区方法,把数据标记好分区,然后把数据发送到环形缓冲区;唤醒缓冲区的默认大小为100M,环形缓冲区达到80%时,进行溢写;溢写前对数据进行排序,排序按照对key的索引进行字典顺序排序,排序的手段快排;溢写产生...原创 2020-03-19 18:23:17 · 237 阅读 · 0 评论 -
hadoop集群测试jar包以及历史命令
使用idea打jar包1.在pom文件的下边将 打包插件2.然后impor 下载打jar包依赖3.在以来中指定主类,包名,类名mrTest.dirver4.点开idea右边的maven project , 然后打开Lifecycle.如果已经存在 tartget 文件夹,点击clean清除点击complite 编译点击package 打包打包完后会生成两个jar包一个jar包...原创 2019-07-18 19:17:19 · 885 阅读 · 0 评论
分享