
Mapreducer
阿朱__
业精于勤,毁于嬉。行成于私,毁于随。
展开
-
idea打包maven或者本地的lib下的jar放到hadoop或者spark加载不到打包上去的jar包
只需要注意一点。在你自己的jar里面新建一个lib文件夹。把jar包放在里面 比如像这样。就完事了原创 2019-12-18 09:27:13 · 347 阅读 · 0 评论 -
亲测有效Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nati
Exceptionin thread “main” java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeCo 这是因为hdoop版本不对。去我的云盘里下载一下。 链接:https://pan.baidu.com/s/1MSGq_ESPKujRmO655jlkVw 提取码:x3sw 下载之后配置下环境变量就...原创 2019-11-23 11:10:14 · 584 阅读 · 0 评论 -
史上最简单mapreduce对key的正序和倒序
这个是数据: 这个是倒序 上面两张是效果图,我这里只给第一列数字排序了。 接下来直接上代码 自己新建一个类,继承WritableCompartor 重写里面的compare方法 public class Sort extends WritableComparator { public Sort(){ //这里就是看你map中填的输出key是什么数据类型,就给什么类型 super(DoubleW...原创 2018-12-19 16:35:08 · 1022 阅读 · 8 评论 -
java编写mapreduce二次排序(简单易懂)
二次排序,对value进行排序。代码都是自己亲测的可用的。 总结:分三步 1.先自定义数据类型,我这里是CombaleKey(说的通俗一点,就是把value的值也放到key中来排序),也可以叫组合key。 2.分区类 3.排序对比器 4.分区对比器 输入: 123,13 132,14 123,15 123,12 132,15 输出: 123,12 123,13...原创 2018-12-15 15:04:34 · 1460 阅读 · 2 评论 -
关于编写mapreduce程序时,不打印日志信息的解决方法
将该方法插入到main函数中,可以自行打印日志信息了 BasicConfigurator.configure(); //自动快速地使用缺省Log4j环境。 然后测试程序没有问题: BUT 虽然日志信息打印出来了 可是配置的问题其实还是没有解决 ...原创 2019-03-29 22:10:02 · 1254 阅读 · 0 评论 -
hadoop mapreduce join 合并操作
a表数据: id year bb 1 2010 1999 1 2011 1998 2 2010 1997 2 2011 1996 4 2010 1995 4 2011 1994 9 2010 1993 9 2011 1992 b表数据: id a...原创 2019-04-26 11:33:01 · 207 阅读 · 0 评论