
Hadoop
Mr.BelieVe
这个作者很懒,什么都没留下…
展开
-
Hadoop 2.8.5在ResourceManager(YARN管理界面)查看任务执行状态
在使用hadoop自带的wordcount之后,在hdfs的web界面(2.8.5版本为端口50070)可以看见任务完成但在8088的ResourceManager中看不见原因是没有打开JobHistory Server JobHistory Server详解 它的作用我还没搞懂在hadoop/sbin目录下,输入mr-jobhistory-daemon.sh start history...原创 2019-07-09 16:31:44 · 6334 阅读 · 4 评论 -
hadoop wordcount 分步按照value降序排序
面向有wordcount输出结果的,经过默认排序的由于wordcount自带的是按照字母表顺序排序的,所以我们第一步就是要把自带排序给替换成按照value降序排序的@DecreasingComparator.javapublic class DecreasingComparator extends Text.Comparator { @SuppressWarnings("rawtyp...原创 2019-07-13 22:05:55 · 1751 阅读 · 1 评论 -
查看hadoop自带examples下所含有的程序
进入/hadoop/share/hadoop/mapreduce根据你的路径来进入root@kali:/usr/local/hadoop/share/hadoop/mapreduce# lshadoop-mapreduce-client-app-2.8.5.jarhadoop-mapreduce-client-common-2.8.5.jarhadoop-mapreduce-client...原创 2019-07-10 09:50:44 · 1426 阅读 · 0 评论 -
Hadoop 实现统计小数相加
待解决,程序有错误@Wordmapper.java x1如果用floatWritable会报错,是不是要override?public class Wordmapper extends Mapper<Object,Text,Text,IntWritable>{ protected void map(Object key,Text value,Context conte...原创 2019-07-14 13:39:19 · 271 阅读 · 0 评论