
hadoop
updownline
这个作者很懒,什么都没留下…
展开
-
查看mapreduce日志
在linux中没法看到map和reduce自定义的日志,比如syso打印的 访问上面链接 往下拉选择map或者reduce 选择一个task 点击logs finish原创 2019-10-12 11:08:52 · 1012 阅读 · 0 评论 -
idea打包hadoop的mapreduce程序,使用maven的方式
前提:这个例子是mapreduce的基本流程,需要已经搭建好的hadoop环境,至于hadoop,hdfs,mr的关系呢,看书吧。大概流程是这样的,hadoop环境搭建好以后,自己创建两个文件,通过hadoop命令将文件扔到hdfs里面。通过写代码通常java书写mapreduce程序,就可以对hdfs里面的文件进行相关操作,比如统计。下面的步骤主要是idea打包mr程序。 1 idea创建ma...原创 2019-10-11 16:44:52 · 4595 阅读 · 0 评论