streaming
关注
分享
扫一扫
太阳的味道
活泼开朗、适应力强、认真负责、吃苦耐劳，有良好的学习、沟通、协调能力，具备良好的团队合作精神，对工作积极严谨。平时爱好户外运动，喜欢打羽毛球。
展开
-
Hadoop Streaming 常见错误
1、streaming默认的情况下，mapper和reducer的返回值不是0，被认为异常任务，将被再次执行，默认尝试4次都不是0，整个job都将失败[plain] view plaincopyjava.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess fa转载 2013-07-15 11:58:39 · 1817 阅读 · 0 评论 -
hadoop streaming 参数设置
Hadoop Streaming用法Usage: $HADOOP_HOME/bin/hadoop jar \$HADOOP_HOME/hadoop-streaming.jar [options]options：（1）-input：输入文件路径（2）-output：输出文件路径（3）-mapper：用户自己写的mapper程序，可以是可执行文件或者脚本（4）-reduce转载 2013-08-29 16:23:08 · 3403 阅读 · 0 评论