
hadoop
敏捷利齐
编程中最没用的东西是源代码,最有用的东西是算法和数据结构
展开
-
hadoop实战学习之用MapReduce简单对整形数据进行全局排序
参照:http://blog.youkuaiyun.com/yeruby/article/details/21233661 http://segmentfault.com/q/1010000000758178虽然MapReduce过程就有排序,但是他得排序只是针对某个节点上某个reduce任务,可是一个JobTracker任务有N个reduce任务,并不能保证全局顺序的正确性。(1)如果reduce原创 2015-02-27 17:26:45 · 813 阅读 · 0 评论 -
Hdoop实战学习之单表关联程序分析
package com.hadoop.tablerelation;import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Te原创 2015-02-28 13:08:14 · 828 阅读 · 0 评论 -
hadoop指令
hadoop fs -ls [path] 列目录信息,包括文件名、权限、拥有者、大小以及修改时间hadoop fs -lsr [path] 与-ls类似,同时还要列出子目录中得内容hadoop -du [path] 输出指定目录包含的每一个文件的磁盘的使用情况(每个文件,单位为字节数)hadoop -du -s [path] 输出某一个目录磁盘的使用情况hadoop -mv原创 2015-03-03 12:50:36 · 661 阅读 · 0 评论 -
Hadoop2.x与Zookeeper安装
Hadoop2经典分布式部署模式基于QJN的HA模式的分布式部署,不含Federation模块的实践是一个经典的Hadoop2的高可用的分布式部署模式。1.准备测试环境准备4台PC服务器做Hadoop2部署ip | hostname|namenode|fc|datanode|rm|nodemanage|QJN 10.71.84.237 hadoop201 Y Y Y Y Y Y原创 2015-05-21 12:47:28 · 1318 阅读 · 0 评论