zhangt85的专栏

操作系统ubuntu12.04Hadoop版本hadoop-2.6下载地址:http://hadoop.apache.org/releases.html 页面中有个链接:Download a release now! 安装步骤解压    tar zxvf  hadoop-2.6.0.tar.gz配置环境变量   vi /e

1.工程中引入的依赖 org.apache.hadoop hadoop-client 2.6.0 2.两种实现机制实现1：static{ URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); } public static void ma

依赖 org.apache.hadoop hadoop-client 2.6.0上传文件/** * 上传文件到hdfs系统 * 伪分布方式启动下的实现 * @param s 源文件 * @param d 目标路径 * @throws IOException * @see [类、类#方法、类#成员]

每次系统(ubuntu12.04)进行重启后，发现之前HDFS的格式化都失效了。启动hadoop，执行 ps -ef | grep hadoop就会发现 namenode节点没有起来我使用伪分布配置启动。执行如下命令，查看默认的8020端口也没有起来netstat -nap|grep 8020或者lsof -i:8020观察hadoop namenode -fo

转载:http://my.oschina.net/itblog/blog/275294分析MapReduce执行过程    MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个

转载:http://my.oschina.net/itblog/blog/275294

查看日志如下:2014-12-22 12:08:27,264 INFO org.mortbay.log: Started HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0:500752014-12-22 12:08:27,692 INFO org.apache.hadoop.hdfs.server.datanode.Data

hadoop2.0有了yarn所以原来的mapred配置都转向yarn-site.xml文件中了，这里也就指定yarn。 yarn-site.xml，为方便，未进行配置。    core-site.xml配置参考：http://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-common/core-default