Java 之 道

最近打算学习一下分布式计算，首选Hadoop框架，于是安装了虚拟机VMware8，本来不打算安装虚拟机的，毕竟Linux是0基础，之前想在window下安装一个Cygwin模拟Linux环境，但是用的时候出现了问题，找了很久也没有找到很好的解决办法，于是换了种思路，老老实实安装虚拟机，第一次在其之上安装了Ubuntu12.0版本，桌面卡到不行，网上查了下经典版本Ubuntu还是10.版本之前的比较

通常为了使用方便，我们把当前用户的权限设置为root，但在使用ssh localhost命令时，会出现认证失败的提示，sshd_config文件内容也进行了相应修改没用，后来尝试修改了一下root密码，没想到OK了。root@chiminh-ubt:~# passwd root输入新的 UNIX 密码： 重新输入新的 UNIX 密码： passwd：已成功更新密码roo

出现这个错误： java.net.ConnectException: Connection refused no further infomation首先要保证start-all.sh启动集群，然后用jps命令查看启动的6个服务，一个都不能少。由于我用的是VMware8安装的Ubuntu10.04，网络编辑器里设置的是NAT方式，用这种方式连接网络就会出现上述问题，而且在WIN7下 用te

org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: 异常Input path does not exist异常分析描述：今天按照hadoop的快速入门练习hadoop出现下面的错误org.apache.hadoop.mapreduce.lib.input.In

运行Hadoop例子的一般流程：Linux命令如下：1.格式化nameNode$ bin/hadoop namenode -format2.启动集群：$ bin/start-all.sh3. 将已存在于Ubuntu文件系统中的输入文件放到 HDFS 文件系统的/home/testin目录下(这个文件目录在Ubuntu文件系统中找不到，因为它是存在于HDFS系统中

发布时间： 2014-7-4 14:14:04   　　通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。　　通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、Hive是如何运行，以及基于Hadoop数据

目录：1.MapReduce作业运行流程2.Map、Reduce任务中Shuffle和排序的过程正文：1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图：   流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包

HIVE和HBASE区别1. 两者分别是什么？    Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。