xubaoyong的专栏

学习hadoop,第一课，先安装吧。     按照书上说明，先到http://hadoop.apache.org/下载最新的release版本，我这里使用的是hadoop-1.1.2.tar 解压压缩安装目录：/home/java/hadoop   设置环境变量： export HADOOP_INSTALL=/home/java/hadoop/hadoop-1.1.2 export...

初次使用，这里写下来，留作记录。我这里服务器是centos,客户端我用的是windows系统。1.准备的软件是： 1）Puttygen 2）WinSCP 这些软件网上可以下下载到。 2.详细步骤： 2.1使用命令 vi /etc/ssh/sshd_config，将下面代码前面的注解#去掉。　　RSAAuthentication yes　　PubkeyAuthentication ye...

hadoop 各个组件均利用XML文件进行配置。core-site.xml文件用于配置Common组件的属性，hdfs-site.xml文件用于配置HDFS属性，而mapred-site.xml文件则用于配置MapReduce属性。这些配置文件都放在conf子目录中。 hadoop的运行模式有三种： 1）独立模式：在本机模式下测试和调试，适宜用在开发阶段。 2）伪分布模式：hadoop守...