xia_yu_mao_fa的专栏

集群安装配置Hadoop集群节点：node4、node5、node6、node7、node8。具体架构：node4Namenode,secondnamenode,jobtrackernode5Datanode,tasktrackernode6Datanode,tasktracker

mapreduce数据本地化（核心特征）、无共享。   1  HDFS的设计为了存储超大文件 流式访问（一次写入多次读取）商用硬件（不需要超豪华的机器）   2  数据快（block）磁盘一般是512字节 HDFS默认是64M 但与其他文件系统不同的是小于一个块大小的文件不会占用整个块的空间。块为什么设置这么大？（最小化寻址开销）块抽象带来的好处（一个文件的

设置语言环境1$exportLC_ALL=en设置ant初始参数修改build-contrib.xml文件12$cd $HADOO_HOM/src/contrib$vibuild-contrib.xml

1、ssh免密码登陆失败：master执行ssh-keygen -t rsa,在

部署安装了最新稳定版hadoop2.2.0，然后在网上找来fuse-dfs编译教程，但是最后失败了，至今原因未知～～，错误描述为：Transport endpoint is not connected。后将安装部署hadoop1.2.1版本，最后测试成功，记录如下：使用root完成一下操作：1、安装依赖包apt-get install autoconf automake libtool

几个关键性的概念1 云计算是指利用大量计算节点构成的可动态

hdfs-webdav能讲hdfs映射为本地文件系统。通过实现webDav Http协议。可以如使用本地文件系统一样使用hdfs。war部署。修改WEB-INF/classes/hadoop-site.xml，修改fs.default.name属性，以确定hdfs-webdav要连接的hadoop namenode server.替换hadoop的核心jar包。hadoop-core-1.2.1.