guofeng_0的博客

HADOOP-HDFSHDFS简介HDFS优缺点HDFS支持的命令HDFS简介HDFSHadoop分布式文件系统Hadoop Distributed File SystemHDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能够提供高吞度量的数据访问，非常适合大规模数据集的使用。HDFS放宽了POSIX约束、实现流式读取文件系统数据的目的。POSIX：可移植操作系统接口，Portable Operating System Interface。HDFS体系结构HDFS采用了主从

CDH 7.1.4 大数据平台搭建-新手指南环境介绍笔记本硬件软件及版本环境准备虚拟系统安装挂载离线安装ISO文件安装httpd搭建http服务器下载CM和CDH安装包安装createrepo软件打包CM文件配置hostname和hostshostnamehosts建立互信重新制作ISO的repo，方便其他机器访问通过http升级软件和系统内核（未执行）禁用SELinux关闭防火墙集群时钟同步（未完成）设置swap设置透明大页面关闭iptables（未执行）设置limits按照Mysql安装jdbc驱动安装

HADOOP文件操作命令欢HADOOP文件操作命令命令格式欢HADOOP文件操作命令命令格式hadoop fs -cmd argsLShadoop fs -ls /dirPUThadoop fs -put localfile hdfsfileadoop fs -put - hdfsfileGEThadoop fs -get hdfsfile local file or dirRMhadoop fs -rm hdfsfilehadoop fs -rm -r hdfsdirMK