--==================HDFS架构========================
=》Hadoop Distributed File SYSTEM
* 易于扩展的分布式文件系统
* 运行在大量廉价机器上,提供容错机制
* 提供文件存取服务
=》namenode 负责管理文件系统的命名空间,
负责操作元数据
负责决定副本存入位置,让用户先读取最近的副本
周期性的从每个datanode接收心跳信号和块状态报告
=》Datanode 数据块在datanode以块存储在磁盘上包括数据本身和元数据(长度,校验和时间戳等)
启动后向Namenode注册,并周期性上报所有的块信息
心跳:带有namenode的命令,如复制。10分无心跳,该datanode不可用
可以安全的加入和退出一些机器
=》文件: 默认128M,副本,文件内容不能修改,但是可以追加
=》数据损坏处理:读数据时计算checksum,若与创建时不一样,则为损坏
读其它datanode上的,并复制文件达到默认副本数
--==================HDFS交互式shell使用========================
=》bin/hdfs dfs 查看所有hdfs命令
--==================开发环境准备========================
=》安装maven
tar -zxf apache-maven-3.0.5-bin.tar.gz -C /opt/modules
vi /etc/profile
source /etc/profile
mvn -version
配置maven
/conf/setting.xml
=》安装eclipse
=》eclipse与maven集成
=》设置eclipse快捷键
content Assist ALT+/
word completion ctrl+space
=》创建maven工程并设置输出目录
=》Hadoop Distributed File SYSTEM
* 易于扩展的分布式文件系统
* 运行在大量廉价机器上,提供容错机制
* 提供文件存取服务
=》namenode 负责管理文件系统的命名空间,
负责操作元数据
负责决定副本存入位置,让用户先读取最近的副本
周期性的从每个datanode接收心跳信号和块状态报告
=》Datanode 数据块在datanode以块存储在磁盘上包括数据本身和元数据(长度,校验和时间戳等)
启动后向Namenode注册,并周期性上报所有的块信息
心跳:带有namenode的命令,如复制。10分无心跳,该datanode不可用
可以安全的加入和退出一些机器
=》文件: 默认128M,副本,文件内容不能修改,但是可以追加
=》数据损坏处理:读数据时计算checksum,若与创建时不一样,则为损坏
读其它datanode上的,并复制文件达到默认副本数
--==================HDFS交互式shell使用========================
=》bin/hdfs dfs 查看所有hdfs命令
--==================开发环境准备========================
=》安装maven
tar -zxf apache-maven-3.0.5-bin.tar.gz -C /opt/modules
vi /etc/profile
source /etc/profile
mvn -version
配置maven
/conf/setting.xml
=》安装eclipse
=》eclipse与maven集成
=》设置eclipse快捷键
content Assist ALT+/
word completion ctrl+space
=》创建maven工程并设置输出目录