hadoop初识之六:HDFS架构及linux下eclipse环境的准备

本文介绍Hadoop分布式文件系统(HDFS)架构,包括namenode和datanode的功能及交互过程。同时覆盖HDFS的基本操作命令以及如何在本地环境中安装配置maven和eclipse进行HDFS开发。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

--==================HDFS架构========================
 =》Hadoop Distributed File SYSTEM
     * 易于扩展的分布式文件系统
     * 运行在大量廉价机器上,提供容错机制
     * 提供文件存取服务 
 =》namenode 负责管理文件系统的命名空间,
             负责操作元数据
             负责决定副本存入位置,让用户先读取最近的副本
             周期性的从每个datanode接收心跳信号和块状态报告
 =》Datanode 数据块在datanode以块存储在磁盘上包括数据本身和元数据(长度,校验和时间戳等)
             启动后向Namenode注册,并周期性上报所有的块信息
心跳:带有namenode的命令,如复制。10分无心跳,该datanode不可用
可以安全的加入和退出一些机器
 =》文件: 默认128M,副本,文件内容不能修改,但是可以追加
 =》数据损坏处理:读数据时计算checksum,若与创建时不一样,则为损坏
                   读其它datanode上的,并复制文件达到默认副本数
--==================HDFS交互式shell使用========================
 =》bin/hdfs dfs 查看所有hdfs命令
 --==================开发环境准备========================
 =》安装maven
       tar -zxf apache-maven-3.0.5-bin.tar.gz -C /opt/modules
  vi /etc/profile
  source /etc/profile
  mvn -version
配置maven
   /conf/setting.xml
 =》安装eclipse
 =》eclipse与maven集成
 =》设置eclipse快捷键
     content Assist ALT+/
word completion ctrl+space
 =》创建maven工程并设置输出目录
 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值