weixin_44352020的博客

分布式计算框架MapReduce

1.kerberos安全认证原理：客户端跟服务端可以对对方进行身份认证，防止窃听，防止replay攻击。保护数据完成性，是一种应用对称密钥体制进行密钥管理的系统。2.基本概念Principal（安全个体）：KDC（key distribution center）：Ticket：TGT：3.kerberos协议kerberos协议分为两个部分4.客户端二次开发流程若待连接的hdf...

1

Namenode1.init()namenode初始化，执行加载配置文件等操作2.loadFsImage()开始加载元数据将FsImage护额徐为目录树，保存在内存中FsImage中主要包含了问价你和数据块的对应关系3.loadEditlog()加载Editlog，将Editlog中记录的元数据修改应用到内存中；4.saveCheckpoint()将内存中最新的目录树持久化为新的F...

zookeeper提供了一个目录树方式的数据存储，但不是用来专门存储数据的，而事为了实现基于数据的集群管理。1.统一命名服务2.配置管理3.集群管理4.分布式锁5.队列zookeeper在hadoop中的应用hdfs HA管理和自动failoverhbase的主master选举，集群管理分布式锁共享锁也是一个常用的功能获取锁的过程与集群管理中的提到的master选举过程类...

1.core-site.xml参数2.hdfs-site.xml参数3.mapred-site.xml参数4.yarn-site.xml参数

1.localfs.LocalFileSystem 客户端校验和本地文件系统2.hdfs hdfs.DistributionFileSystem hadoop分布式文件系统3.hftphdfs.hftpFileSystem 支持http通过只读的方式访问hdfs distcp经常用到不同的hdfs集群间复制数据4.hsftphdfs.HsftpFileSystem 支...

hdfs中，用户的回收站用类org.apache.hadoop.fs.Trash来表示，这个类主要包含了四个属性。public Trash（FileSystem fs,Configuration conf）throws IOException(super(conf);this.fs=fs;this.trash=new Path(fs.getHomeDirectory(),TRASH);t...

50070：hdfs集群访问地址 8088：yarn集群访问地址 19888：jobhistory访问地址10000：hive60010：hbase9092：kafka2181：zookeeper7077：spark集群访问地址6379：Redis3306：mysql21:tcp FTP 文件传输协议22:tcp SSH 安全登录、文件传送(SCP)和端口重定向23:t...

1.resourceManager主要作用： 处理客户端请求 启动/监控ApplicationMaster 监控NodeManager 资源分配与调度2.NodeManager主要作用： 单个节点上的资源管理和任务管理 接收并处理来自resourceManager的命令 接收并处理来自ApplicationMaster的命令 管理抽象容器container 定时向RM汇报本节...

常见的hadoop shell命令ls命令hadoop fs -ls [-r] urlcat命令hadoop fs -cat urlcount命令hadoop fs -count -h urlmkdir命令hadoop fs -mkdir -p urlrm 命令hadoop fs -rm -r url清空回收站hadoop fs -rmr .Tras...