- 博客(7)
- 收藏
- 关注
RSS订阅原创 docker拉取镜像失败
error pulling image configuration: download failed after attempts=6: dial tcp 104.18.125.25:443: i/o timeoutdocker拉取镜像失败，使用docker proxy镜像解决。
2023-06-20 11:20:44
1487
原创 使用hdp时nodemanagers无法启动
org.apache.hadoop.service.ServiceStateException: java.lang.ClassNotFoundException: org.apache.spark.network.yarn.YarnShuffleService at org.apache.hadoop.service.ServiceStateException.convert(ServiceStateException.java:105) at org.apache.hadoop.service.Ab
2023-01-17 10:54:50
395
1
原创 zookeeper选举机制详解
5选举机制（面试重点）选择机制中的概念Serverid：服务器ID比如有三台服务器，编号分别是1,2,3。编号越大在选择算法中的权重越大。Zxid：数据ID服务器中存放的最大数据ID.值越大说明数据越新，在选举算法中数据越新权重越大。Epoch：逻辑时钟或者叫投票的次数，同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加，然后与接收到的其它服务器返回的投票信息中的数值相比，根据不同的值做出不同的判断。Server状态：选举状态LOOKING，竞选状态。FOLLOWIN
2022-01-09 23:19:09
167
原创 linux常用命令
Linux常用命令Linux目录结构简介/bin目录中存放着最常用的命令/home存放普通用户的目录，每个用户都有自己的一个目录，此目录名是以用户的账号命名的。并且要删除用户时需用userdel -r方可删除干净/root该目录为系统管理员目录/etc系统管理的配置文件和子目录/usr用户很多应用程序和文件均放此目录，类似于windows的program files 目录/boot这里存放的是启动linux时使用的核心文件，为系统启动目录/media外部插入的设备均挂载在此目录
2022-01-07 19:12:06
285
原创 HDFS总结
一、描述一下HDFS的数据写入流程客户端接收传输xxx文件请求，通过distbur类向namenode请求传输文件，namenode对文件路径进行检查并对请求传输用户进行权限验证，验证成功后相应同意请求，客户端再向namenode传输一个block块，namenode通过机架感知向客户端返回3个datanode节点信息，客户端接收后再通过FS类，通过网络拓扑原理选择一个datanode节点进行建立传输，再通过第一个datanode节点依次与其他datanode节点建立传输，均遵循网络拓扑原理，进行串行连接
2022-01-07 19:07:41
1103
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人