- 博客(7)
- 收藏
- 关注
RSS订阅原创 docker拉取镜像失败
error pulling image configuration: download failed after attempts=6: dial tcp 104.18.125.25:443: i/o timeout docker拉取镜像失败，使用docker proxy镜像解决。
2023-06-20 11:20:44
1604
原创 使用hdp时nodemanagers无法启动
org.apache.hadoop.service.ServiceStateException: java.lang.ClassNotFoundException: org.apache.spark.network.yarn.YarnShuffleService at org.apache.hadoop.service.ServiceStateException.convert(ServiceStateException.java:105) at org.apache.hadoop.service.Ab
2023-01-17 10:54:50
487
1
原创 zookeeper选举机制详解
5选举机制（面试重点） 选择机制中的概念 Serverid：服务器ID 比如有三台服务器，编号分别是1,2,3。 编号越大在选择算法中的权重越大。 Zxid：数据ID 服务器中存放的最大数据ID. 值越大说明数据越新，在选举算法中数据越新权重越大。 Epoch：逻辑时钟 或者叫投票的次数，同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加，然后与接收到的其它服务器返回的投票信息中的数值相比，根据不同的值做出不同的判断。 Server状态：选举状态 LOOKING，竞选状态。 FOLLOWIN
2022-01-09 23:19:09
230
原创 linux常用命令
Linux常用命令 Linux目录结构简介 /bin 目录中存放着最常用的命令 /home 存放普通用户的目录，每个用户都有自己的一个目录，此目录名是以用户的账号命名的。并且要删除用户时需用userdel -r方可删除干净 /root 该目录为系统管理员目录 /etc 系统管理的配置文件和子目录 /usr 用户很多应用程序和文件均放此目录，类似于windows的program files 目录 /boot 这里存放的是启动linux时使用的核心文件，为系统启动目录 /media 外部插入的设备均挂载在此目录
2022-01-07 19:12:06
344
原创 HDFS总结
一、描述一下HDFS的数据写入流程 客户端接收传输xxx文件请求，通过distbur类向namenode请求传输文件，namenode对文件路径进行检查并对请求传输用户进行权限验证，验证成功后相应同意请求，客户端再向namenode传输一个block块，namenode通过机架感知向客户端返回3个datanode节点信息，客户端接收后再通过FS类，通过网络拓扑原理选择一个datanode节点进行建立传输，再通过第一个datanode节点依次与其他datanode节点建立传输，均遵循网络拓扑原理，进行串行连接
2022-01-07 19:07:41
1159
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人