hiliang521的博客

【YARN运维】Yarn常见任务shell运维命令：集群状态、查看任务、任务日志

【大数据运维】minio 常见shell操作

【大数据运维】大数据常见shell命令

>本文主要描述了：>1. yarn HA架构细节：active/standby、故障转移的方式、故障转移客户端> 2. 怎么恢复之前提交的任务> 3. 怎么部署配置YARN HA> 4. 手动切换主备

【HDFS运维】HDFS回收箱机制：原理、配置、配置可能导致的问题分析

集群启动慢排查

【解决】hive on yarn 任务启动失败：JDWP Transport dt_socket failed to initialize，TRANSPORT_INIT(510)

【hadoop运维】running beyond physical memory limits：正确配置yarn中的mapreduce内存

【运维】hadoop 集群安装（三）hdfs、yarn集群配置、监控nodemanager配置

横向新增hadoop节点

hadoop集群安装

【代码】【hadoop】Connection Refused的排查方案。

active节点通过zkfc将状态写到zk中，standBy对此状态感兴趣添加监听，当active宕机，zkfc立即通知standy转换为active。namenode的高可用是zk维护实现的，可以尝试初始化namenode在zookeeper的元数据。当zkfc挂掉之后，这些namenode节点状态则不能维护和相互同步，就有可能都为standy。重启zkfc之后namenode正常。...

最近公司搞国产化，项目里用到的hadoop 2.10.1版本 不支持国产化，hadoop 3.1.1 版本支持ARM架构的国产CPU。hadoop的版本修改势必会影响项目里对API、restfulAPI、flink with hadoop相关，所以本地先搭建一个hadoop 3.1.1 测试一下版本升级对项目的影响。参考官网搭建一个本地的hadoop。...

通过了解hadoop各配置文件的含义，帮助理解job提交到yarn集群失败时的相关排查、以及job提交时相关配置参考。

Authentication for Hadoop HTTP web-consoles

namenode主备切换时，因为zkfc所需空间不足，导致不能提供主备切换服务，导致HDFS出现问题。解决方案：在zkfc所在机器下，清理无用空间，然后重新启动zkfc 和 hdfs 即可。

通过设置yarn的资源队列，可以实现不同业务的资源隔离，同时设置队列的弹性范围，以便在某个队列资源紧张时，可以使用其他队列的资源。

为了支持国产化环境，需要升级hadoop到3.3.1版本，升级好后提交flink（1.12.5）任务还发现问题不少，一个个排查吧。

本文通过配置hadoop相关文件实现HDFS、YARN的集群以及高可用。其他例如：队列配置、simple安全认证等见我的其他文章。

为了支持国产化，hadoop需要安装3.3.1版本，而客户这边需要安全认证，所以对于hadoop需要做的事是升级到3.3.1版本、支持HA模式、安全认证。本文关注hadoop升级过程、启动中出现的401权限问题。

本文主要通过修改源码解决hadoop内部通讯鉴权的问题。

【排错/运维】修复HDFS丢失、损坏以及副本数的问题