如切如磋，如琢如磨，臻于至善。

DevOps 一词的来自于 Development 和 Operations 的组合，突出重视软件开发人员和运维人员的沟通合作，通过自动化流程来使得软件构建、测试、发布更加快捷、频繁和可靠。本文是 通过 docker 制作 jenkins 镜像，部署 jenkins 容器，配置 spark / hadoop 编译任务

Hadoop 在运行态可以动态的通过的方式去刷新配置文件或者中的配置到 Namenode 或者 Datanode 的 jvm 中，让其生效。那么哪些配置能让其生效呢。

Hadoop 2.3.0 版本新增了集中式缓存管理功能，允许用户将一些文件和目录保存到HDFS缓存中。HDFS集中式缓存是由分布在Datanode上的堆外内存组成的，并且由Namenode 统一管理添加集中式缓存功能的 HDFS 集群具有以下显著的优势。阻止了频繁使用的数据从内存中清除。因为集中式缓存是由 Namenode 统一管理的，所以 HDFS 客户端可以根据数据块的缓存情况调度任务，从而提高了数据块的读性能。

我们知道 HDFS 文件是 write-once-read-many，并且不支持客户端的并行写操作，那么这里就需要一种机制保证对 HDFS 文件的互斥操作。HDFS 提供了租约（Lease）机制来实现这个功能，租约是 HDFS 中一个很重要的概念，是 Namenode 给予租约持有者（LeaseHolder，一般是客户端）在规定时间内拥有文件权限（写文件）的合同。

HDFS集群是以Master/Slave模式运行的,主要有两类节点：Namenode和Datanode。其中Namenode是HDFS的主节点。文件系统目录树管理HDFS 的目录和文件在内存中是以一颗树的形式存储的。这个目录树结构是由 Namenode 维护的，Namenode 会修改这个树形结构以对外提供增删改查文件的操作功能。

为了使Standby节点的状态与Active节点保持同步，两个节点都与一组称为“ JournalNodes”(JNs)的独立守护进程进行通信。当主动节点执行任何名称空间修改时，它会持久地将修改记录记录到大多数JNs上。Standby 节点能够从 JNs 中读取edits，并不断观察它们对edits的更改。当 Standby Node 看到edits时，它将它们应用到自己的名称空间。

本文记录了hdfs在ha模式下的hdfs -format的操作流程，及源代码解读。了解namenode的初始化过程。

常用 linux运维命令 sed / cut / awk 等

Hive-3.3.1 安装部署教程

使用yarn top命令查看，和linux的top类似。只有在任务跑的途中才能看到container的状态。

Hadoop dfs 客户端命令ls/count/du/mv等使用详解

HaAdmin高可用集群管理工具使用，切换NameNode的主备状态。

Prometheus是一个开源的系统监控和报警系统，现在已经加入到CNCF基金会，成为继k8s之后第二个在CNCF托管的项目，在kubernetes容器管理系统中，通常会搭配prometheus进行监控，同时也支持多种exporter采集数据，还支持pushgateway进行数据上报，Prometheus性能足够支撑上万台规模的集群。

记一次 Hadoop 集群 missing block 问题解决及排查思路，集群环境总共有2个NN节点，3个JN节点，40个DN节点，基于hadoop-3.3.1的版本。集群采用的双副本，未使用ec纠删码。因为出现了missing block块高于namenode安全模式启动的阈值，导致namenode起来一直处于安全模式。

在本篇文章中，我为你详细讲解了 Flannel UDP 和 VXLAN 模式的工作原理。这两种模式其实都可以称作“隧道”机制，也是很多其他容器网络插件的基础。比如 Weave 的两种模式，以及 Docker 的 Overlay 模式。此外，从上面的讲解中我们可以看到，VXLAN 模式组建的覆盖网络，其实就是一个由不同宿主机上的 VTEP 设备，也就是 flannel.1 设备组成的虚拟二层网络。对于 VTEP 设备来说，它发出的“内部数据帧”就仿佛是一直在这个虚拟的二层网络上流动。

在今天这篇文章中，我主要为你介绍了在本地环境下，单机容器网络的实现原理和 docker0 网桥的作用。这里的关键在于，容器要想跟外界进行通信，它发出的 IP 包就必须从它的 Network Namespace 里出来，来到宿主机上。而解决这个问题的方法就是：为容器创建一个一端在容器里充当默认网卡、另一端在宿主机上的 Veth Pair 设备。上述单机容器网络的知识，是后面我们讲解多机容器网络的重要基础，请务必认真消化理解。

docker-compose快速一键拉起mysql,redis,nacos,nginx,pgsql,zk快速搭建后端开发依赖组件（建议收藏哦）yum-util 提供yum-config-manager功能，另外两个是devicemapper驱动依赖的。下载 docker-compose 包，并加入到path里。具体的 docker-compose.yaml 文件如下。本文是基于arm 64 架构。

Hadoop-YARN 容量调度器配置实践，真实场景案例

HADOOP-Yarn的UI界面指标项及参数配置详解。方便进行资源配置，任务监控，资源告警，日常运维

Kubernetes简称k8s，是一个开源的，用于管理云平台中多个主机上的容器化的应用，k8s目标是让部署容器化的应用简单并且高效，k8s提供了应用部署，规划，更新，维护的一种机制。本文是总结了在安装k8s过程中详细步骤。K8s最新版本详细安装教程

Hadoop KMS是基于Hadoop的KeyProvider API的加密密钥管理服务器，它提供了使用REST API通过HTTP进行通信的客户端和服务器组件。客户端是一个KeyProvider实现，使用KMS HTTP REST API与KMS交互。KMS及其客户端具有内置的安全性，它们支持HTTP SPNEGO Kerberos身份验证和HTTPS安全传输。KMS是一个Java Jetty web应用程序。KMS与Hadoop结合，可以实现HDFS客户端透明的数据加密传输以及细粒度的权限控制。

单 NameNode 的架构使得 HDFS 在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode 进程使用的内存可能会达到上百 G，NameNode 成为了性能的瓶颈。因而提出了 namenode 水平扩展方案-- Federation。Federation 中文意思为联邦,联盟，是 NameNode 的 Federation,也就是会有多个NameNode。

如果您有一个初始化容器和一个应用程序容器，并且将初始化容器的资源和限制设置为高于应用程序容器的资源和限制，那么只有在有一个可用节点满足初始化的情况下，才调度整个Pod容器要求。从1.18版本开始，K8S内置的Sidecar功能将确保Sidecar容器在正常业务流程开始之前就启动并运行，即通过更改pod的启动生命周期，在init容器完成后启动sidecar容器，在sidecar容器就绪后启动业务容器，从启动流程上保证顺序性。与常规容器一样，将临时容器添加到 Pod 后，将不能更改或删除临时容器。

Ingress 实际上就是 Kubernetes 对“反向代理”的抽象。目前，Ingress 只能工作在七层，而 Service 只能工作在四层。所以当你想要在 Kubernetes 里为应用进行 TLS 配置等 HTTP 相关的操作时，都必须通过 Ingress 来进行。

kubernetes在使用过程中，网络插件calico问题。

【代码】【云原生】kubernetes1.19.2离线安装部署

通过helm来安装部署各种组件superset,mysql,redis,flink,spark。其中的参数都需要根据实际情况自行修改。spark on k8sflink on k8s mysql on k8s

hadoop 源代码 各个组件的调试，分析源代码，跟踪源代码，解析源代码，理解源代码，熟读源代码

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop 在macbookpro m1/m2 arm架构上编译protobuf 失败的解决办法，hadoop-3.3.1版本的编译，部署

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high througCentos 8.4 编译环境软件安装目录。

Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。

Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。

Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。

helm安装教程、部署教程

网桥管理工具使用，brctl使用，网络常用工具，网络问题排查

物理CPU个数，cpu查看方式，内存查看方式，cpu的资源信息

mac m1 arm架构 电脑安装部署编译 protobuf 2.5编译hadoop 报错 protobuf。

mac电脑book清理idea，卸载idea，删除idea。

keepalived是一款可以实现高可靠的软件，通常部署在2台同网段的服务器上，分为一主一备。Keepalived可以对本机上的进程进行检测，一旦Master检测出某个进程出现问题，将自己切换成Backup状态，然后通知另外一个节点切换成Master状态。HA(High Available), 高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。-C 可以指定解压的路径，这里是/usr/local/src。在两台机器上启动keepalived即可。

MYSQL社区版LINUX/MACOS操作系统安装及常见问题答疑教程