jzy3711的博客

我这里测试集群，自定义安装了flink，hue，ES，presto等，应在未安装之前启用kerberos，因为amabri是不支持这个自定义kerberos的，需要自己在自定义是配置，或者后期添加配置，我这里是直接先停停掉，在安装的，但是测试集群很多人再用，停止前要和大家商量好。公司的测试集群是amabri安装的，HDP3.1.4版本，前面已经安装好了kerberos主从，现在要在集群上开启kerberos认证。集成kerberos后，kafka访问方式：（必须使用主机名，如果是ip会报错）

文章目录amabri shell install 使用shell的方式一键式部署ambri HDP背景&目的准备服务器准备shell 脚本参数设计主脚本安装jdk修改主机参数配置hosts文件ssh免密执行注意版本源码版权后续期望&缺陷amabri shell install 使用shell的方式一键式部署ambri HDP背景&目的从2016年第一个ambari相关项目开始，需要频繁的部署，不同的ambari版本,使用shell实现一键式部署ambari，后期不断完善，实际上

hbase 元数据修复问题hbase fck 报错：..2021-12-28 16:57:20,906 INFO [main] util.HBaseFsck: Loading region information from HDFS2021-12-28 16:57:21,506 INFO [main] util.HBaseFsck: Checking and fixing region consistencyERROR: Region { meta => SYSTEM.LOG,\x0

mysql双主+keepalived实现mysql高可用并为ambari 与hive 提供服务mysql双主同步初始状态1、将主服务器要同步的数据库加锁，避免同步时发生改变:use database_name;flush tables with read lock;2、使用mysqldump工具导出数据:mysqldump -uroot -pxxx database_name >database_name.sqlmysqldump -uroot -pxxx -R database_na

现象datanode 运行一段时间后，先stale，最后dead报错查看datanode日志：2021-12-18 07:36:09,868 ERROR datanode.DataNode (DataXceiver.java:writeBlock(869)) - DataNode{data=FSDataset{dirpath='[/data01/hadoop/hdfs/data, /data02/hadoop/hdfs/data, /data03/hadoop/hdfs/data, /data04/

文章目录一更换spark版本第一种方式第二种方式一更换spark版本因为要使用的carbondata对spark版本有要求，项目中使用的carbondata版本为2.0.1，spark版本要求为2.4.5第一种方式1)、找到/usr/hdp/2.6.5.0-292/spark2/下的jars路径 并备份为jars_bak/​ 2)、然后从官网下载spark-2.4.5-bin-hadoop2.7的tar包，把所有依赖的jar包拷贝到上面创建的jars路径下cd /usr/hdp/2.6.5.0-

文章目录一、前言二、环境三、mysql主从配置四、同步配置文件五、实现脚本一、前言本篇文章主要讲解Ambari Server端的高可用搭建。注意，是Ambari的Server，而不是Hadoop集群的应用。截止目前为止（Ambari 2.7.x），hortonworks官方并没有给出AmbariServer的高可用的内部实现。二、环境这里我选用的纯离线安装方式，原因主要是受网络限制需要下载的依赖包：ambari-2.5.0.3-centos7.tar.gzHDP-2.6.5.0-centos7

文章目录一、业务场景二、选用技术三、准备四、服务器准备五、配置步骤1、配置网卡（所有节点）2、配置hosts映射（主节点）3、配置主节点到各个机器的ssh（主节点）4、安装ansible5、配置ansible的hosts（ansible使用的ip和定义主机组的映射）六、编写playbook七、附件-脚本1.closeTHP.sh2.modifyLimits.sh3.modifyNtpMaster.sh4.modifyNtpSlave.sh5.installJdk.sh6. closeSelinux.sh7.

Azkaban on Ambari

ambari HDP2.6.5 安装FLINK1.9ambari HDP2.6.5 安装FLINK1.9要下载Flink服务文件夹，请运行以下命令VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'`sudo git clone https://github.com...

1.下载ambari-impala-serviceVERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'`sudo git clone https://github.com/cas-bigdatalab/ambari-impala-service.git /var/l...