80后大叔爱学习

cdh环境变量配置，centos需要配置的文件信息，yum安装需要的组件

cdh环境变量配置，centos需要配置的文件信息，yum安装需要的组件

VM VirtualBox虚拟机配置必备技能

十二、 sqoop将 MySQL 数据导⼊ Hive1、将 ambari.users 表导入到 dim_v8sp数据库在 client-v01 服务器创建 etl 用户 HOME目录，生成kerberos票据文件，并添加 crontab以定期刷新飘据到缓存。cd /home/;cp -r ./bigdata ./etl;chown -R etl:etl ./etl;rm -rf /home/etl/security/keytabs/bigdata.keytab;su - ...

十一、Azkaban 编译及 LDAP 配置1、下载 ( 在 client-v01 服务器操作 )mkdir -p /software/;cd /software/;yum -y install git;git clone https://github.com/azkaban/azkaban.git2、编译( 在 client-v01 服务器操作 )yum -y install npmnpm install -g less dustjs-linkedinyum -y

1、在 Ambari 控制台，点击 "Superset"->"CONFIGS"->"ADVANCED" ，在 "Advanced superset"选项中配置类似如下图参数，然后点击保存退出，并重启Superset服务。2、配置完成后，此时我们就可以⽤ LDAP 的 admin 帐号登陆3、可以根据自己需求选择语言4、登陆 Superset 后，在用户列表里面添加“⽩名单”5、⽤刚添加的"⽩名单LD...

九、Hue4.5 LDAP 配置1、修改 core-site.xml配置文件，添加如下参数：在 Ambari控制台依次点击 HDFS->CONFIGS->ADVANCED->"Custom core-site"->"Add Property ..." ，然后在弹出的 "Add Property" 窗口添加如下 4 个参数 ( 后面两个参数 hadoop.proxyuser.hue.groups,hadoop.proxyuser.hue.hosts可能之前创建 ...

八、Hue4.5 下载，编译及初步配置1. Hue 4.5下载，进 client-v01 服务器，执行如下命令mkdir /software/;cd /software/;yum -y install wget;wget https://cdn.gethue.com/downloads/hue-4.5.0.tgz2.编译 Hue 4.52.1进 client-v01 服务器，执行如下命令，安装相关的依赖包yum -y install krb5-devel cy...

七、Ranger LDAP ⽤户权限测试1、ipa-v01 服务器创建LDAP组，团队用户，普通用户kinit adminWfipaadmin123456ipa group-add g_etl --desc groupOf_etlipa group-add g_bigdata --desc groupOf_bigdataipa group-add g_rec --desc groupOf_recipa group-add g_push --desc groupOf_pushi

1、在Ambari控制台，点击 "Ranger" -> "CONFIGS" ->"RANGER PLUGIN"，检查⼀下相关组件的权限控制是否已经开启注意:1). "Group Search Filter"配置项主要是⼀些”LDAP组“，可以根据⾃⼰的规划灵活配置，我这⾥的组账号⼤概说明⼀下：g_etl 是⽤于数据清洗，它主要包含etl团队⽤户；g_bigdata是"⼤数据组"，主要⽤于Hive分层的各种数据分析相关内容，它主要包含bigdata团队⽤...

五、ambari的LDAP配置1、LDAP配置mkdir -p /etc/ambari-server/keys$JAVA_HOME/bin/keytool -import -trustcacerts -alias root \-file /etc/ipa/ca.crt \-keystore /etc/ambari-server/keys/ldaps-keystore.jksbee#569152、备份 ambari 配置文件cdate=$(date '+%Y%m%d..

1、更新系统ipa-v01，ipa-v02 不单独说明就是在两个节点上面安装yum -y install epel-releaseyum -y updateyum -y install bind-utils vimyum -y install python-pippip install --upgrade pip2、cat /etc/resolv.conf# Generated by NetworkManagersearch tianlingqun.comnamese..

1、Kerberos安装

1、节点说明1.2ambari.tianlingqun.com主要用于Ambari管理(ambari-server)用于存放元数据的MySQL数据库也安装到该节点（元数据主要包括：Ambari,Hive,Ranger,Hue,Azkaban,Superset等)1.3client-v[01,02].tianlingqun.com两台客户端机器，均安装Azkaban-exec;Azkaban-web独立安装(Azkaban-web不支持HA)到client-v...

完整报错：kt_renewer ERROR Couldn't renew kerberos ticket in order to work around Kerberos 1.8.1 issue. Please check that the ticket for 'hue/client-v01.16899.com@16899.COM' is still renewable:

hdp 没有找到文件路径 错误

完整错误：Caused by: org.apache.hadoop.ipc.RemoteException: Invalid resource request, requested resource type=[memory-mb] < 0 or greater than maximum allowed allocation. Requested resource=<memory:16384, vCores:1>, maximum allowed allocation=<memory

hive报错：Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [admin] does not have [USE] privilege on [Unknown resource!!] (state=42000,code=40000)验证管理员权限：

KERBEROS安装完以后hdfs命令不能正常使用，修改：重启ambari-serveripactl

直接恢复ambari元数据

全部错误：2020-08-29 00:38:52,849 [JISQL] /usr/java/current/bin/java -cp /usr/hdp/current/ranger-admin/ews/lib/mysql-connector-java.jar:/usr/hdp/current/ranger-admin/jisql/lib/* org.apache.util.sql.Jisql -driver mysqlconj -cstring jdbc:mysql://ambari.wanfe

1、安装yum -yinstallchrony2、启动：systemctl start chronyd开机启动：systemctl enable chronyd查看服务状态：systemctl status chronyd3、配置chrony：vi /etc/chrony.conf4、常用命令：查看时间同步源：chronyc sources -v查看时间同......

rpm -qa | grep prioritiesvi /etc/yum/pluginconf.d/priorities.conf

删除节点

增加节点

1、/usr/hdp/current/zookeeper-client/bin/zkCli.sh -server `hostname -f`:2181

账号密码验证不通过，仔细查验每台机器的配置，我的机器是ipa-client出现了某台机器安装没有成功的情况

在IPAserver机器上面添加报错IP地址：ipa dnsrecord-add wanfeng16899.com ambari --a-rec 192.168.0.201;