Ambari
关注
分享
扫一扫
文章平均质量分 50
肉装法师
读书人的事能算偷
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
apache spark3.0.2 on yarn cluster(HDP3.1.4) :bad substitution问题
bad substitutionspark yarn-cluster 运行 在hdp上原创 2022-02-10 15:09:31 · 1444 阅读 · 2 评论 -
ambari hive创建udf失败问题解决
问题描述：Amabri 2.7.4 hive 3.1.0hive Authorization用了默认 ，试过sqlstdauth也报错hive执行添加udf命令报错Error: Error while compiling statement:FAILED: HiveAccessControlException Permission denied:Principal [name=root,type=USER] does not have following privileges for opera原创 2021-06-02 16:15:58 · 2140 阅读 · 3 评论 -
hdfs-audit.log audit日志 审计日志导致磁盘空间不足
基于ambari部署hadoop/var/log/hdfs/下含有大量审计日志导致磁盘空间占满......-rw-r--r-- 1 hdfs hadoop 12188299101 May 20 23:59 hdfs-audit.log.2021-05-20-rw-r--r-- 1 hdfs hadoop 12194929677 May 21 23:59 hdfs-audit.log.2021-05-21-rw-r--r-- 1 hdfs hadoop 12202372668 May 22 23:5原创 2021-05-25 10:56:28 · 1736 阅读 · 3 评论 -
Ambari hive使用mysql存储元数据
搭建版本为ambari2.7.4在Ambari服务器主机上，暂存适当的MySQL连接器，以供以后部署。a. 在Ambari服务器主机上，从MySQL下载MySQL Connector / JDBC驱动程序。b. 运行 ambari-server setup --jdbc-db=mysql --jdbc-driver=/path/to/mysql/mysql-connector-java.jar(看实际jdbc位置)c. 确认mysql-connector-java.jar在Java共享目录中。ls原创 2021-03-09 08:53:16 · 442 阅读 · 0 评论 -
Ambari配置LZO压缩
方法一：启用LZO压缩库的自动下载和安装，并验证有效的HDP-GPL存储库位置。LZO压缩库是GPL软件，必须将Ambari明确配置为下载这些库并在整个群集中安装它们。LZO压缩库托管在单独的存储库中。要将Ambari配置为自动下载并安装LZO压缩库，请执行以下操作：重新运行Ambari服务器安装程序。ambari-server setup…GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.h原创 2021-02-19 09:30:58 · 947 阅读 · 4 评论 -
ambari2.7.4安装namenode HA 步骤及踩坑
hdfs界面点击action点击enable namenode HA输入namespace ID选择安装位置检查配置执行命令 （此处为一个坑）安装所需组件初始化JournalNodes文件夹会有报错 Could not initialinze shared edits dir ，因为对应文件夹下不为空，查看网上解决方案为格式化namenode，我没管，直接点了next.启动主节点组件主节点执行hdfs zkfc -formatZ..原创 2021-01-28 17:01:12 · 3008 阅读 · 5 评论 -
将误删hdfs文件恢复
ambari 默认将hdfs删除数据保存至回收站6小时到hdfs 目录/user/hdfs/.Trash 查看所删文件hadoop dfs -mv /user/hdfs/Trash/xxx(被删文件位置) /xxx(想要恢复的位置)原创 2021-01-27 14:48:34 · 384 阅读 · 0 评论 -
使用ambari2.7.4搭建spark连接外置hive保姆级教程
环境ambari 2.7.4centos 7.6hdp 3.1.0jdk8scala 2.11.8mysql 5.7.19目标使用amabri 搭建hive 和spark后，hive建立外部表，使用sparksql连接hive元数据（mysql）。步骤先将安装好的spark conf目录下生成的hive-site.xml重命名备份（其实用不到）[root@master conf]# cd /usr/hdp/3.1.4.0-315/spark2/conf/[root@master原创 2021-01-26 13:32:35 · 1413 阅读 · 1 评论 -
解决ambari安装cannot download file mysql-connector-java from http://xx8080/resource/mysql-connector-java
yum install mysql-connector-java -y原创 2020-09-08 09:39:32 · 749 阅读 · 0 评论 -
Ambari删除组件后增加组建报错Cannot create /var/run/ambari-server/stack-recommendations
删除组件后添加新组建报错废话不多说，主节点对应用户加权chown -R ambari /var/run/ambari-server原创 2019-10-25 15:26:59 · 1109 阅读 · 0 评论 -
Ambari大数据集群快速搭建（一）
本次搭建环境所需安装包：三台虚拟机 Centos 7.0以上所需安装包：jdk(本次部署使用 jdk-8u102-linux-x64.tar)ambari 所需包mysql(本次部署使用 mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar)python3配置三台虚拟机基本设置配置三台虚拟机IP虚拟机能连外网能互相ping同即可。vim...原创 2020-02-27 15:36:53 · 617 阅读 · 0 评论 -
Ambari大数据集群快速搭建（三）
制作本地源安装本地源制作相关工具主节点制作本地源，供从节点安装，安装在本地，节省网络资源。yum install yum-utils createrepo -y安装 数据库驱动yum install -y mysql-connector-java安装httpd服务并解压hdp、ambari压缩包到指定目录yum install httpd -ysystemct...原创 2020-02-28 11:45:09 · 432 阅读 · 0 评论 -
Ambari大数据集群快速搭建（四）
ambari集群配置及组建安装谷歌浏览器打开主节点8080端口默认用户名密码为 admin创建集群集群命名选择版本记录配置的HDP地址安装选项导出主节点文件选择你想安装的组建自定义组建分配自定义从节点组建注意：hdfs安装选择一个存储位置就不会有错，后面的输入admin管理密码即可，点击安装等待，集群就搭建完成...原创 2020-02-28 13:08:57 · 353 阅读 · 0 评论 -
Ambari大数据集群快速搭建（二）
上一节修改好基本配置后，接下来开始安装集群部署所需依赖。原创 2020-02-27 15:38:38 · 444 阅读 · 0 评论 -
Ambari集群namenode启动报错拒绝连接8020端口解决
防火墙之类网络问题排除，网上解决方案也没有可以生效的。最终决定格式化namenode和datanode。格式化命令：cd /usr/hdp/2.6.2.0-205/hadoop-hdfs/hdfs/bin/hdfs namenode -format可能会格式化失败，由于文件权限问题mkdir -p /var/log/hadoop/hdfs/chown -R hdfs:hado...原创 2020-03-24 11:17:36 · 2814 阅读 · 0 评论 -
Ambari集群启动后UI界面无法访问
三台装在VMworkstation上的虚拟机搭的集群重启虚机后连接不上ambari-server UI检查宿主机ping 虚机是否通检查虚机防火墙是否开启检查selinux设置是否disabled检查网卡配置...原创 2019-12-17 15:17:30 · 934 阅读 · 0 评论 -
报错解决Error while creating database accessor com.mysql.jdbc.exceptions.jdbc4.CommunicationsException
ambari-server setup之后 启动ambari-server超时，查看日志后有如下错误。1. 查看mysql jdbc是否装了yum install mysql-connector-java -y 2. 装了后还出错 查看是否安装mysql基本包yum install openssh wget vim openssh-clients openssl gcc openssh...原创 2019-10-23 14:15:18 · 1501 阅读 · 0 评论 -
Ambari-server启动报错
1.首先报错存储空间不够，增加了磁盘空间。2.然后Ambari-server restart 报/var/run/ambari-server/ambari-server.exitcode: 权限不够，查看启动日志/var/log/ambari-server/ambari-server.out显示如下错误：130) Error injecting constructor, java.lang...原创 2019-10-21 15:04:28 · 1618 阅读 · 0 评论 -
Ambari中Assign Slaves and Clients点不了next
问题描述上一步Confirm Hosts 增加的节点状态都为success无论选不选择安装的组件，都点不了next查看ambari-server 日志显示如下错误03 九月 2019 16:05:10,283 ERROR [ambari-client-thread-31] BaseManagementHandler:61 - Caught a system exception wh...原创 2019-09-03 16:15:31 · 780 阅读 · 0 评论 -
Ambari增加子节点Confirm Options一直处于准备状态
systemctl status firewalld 查看防火墙状态将防火墙关闭systemctl stop firewalld解决openSSL兼容问题此问题会导致集群服务无法通过UI界面操作vim /etc/ambari-agent/conf/ambari-agent.ini在【security】标签下下加一行确定上一步导入的密钥是正确的...原创 2019-09-03 15:47:34 · 283 阅读 · 0 评论 -
Ambari邮箱告警发送失败
查看日志 tail -n 500 /var/log/ambari-server/ambari-server.log | grep ERROR -A 10 报以下错误30 八月 2019 15:35:24,380 ERROR [alert-dispatch-4] EmailDispatcher:172 - Unable to dispatch notification via Emailc...原创 2019-08-30 15:48:09 · 753 阅读 · 0 评论 -
ambari中zookeeper报错，Connection failed: Expected response imok, Actual response to...
解决办法：尝试增加maxClientCnxns查找集群zoo.cfg文件增加一行maxClientCnxns=300或若是ambari等安装可以在UI上添加原创 2019-08-07 16:28:49 · 818 阅读 · 1 评论 -
Ambari-server启动报错Exiting with exit code -1 | Fail to run the Ambari Server Local Exception Stack
1.执行 ambari-server start 报错2.查看日志缺少表结构3.进入ambari配置的数据库4.本机使用mysql5.执行语句————————————————————————————尝试过很多方法，大多数集群安装就是粗心错误...原创 2019-08-02 10:37:23 · 1278 阅读 · 0 评论