Impala配置与错误解决方案

安装环境

版本 2.1.0 对应CDH5.3.0
       impala是CDH的组件,hadoop其他环境(hdfs、yarn、hive)已经准备的情况下,直接通过yum进行安装,这里提供下载地址impala下载

安装内容:
安装的用户为:root
       hdname (hive 元数据节点所在)
               impala impala-server impala-state-store impala-catalog impala-shell
       其他节点
       impala-server impala-shell

权限配置(所有机器都应当进行)

   impala 安装过程中会创建名为 impala 的用户和组,不要删除该用户和组。
如果想要 impala 和 YARN 合作,需要把 impala 用户加入 hdfs 组,相关的可以了解的是Llama项目。
  impala 在执行 DROP TABLE 操作时,需要把文件移到到 hdfs 的回收站,所以你需要创建一个 hdfs 的目录 /user/impala,并将其设置为impala 用户可写。同样的,impala 需要读取 hive 数据仓库下的数据,故需要把 impala 用户加入 hive 组。

添加附属组命令

    usermod -G hive,hdfs,hadoop impala

结果如图
这里写图片描述

创建impala在hdfs上的目录并设置权限

sudo -u hdfs hadoop fs -mkdir /user/impala
sudo -u hdfs hadoop fs -chown impala /user/impala

设置scoket path

在每个节点上创建/var/run/hadoop-hdfs
kdir -p /var/run/hadoop-hdfs
  注意:该文件夹可能已经存在,应当确认用impala是否有权限进行读写
  如果已经存在,将用户impala加入该文件所属的组,并修改该文件组的权限即:chmod 775 /var/run/hadoop-hdfs

mysql驱动

驱动下载地址mysql-connector-java-5.1.30.tar.gz
将下载的文件复制到/usr/share/java/并修改名为mysql-connector-java.jar
选择这个文件路径是因为impala的默认路径是这个,可以查看/etc/default/impala中的参数MYSQL_CONNECTOR_JAR

#配置文件设置
配置文件存在两个地方
#

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值