laimao8079的博客

连接带kerberos认证的hive，服务端是其他厂商，所有服务端的调试无法使用，1.首先根据网上资料排查JCE,由于是oracle的jdk1.8.0_151，自带支持JCE,修改配置java.security可以支持JCE，去掉注释;还是不行；2.修改krb5.conf，注释掉缓存结果也不行；3.绕过zk,去直接请求hive...

hive metastore内存溢出hive的metastore内存溢出，修改文件hive-env.sh配置文件里面默认的新增的if [ "$SERVICE" = "cli" ]; thenif [ -z "$DEBUG" ]; thenexport HADOOP_OPTS="$HADOOP_OPTS -XX:NewRatio=12 -Xmx2048m -Xms2048m -XX:MaxHeapFreeRatio=40 -XX:MinHeapFreeRatio=15 -XX:

创建用户及用户组useradd -s /bin/bash -d /home/hadoop -m hadoop设置密码passwd hadoop设置组权限chmod 775 /home/hadoop为普通用户添加sudo 权限vi /etc/sudoers或者visudo都可以追加：hadoop ALL=(ALL) ALL切换到hadoopsu hadoop生成密匙添加互信，首先添加自己方便测试ssh-copy-id hadoop@hadoopxxx生效

工作中发现很多同事连基础的hive命令都不知道，所以准备写一个系列把hive一些常用的命令进行一个总结。第一个讲的命令是MSCK REPAIR TABLE。MSCK REPAIR TABLE 命令是做啥的MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表的分区等等信息。如果不是通过hiv

项目测试需要，服务器有限只能安装单机版的hdfs,hive,hbase,spark首先做免秘钥登录，后面安装会有很多要输入密码的操作，手动输入太麻烦方法1.ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa简单解释 生产ssh 秘钥 密码为‘’ 到 用户目录下的 .ssh中root 目录下有个.ssh 目录ssh 目录下有id...

创建文件系统实例的时候使用下面：FileSystem fs=FileSystem.newInstance(conf);而不是用：fs = FileSystem.get(conf);参考：https://blog.youkuaiyun.com/qiumengkai/article/details/48682143参考：http://itxw.net/article/140.htmlFil...