mnasd的博客

导出表结构#/bin/bash#hive -e"#show databases;#">databases.txt#sed -i '1d' databases.txtfor database in `cat databases.txt`doecho database-------------- ${database}# hive -e "use ${database};"...

本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。Hadoop的默认配置文件（以cdh5.0.1为例）：core-default.xml hdfs-default.xml mapred-default.xml说明：在hadoop2中有些参数名称过时了，例如原来的mapred.reduce.tasks改名为mapreduce.job.redu...

--创建数据库create database if not exists sopdmcomment ‘this is test database’with dbproperties(‘creator’=’gxw’,’date’=’2014-11-12’)     --数据库键值对属性信息location ‘/my/preferred/directory’;  --查看数...

cat /etc/grouphive_allow:x:574:lipf,root,getui_log# getfacl /opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/bin/hivegetfacl: Removing leading '/' from absolute path names# file: opt/cloudera/parcels/...

在CDH上执行hive sql的时候报了一个错。错误内容为：    FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask错误语句：    INSERT OVERWRITE DIRECTORY '{$dir}' select * from tmp_analyse_os where log...

hive的配置：hive.ddl.output.format：hive的ddl语句的输出格式，默认是text，纯文本，还有json格式，这个是0.90以后才出的新配置；hive.exec.script.wrapper：hive调用脚本时的包装器，默认是null，如果设置为python的话，那么在做脚本调用操作时语句会变为python <script command>，null的话就是直...

#coding:utf-8import sysimport pyhs2dbs = 'dw_raw_mid'table="dw_user_app_install_mid_daily"sql="show partitions dw_raw_mid.dw_user_app_install_mid_daily"list1=[]list12=[]yuying=[]with pyhs2....

第一步：添加hiveserver2服务第二步：增加配置项<property><name>hive.server2.support.dynamic.service.discovery</name><value>true</value></property> <property><name>

select tbls.TBL_NAME,tbls.SD_ID,SDS.LOCATION from tbls,SDS where tbls.SD_ID=SDS.SD_ID and tbls.TBL_NAME="user_loss_analysis_04 ";hive mysql172.16.17.100数据库查找 库 表 分区 location 信息SELECT tmp2.NAME, tmp...

create table hiveserver2_auth (username varchar(30),password varchar(48), primary key(username));<property>  <name>hive.server2.custom.auth.db.driver</name>  <value>com.mysql.j...

cdh 配置/opt/cloudera/parcels/CDH/lib/hive/lib/HiveServer2Auth.jar hdpRun as end user instead of Hive user     true        HiveServer2提供了JDBC链接操作Hive的功能，非常实用，但如果在使用Hive...

《Hive编程指南》第18章 安全有相关内容可参考。环境：HDP2.4 ,hive-1.2.0, ambari统一管理目前hive支持简单的权限管理，默认情况下是不开启，这样所有的用户都具有相同的权限，同时也是超级管理员，也就对hive中的所有表都有查看和改动的权利，这样是不符合一般数据仓库的安全原则的。下面来介绍HIVE的权限管理。Hive用户1. Hive作为表存储层。    使用对象：Hiv...

hive llap巨坑，前段时间在研究，一直启动不成功。关键是几个空间参数的配置，只要配错了，就会出现各种奇怪的问题，日志的错误提示很少而且很模糊，官方的文档又不够明确，发现问题很难定位。总之就是很坑。yarn队列配置要为llap分配一条队列，这条队列有几个要注意的地方.    最大容量和最少容量必须相等，容量一定要足够，即大于hive的hive.llap.daemon.yarn.con...