qq_39954916的博客

hive执行sql语句报错“Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient在安装了hive的节点上用如下命令启动 metastore 服务：# 后台启动 metastore 服务器端，默认使用 9083 端口nohup hive --service metastore &# 或者使用指定的端口号：nohup hive --service metastore -p

spark-2.1.1-bin-hadoop2.7.tgz和apache-hive-1.2.1-bin.tar.gz 环境中spark-yarn下每次进行hive --service metastore启动的时候，总是会报一个小BUG。无法访问/home/ndscbigdata/soft/spark-2.0.0/lib/spark-assembly-*.jar: 没有那个文件或目录。而这一行究竟是怎么回事，网上没有任何有关的资料。没办法，只好一步一步分析，终于找到问题的症结。其主要的..

一、order by order by后面不跟limit的话，order by会强制将reduce number设置成1，不加limit,会将所有数据sink到reduce端来做全局排序。多个reducer无法保证全局有序，但是因为只有一个reducer，就导致当输入数据规模较大时，需要较长计算时间。为了避免大规模时间全局排序的发射，可以设置如下参数：set hive.mapred.m...

hive脚本的三种执行方式1.hive控制台交互式执行；2.hive -e "SQL"执行；或者hive -S-e "sql" ,加了-S表示静音模式，即不会显示mapreduce的操作过程。这种方式直接在bash shell终端里边输入hive -e "SQL"执行即可，不需要进入hive交互式界面，并且hql语句可以用单引号或者双引号括起来都行，语句末尾可以没有；号...

1、case when --else end 语句中忘记写end，或者忘记把整个字句用as起别名，因为一个字段如果用case when条件语句计算后就是已经生成新的字段了，不能再用以前的字段名称。例如：原来的字段是age，他的值是连续的int，case when后变成一个值域为‘’20岁以下‘’，‘’20-30岁‘’，‘’30-40岁‘’，‘’40岁以上‘’的新字段了。2、没有对union...

顾名思义就是按照指定的一个或者多个字段就行分组查询，返回每个组的相关值，group by时常与聚合函数结合使用，这里需要注意的是，1、在hive中， 一旦有group by子句，那么，在select子句中只能有 分组字段，聚合函数以及值是唯一的字段。否则会提示Expression not in GROUP BY key '不应该在select中的字段名'。想想，如果一个字段的值的水平不止...

1、原始位置的默认配置hive中的Default（默认）数据仓库的最原始位置是在hdfs上的 /user/hive/warehouse（以下默认Hive的HDFS根目录为/user/hive）路径下，这个原始位置是hive-default.xml.template文件默认配置的，2、库表关系1）默认情况下：在hdfs目录下，没有对默认的数据库default创建文件夹。如果某张表属于...

第一个错误，终端输入hive报以下错误解决方法：将/usr/local/hive/conf/hive-site.xml配置文件第一行<?xmlversion="1.0"encoding="UTF-8"standalone="no"?>中的encoding="UTF-8"standalone="no"删除，不再报错，但是会不会引起其他不良影响暂时没发现，后续发现再补充。第二个...