
大数据之hive
crystalnsd
坚持不懈,厚积薄发
展开
-
HUE 安装报错:Thrift version configured by property thrift_version might be too high.
HUE 配置hive 时报错:Thrift version configured by property thrift_version might be too high. Request failed with “Required field ‘client_protocol’ is unset! Struct:TOpenSessionReq(client_protocol:null, username:hue, configuration:{hive.server2.proxy.user=admin}原创 2021-01-21 14:42:56 · 1109 阅读 · 0 评论 -
python定义hive udf函数
UDF + PYTHON问题1:报错Cannot run program “python”: error=2, No such file or dictory解决: hadoop_env ,yarn-env.sh ,hive-env中加入python环境变量:export PYTHON_HOME=/opt/anaconda3export PATH=PATH:PATH:PATH:PYTHON...原创 2020-02-16 23:15:33 · 748 阅读 · 0 评论 -
数据仓库中的拉链表(hive实现)
前言本文将会谈一谈在数据仓库中拉链表相关的内容,包括它的原理、设计、以及在我们大数据场景下的实现方式。全文由下面几个部分组成: 先分享一下拉链表的用途、什么是拉链表。 通过一些小的使用场景来对拉链表做近一步的阐释,以及拉链表和常用的切片表的区别。 举一个具体的应用场景,来设计并实现一份拉链表,最后并通过一些例子说明如何使用我们设计的这张表(因为现在Hive的大规模使用,我们会以Hive场景下的原创 2017-08-10 18:24:47 · 16452 阅读 · 7 评论 -
hive 2.3.4安装报错问题
问题1 报错: schematool -dbType mysql -initSchema 时报错:Schema initialization FAILED! Metastore state would be inconsistent !!问题分析:由日志分析Metastore connection URL: jdbc:derby:;databaseName=metastore_db;...原创 2018-11-27 23:45:52 · 699 阅读 · 0 评论