Hive
关注
分享
扫一扫
jerrfy_w
做一只会飞的狼
展开
-
Hive UDF
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDFUser-Defined Functions 场景：1.build-in函数满足不了我们的需求，所以我们需要扩展我们自己的函数2.RDBMS ==> HiveUDF/UDAF/UDTFUDF: one-to-one eg:进来一个出去一个subst...原创 2020-04-15 13:56:34 · 239 阅读 · 0 评论 -
窗口函数
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+WindowingAndAnalyticswzj,20200201,1wzj,20200202,3wzj,20200203,5wzj,20200204,7wzj,20200205,9wzj,20200206,11wzj,20200207,13wzj,202...原创 2020-04-15 13:55:59 · 175 阅读 · 0 评论 -
Hive 行转列&列转行
行转列concat_ws:hive (wzj)> desc function extended concat_ws;OKtab_nameconcat_ws(separator, [string | array(string)]+) - returns the concatenation of the strings separated by the separator.Exa...原创 2020-04-15 13:55:25 · 1275 阅读 · 0 评论 -
数据仓库分层
数据仓库&数据集市数据仓库数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制简单来说就是一堆数据集合（log型和db型）的整合处理，，挖掘有效价值，提供决策支...原创 2020-01-10 10:44:15 · 826 阅读 · 1 评论 -
Hive中⽂注释乱码--解决
my.cnf 文件配置切换mysql管理用户vi /etc/my.cnf [mysqld]之后添加如下内容[mysqld]init_connect='SET collation_connection = utf8_unicode_ci'init_connect='SET NAMES utf8'character-set-server=utf8collation-server=...原创 2020-01-02 14:59:50 · 146 阅读 · 0 评论 -
Hive复杂数据类型
array类型建表并加载数据创建表时候指定字段为array类型 location array指定array中每个的分隔符COLLECTION ITEMS TERMINATED BY ‘,’hive (wzj)> create table hive_array( > name string, > loaction array<...原创 2019-12-30 13:43:14 · 200 阅读 · 0 评论 -
Hive 数据类型&DDL&DML
1. 数据类型官网文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+TypesHive数据类型长度例子TINYINT-128 to 12720SMALINT-32,768 to 32,76720INT-2,147,483,648 to 2,147,483,64720...原创 2019-12-25 16:46:43 · 786 阅读 · 0 评论 -
Hive 静态分区&动态分区（含常见错误）
静态分区1.创建分区表hive (wzj)> CREATE TABLE emp_partition( > empno int, > ename string, > job string, > mgr int, > hiredate string, ...原创 2019-12-25 15:20:05 · 1861 阅读 · 0 评论 -
Hive之Beeline连接&10000端口修改
WARNING: Hive CLI is deprecated and migration to Beeline is recommended.贴心翻译：警告：不建议使用Hive CLI，建议迁移到Beeline小伙伴们启动hive的时候是不是经常会有上面那个警告，让人看着非常的不爽[wzj@hadoop001 ~]$ hivewhich: no hbase in (/home/wzj/...原创 2019-12-21 12:30:46 · 4698 阅读 · 0 评论 -
Hive启动报错
报错一：Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hive/wzj/1285d7ee-00f3-42a0-9161-03660fcb6a86. Name node ...原创 2019-12-21 11:48:32 · 1373 阅读 · 0 评论 -
Hive部署
1.获取安装包wget https://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.16.2.tar.gz[wzj@hadoop001 software]$ lltotal 549960-rw-r–r--. 1 wzj wzj 434354462 Dec 2 11:06 hadoop-2.6.0-cdh5.16.2.tar.gz...原创 2019-12-16 14:22:19 · 205 阅读 · 0 评论