hive
关注
分享
扫一扫
zengxianglei
曾经 年少 爱追梦, 一心 只想 往前飞 。。。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hive 中insert into和insert overwrite 的区别 举例
hive 中insert into和insert overwrite 的区别 举例1、insert into 语句Hive> insert into table account select id,age,name from account_tmp;2、insert overwrite语句hive> insert overwrite table account2 selec...原创 2019-04-30 00:52:15 · 8322 阅读 · 1 评论 -
hive中的内置函数parse_url_tuple() 和内置函数 lateral view和 parse_url
hive中的内置函数parse_url_tuple() 和内置函数 lateral view1.parse_url ()解析URL字符串，partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]。【host,path,query,ref,protocol,file,authority,userinfo】这...原创 2019-05-08 19:18:40 · 3303 阅读 · 0 评论 -
级联求和 当前的状态数据跟之前的状态数据相关的指标计算
级联求和 当前的状态数据跟之前的状态数据相关的指标计算比如需求:需求中，存在当前的状态数据跟之前的状态数据相关的指标计算，解决方向就是自己跟自己join因为当自join的时候 才会把当前的状态数据和之前的状态数据出现在一行中。比如我们当前的需求：求 每个人根据月份 累计的薪水【就是 2月的累计薪水为 1+2月，3月的薪水=1+2+3月的薪水】举例：数据A,2015-01,5A,20...原创 2019-05-14 02:20:52 · 315 阅读 · 0 评论 -
hive中可以有多种方式创建出带有数据的表
hive中可以有多种方式创建出带有数据的表create table + load data 内部表+加载数据create external table +location 外部表+指定数据路径create table + as select 创建表的字段和数据来自于后面的查询返回结果create+insert+select 一个表的数据来自于查询语句...原创 2019-05-09 16:32:51 · 640 阅读 · 0 评论 -
模块开发-数据仓库的设计 及星型模型 雪花模型 星座模型
模块开发-数据仓库的设计 及星型模型 雪花模型 星座模型模块开发—数据仓库设计1.维度建模：专门用于分析性数据库【还有数据仓库/数据集市建模的方法】的设计。 数据集市可以理解为一种小型的数据仓库。维度表（dimension）：就是分析事物的某个角度 数据量不大 精确度高 如：“昨天下午我在星巴克花费 200 元喝了一杯卡布奇诺” 从这句话中我们可以划分三个维度：时间维度；地点维度；商品维...原创 2019-05-07 16:47:01 · 4639 阅读 · 0 评论 -
hive中的自定义函数 udf 和udaf和udtf的区别 以及用法
hive中的自定义函数 udf 和udaf和udtf的区别 以及用法udf:特点：input:output=1:1实例函数:md5,split,ltrim应用场景：1:1的情况，比如md5…实现方法：简单udf实现extends UDF方法名 evaluate举例：public class Lower extends UDF {public Text evaluate(Te...原创 2019-05-07 19:19:10 · 4043 阅读 · 0 评论 -
连接hive数据仓库的可视化工具 dbeaver 和squirrel 的安装及连接hive操作
连接hive数据仓库的可视化工具 dbeaver 和squirrel 的安装及连接hive操作这里只介绍 dbeaver一 dbeaver 的安装下载： https://dbeaver.io/点击下载下载完成后 运行所有步骤 next 即可。【我把 jre 勾掉了 其他默认 ，里面的语言自己选 我选的英文】同时选中 创建桌面快捷方式。安装 完成。二 ...原创 2019-05-10 16:36:04 · 3256 阅读 · 0 评论 -
hive 核心 基本操作
hive 核心 基本操作show databases;use weblog;show tables;show partitions ods_click_pageviews;desc formatted ods_click_pageviews;load data local ‘/root/hivedata/pageview/文件’ into table ods_click_pagevi...原创 2019-05-15 17:23:40 · 185 阅读 · 0 评论 -
网站浏览日志分析（5）漏斗模型分析 针对pageviews
网站浏览日志分析（5）漏斗模型分析load data inpath’/hivedata/pageview/part-r-00000’ INTO TABLE ods_click_pageviews PARTITION(datestr=‘20130918’);load data inpath’/hivedata/click-part-r-00000’ INTO TABLE ods_click_pa...原创 2019-05-15 19:39:40 · 752 阅读 · 0 评论 -
hive 中的函数自总
hive 中的函数自总cast() ;类型转换cast(date as date)cast(timestamp as date)cast(string as date)：如果string是YYYY-MM-DD格式的，则相应的年/月/日的date类型的数据将会返回；但如果string不是YYYY-MM-DD格式的，结果则会返回NULL。cast(date as timestamp)：基...原创 2019-05-15 19:45:57 · 264 阅读 · 0 评论 -
web网站访问日志（四） 根据业务需求 书写hive sql
web网站访问日志（四） 根据业务需求 书写hive sql1.ods层（事实表）建表语句原始数据表：对应mr清洗完之后的数据，而不是原始日志数据drop table if exists ods_weblog_origin;create table ods_weblog_origin(valid string,remote_addr string,remote_user stri...原创 2019-05-11 17:17:10 · 813 阅读 · 1 评论 -
hive 常用函数及运算符
hive 常用函数及预算符hive 常用运算第一部分：关系运算Hive支持的关系运算符•常见的关系运算符•等值比较: =•不等值比较: <>•小于比较: <•小于等于比较: <=•大于比较: >•大于等于比较: >=•空值判断: IS NULL•非空判断: IS NOT NULL•LIKE比较: LIKE•JAVA的LIKE操作: R...原创 2019-05-13 12:02:25 · 5396 阅读 · 0 评论 -
如何获取 url中的host 1.sql server 2.hive
如何获取 url中的host 1.sql server 2.hive1.sql server 中有个自定义函数 Reg_splitReg_Split(url,’(https|http)原创 2019-05-27 12:35:28 · 1090 阅读 · 0 评论 -
mapreduce 和hive 的区别
mapreduce 和hive 的区别待会总结 先看学习网址学习网址：https://blog.youkuaiyun.com/hemeinvyiqiluoben/article/details/84766841原创 2019-06-30 20:45:14 · 4682 阅读 · 0 评论 -
hive和hbase整合 构建低延迟的数据仓库
hive和hbase整合 构建低延迟的数据仓库1、摘要Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。2、应用场景2.1 将ETL操作的数据存入HBase2.2 HBase作为Hive的数据源2.3 构建低延时的数据仓库3、环境准备3.1 ...原创 2019-07-28 13:21:52 · 1151 阅读 · 0 评论