大数据技术中,HIVE的应用场景有哪些

本文探讨了HIVE在大数据领域的应用场景,包括事务处理、实时查询、OLAP分析,以及其在ETL流程中的作用。HIVE作为数据仓库工具,侧重于数据分析、存储和计算,可与MapReduce或Spark集成。此外,文章还提到了高可用性、存储格式、UDF以及视图等概念。

最近学习大数据,对于HIVE这个工具,有很多的困惑,不清楚具体有哪些应用场景,以下是我请教了科多大数据的冯老师之后总结出来的一些笔记,希望对大家有帮助


事务:之前了解到的是,转账(一个帐户上都加、一个帐户上进行减)

      行级事务(要保存一条insert\update不会出现只插入一部分的情况)

实时:查询速度快,响应速度快。

      在企业里面,一个请求发送出去,如果不是太复杂的话,在做需求的时候,整个响应过程一般不会超过3S

OLTP:一般指的是数据库

OLAP:重点在于分析上,用于查询或者分析使用。没有实时要求一般是按天、周、月、年来进行数据统计。

OLTP是要求实时性高,一般是用于业务系统。

OLAP对实时性要求不高,一般用于数据分析(但是一般情况下是比业务系统的存储的数据量更大)

CAP原则:

Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性)

ETL? ETL有一个职位在:ETL工程师

经过抽取(extract)、转换(transform)、加载(load)至目的端的过程

爬虫、数据的算法(清洗、转换)、ETL工具

HIVE的定位是数据仓库,所偏向的是数据分析存储和计算方向。

在新的技术范围内。计算引擎mapreduce中是其中之一。有些公司会有到spark来作为计算引擎。HIVE与spark的集成。

主备模式:有主也有从。当主的挂掉之后,备机可以马上启动起来。这就是【高可用】单点故障

存储格式:.txt(文本格式)、gzip(压缩格式)、二进制文件(序列化文件)

    存储过程:类似于java中的一个方法(里面可以有多条语句、同时可以包含判断、循环等等)

sele

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值