天翼云实践(二):hive操作

本文介绍了在天翼云环境中进行hive操作的实践体验,强调了hive与理论理解的不同。作者指出hive是一个基于hdfs的结构化数据仓库,通过sql操作hdfs数据,元数据存储在mysql,且insert语句会触发mapreduce任务。尽管不适用于实时计算,但在大数据量场景下,hive的集群管理能力展现出优势。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

        今天将天翼云中的两台hadoop节点进行了hive操作,结果大吃一惊。原来实践后的hive与原来的理解完全不同。各位有机会,一定实际操作云及各项应用,这样既记忆深刻,更重要的是检验理论。今天我们来看看实际hive操作过程。

        一、安装hive

        因为上次安装了两个节点的hadoop最小集群(master、node节点),今天直接在master节点上安装了hive。因为hive是基于hdfs存储,因此必须先基于昨天的hadoop集群;另一方面,hive必须安装在master节点中,因为hive将基于mapreduce下发任务。

        安装hive不容易,如果是大规模应用建议首先安装mysql等结构化数据,因为hive必须将数据仓库的元数据(也就是create table中的字段)放入mysql等结构化数据中。如果使用了mysql则必须将JConnector JAR包放入hive的lib目录中,作为hive程序调度使用。

        接下来再安装hive程序,hive程序必须配置hive_env、hive_site.xml两个配置文件。

        详细操作步骤网上有详细说明,安装步骤不是本文的重点。

        二、使用hive

        这里是我最吃惊的地方,原因hive是一个基于hdfs的结构数据仓库(也就是数据库)。这里有几个我意外的地方

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值