Hive的学习心得-个人理解什么是hive

最新推荐文章于 2025-01-03 23:58:45 发布
原创 最新推荐文章于 2025-01-03 23:58:45 发布 · 3.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #hql #心得 #理解 #总结

本文探讨了HQL如何类似于SQL结合Java的部分语法，实现数据的灵活操作，同时对比了Shell在Hive中执行类似Oracle存储过程及定时任务的功能。深入解析自定义函数在Hive中的实现方式，相当于使用Java编写Oracle自定义函数。
  1. hive约等于sql+java→可以为所欲为的插入、查询读取数据。
  2. hql约等于sql主语法+java部分语法（array，map，stuct，字符类型、contacts等）
  3. hql约等于oracle里面的sql
  4. shell约等于oracle中的存储过程+job定时任务（同样定时执行）
  5. 自定义函数约等于用java写oralce里面的自定义函数
hive 的简介
Dwiwhwjd的博客
11-19 294
一、Hive基本概念 1.1、Hive简介 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将SQL转换为MapReduce的任务的工具。 为什么使用Hive 1、直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 2、为什么要使用Hive 操
hive学习心得
woxuxueyang的博客
03-10 3186
此博文是自己学习hive的一些学习心得，可能有些地方理解的不对，如有不妥之后，忘能不吝赐教！！！ 目录 hive是什么 数据操作 执行原理 分区 分桶 hive是什么 hive从本质上来说是一个仓库，是一个分析框架，它本身不存储数据，连最起码的元数据信息也不存储。 它可以通过mysql或(Derby)对存放在hdfs上面的数据进行映射，其中元信息存放在mysql或Derby中。 ...
Hive学习使用一周感悟
学苑新空
11-26 2967
Hive感悟
Hive学习总结
qq_16753341的博客
07-06 508
1、Hive是什么？Hive 是建立在 Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop  中的大规模数据的机制。Hive定义了简单的类 SQL  查询语言，称为 QL ，它允许熟悉SQL  的用户查询数据。同时，这个语言也允许熟悉MapReduce  开发者的开发自定义的mapper  和 redu...
Hive学习笔记总结
m0_56199421的博客
12-10 3602
Hive定义 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。 由Facebook开源用于解决海量结构化日志的数据统计。 本质：将HQL转化成MapReduce程序。 存储-----Hive处理的数据储存在HDFS 计算-----Hive分析数据具有底层的实现是MapReduce 查询-----执行程序运行在Yarn上 Hive优缺点 优点 （1）操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。 （2）避免了去写MapReduce，减
Hive学习心得&Hive的UDF
Jonney's house
02-16 1569
一：Hive基本介绍 Hive是建立在Hadoop上的数据仓库基础构架，它提供了一系列工具可以用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模的数据机制。 使用语言：QL语言（类SQL查询语言）。能处理内建的mapper和reducer无法完成的复杂分析工作。 1.Hive是SQL解析引擎，它将SQL语句转译成M/R Job然后再Hadoop执行。 2
Hive个人心得笔记
LiuY521的博客
07-06 7231
Hive个人心得笔记 一、Hadoop开发存在的问题 只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存在语言门槛 需要对Hadoop底层原理，api比较了解才能做开发 开发调试比较麻烦 二、Hive概述 Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整...
精选资源
Hive总结.docx
06-12
【Hive原理】 Hive是基于Hadoop平台的数据仓库解决方案，它主要解决了在大数据场景下，业务人员和数据科学家能够通过熟悉的SQL语言进行数据分析的问题。Hive并不存储数据，而是依赖于HDFS进行数据存储，并利用...
个人大数据总结之hive(二)--------hive安装&基本使用
飞半天的鱼儿的博客
11-11 278
继上篇文章写完对hive的一些基本认识之后，本篇文章对hive的安装以及一些的使用做一个简单的介绍~ 一、hive的安装 要想在一台linux服务器上安装hive，首先要具备以下三个条件 （1）JDK （2）HADOOP （3）MYSQL 在这里，我默认各路大神已经安装完了JDK，以及hadoop，直接介绍mysql的安装(后期也会写一篇安装Hadoop的集群版和单机...
一课一得：深入理解Hive数据仓库
最新发布
2401_85789975的博客
01-03 711
在学习Hive数据仓库的过程中，我对大数据处理和数据库管理有了更深入的理解。以下是我从这节课中获得的一些关键知识点和心得体会。DDL是Hive中用于定义数据库和表结构的语言。在这部分内容中，我们学习了如何创建、查看、修改、切换和删除数据库。使用`CREATE DATABASE`语句。例如，`CREATE DATABASE mydatabase;使用`SHOW DATABASES`语句。例如，`SHOW DATABASES;使用`ALTER DATABASE`语句。
hive学习总结 思维导图.xmind
09-18
由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language)，因此很容易将 Hive 理解为数据库。其实从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但是Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。
hive优化总结
12-09
hive ，优化总结，本文涉及HIVE的参数设置，H—SQL关系的写法中需要注意的地方。
hive学习总结
慕容的博客
05-28 464
<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionUserName</name> <valu.
Hive个人学习总结
ltylzq的博客
03-14 325
1&gt;   关于load 数据的时候，如果数据不是在本地，那么是不需要加上local关键字；此时，表示的是数据在HDFS上，可能会问：数据本来就是在HDFS上，那为什么还要load呢？load的目的就是将数据的目录修改，修改指向到/usr/hive/warehouse下面。因此，如果考虑和规划不当，那么会导致HDFS上目录的很大变化。    关于overwrite 关键字，一定要小心使用，本人...
hive学习小结
fan_bigdata的博客
08-19 1053
数据仓库Hive 一: 数据仓库 基本概念: Data Warehouse ,数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。 主要特征: 1. 面向主题 2. 集成性 3. 非易失性 4. 时变性 数据库(OLTP) 与 数据仓库(OLAP) 的区别 1. 数据库是面向事务的设计，数据仓库是面向主题设计的。 2. 数据库一般存储业务数据，数据仓库存储的一般是历史数据。 3. 数据库设计是尽量避免冗余，一般针对某一业务应用进行设计，比如一张简
Hive的一些理解
weixin_30553065的博客
03-07 274
首先谈一下关于hive和hbase的区别的疑问（完全不是一个东西）： 　　本质上来说hive和hbase没什么关系，虽然都是表，查数据等，但是他们根本就不是一个层面的东西 　　hive就是一个rapduce的一个包装，hive就是将编写的sql转换成mapreduce任务 　　而hbase是什么呢？可以理解为是hdfs的一个包装，本质是数据存储的，一个nosql数据库，部署与hdfs之上的，...
HIVE理解
wangfeinilin的专栏
03-03 1507
Hive 1.Hive简介 Hive是一个基于Hadoop文件系统上的数据仓库架构。它为数据仓库的管理提供了许多功能：数据ETL（抽取、转换、加载）工具、数据存储管理、大型数据集的查询与分析能力、类SQL语言（HQL，允许自定义mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作）。 2.Hive体系结构  说明： 1.用
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值