Forever_ck的博客

一 、Hive 基本概念 1.1 什么是 Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。它是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质就是：将HQL 转化成 MapReduce 程序 1）Hive 处理的数据存储在 HDFS 2）Hive 分析数据底层的实现是 MapReduce 3）执行程序运...

闲话少叙，直接开干！ 先看Demo： 一、行转列 首先，我们需要收集数据，创建一个文件，内容如下： 一、启动Hive，创建表并导入数据： 1.1 创建表 create table test(name string,xingzuo string,xuexing string) row format delimited fields delimated by "\t"; 1.2 导入数据 ...

Hive安装完成后，因为默认其元数据Metastore是存储在自带的derby数据库中，所以在多窗口启动的时候会报如下异常： 解决办法：配置Hive元数据存储地址为Mysql，重启Hive，问题解决，如果在重启Hive时出现异常，可尝试重启虚拟机！ ...

今天在测试的时候发现这样一个小错误，分享如下： 错误原因：因为Hive中的真实数据是存储在Hdfs上的，所以在启动Hive前，需要先启动Hadoop集群，在启动Hadoop集群的时候，我同时启动了Hive，导致集群进入了安全模式。 解决办法： 第一种方法：稍等一点时间，重新启动Hive。（当然电脑配置越高，所需时间就越短） 第二种方法：执行如下命令退出安全模式即可。 hadoop dfsadm...

在我们开发数仓项目的过程中，我们常常需要写一些复杂的 hql 语句来完成我们的业务逻辑，今天我们就来聊聊那些Hive中自带的常用函数。 一、Hive中内置函数图解 二、常用函数总结：（常用的数学和日期函数） round（） 四舍五入取值 floor 向下取整 ceil 向上取整 sqrt 求平方根 abs 求绝对值 greatest 求一组数据中的最大值 ...

这篇继续我们介绍我们的函数，上篇链接： https://blog.youkuaiyun.com/Forever_ck/article/details/85268145 闲话少叙，开整： current_date 获取当前日期 rtrim 去除字符串右边空格 split 将字符串按照指定字符切割，返回一个数组 upper 和 ucase 两个函数都可以将小写字母转为大写 repeat（字符...

hive 创建 json格式表报错如下： 日志信息： 问题原因：缺少对应版本的 hive.hcatalog-core jar包，下载对应版本的jar包，导入hive安装目录下的 lib 目录下，问题解决如下： jar下载地址： https://www.mvnjar.com/org.apache.hive.hcatalog/hive-hcatalog-core/1.2.1/detail.html...

很多时候，我们会在解析hive的时候，见到json的身影，那么今天我们就来聊聊hive中是如何解析json数据的，分析如下： 创建json格式表：（我们的目的是为了解析json数据，所以就简单建一个表） create table t1(json string); 如果报错，参看上篇错误！ https://blog.youkuaiyun.com/Forever_ck/article/details/8505...

一、Fetch抓取 Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。 在 hive-default.xml.template 文件中 hive.fetch.task.conversion 默认是 more，老版本 hive 默认是 minimal，该属性修改为 more 以后，在全局查找、字段查找、limit 查找等都不走 mapreduce。 配...

话不多说，我们继续我们的Hive优化，上篇地址： https://blog.youkuaiyun.com/Forever_ck/article/details/85777938 3.6 笛卡儿积： 尽量避免笛卡尔积，join 的时候不加 on 条件，或者无效的 on 条件，Hive 只能使用 1个 reducer 来完成笛卡尔积。 3.7 行列过滤 列处理：在 SELECT 中，只拿需要的列，如果有，尽量使用...

继续我们前面地内容： 上篇：https://blog.youkuaiyun.com/Forever_ck/article/details/85777938 中篇：https://blog.youkuaiyun.com/Forever_ck/article/details/85780280 五、并行执行 Hive 会将一个查询转化成一个或者多个阶段。这样的阶段可以是 MapReduce 阶段、抽样阶段、合并阶段、limit...

在Hive表中关联数据时报错如下： 问题原因：两表关联时相同字段列名也相同，导致关联报错！ 解决方法：指定字段所属表即可！

1.报错如下： 2.问题原因 刚看到这个错误的，还以为语法有错误，后来发现原因竟然是末尾多了个双引号。 特写一篇博客，警醒自己要细心，细心，再细心 3.解决办法 删除末尾引号即可。 ...

1.Hive删除表失败，查看logs报错如下： 2.问题原因：Hive元数据有错，在Mysql中删除原先Hive元数据库，重新创建 3.重启Hive，测试成功如下：

1.报错如下： 2.错误原因： 表中字段太多，为了简便使用了 select *，导致查询结果中的列数不匹配。 3.解决办法： 将 select * 改为需要的字段即可。