BigData Learning day 5 hadoop hive环境搭建

最新推荐文章于 2022-12-12 15:03:12 发布
原创 最新推荐文章于 2022-12-12 15:03:12 发布 · 2.9k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍如何在Hive中配置MySQL作为元数据存储，包括移动配置文件至$HIVE_HOME/conf目录，使用schematool进行初始化，解决初始化失败问题，以及下载并配置必要的MySQL驱动。

参考实验楼里面很详细

https://www.shiyanlou.com/courses/38/labs/766/document

配置hive-site.xm的时候可以把他移动到/home/Code文件夹中然后下载下来直接移动到

$HIVE_HOME/conf中

配置好所有东西后

schematool -dbType mysql -initSchema

查看是否初始化成功，如果不能报错原因是

failed to load driver就是缺少驱动类，

运行

wget http://www.java2s.com/Code/JarDownload/mysql/mysql-connector-java-commercial-5.1.7-bin.jar.zip

然后解压到$HIVE_HOME/lib即可

 

 

Hadoop与教育科技：学习行为分析
操作系统内核探秘的博客
09-29 691
随着在线教育、智慧课堂等教育科技场景的普及，学生在数字学习环境中的行为数据（如课程浏览记录、作业提交时间、互动日志等）呈指数级增长。这些数据蕴含着学生的学习习惯、知识掌握程度和兴趣偏好，但传统数据处理工具难以应对其**大容量（Volume）、多样性（Variety）、高速性（Velocity）**的挑战。Hadoop核心组件在教育数据存储与处理中的技术优势学习行为数据的清洗、特征提取及机器学习建模方法从数据中台搭建到个性化学习推荐的全链路实战经验章节核心内容核心概念。
[Spark基础]-- spark submmit大会(2017年6月5日 - 7日)
欢迎来到我的博客，一起探索代码里的世界！
05-03 3676
Spark Summit（2017年6月5日 - 7日，旧金山）议程发布   1、官方：http://spark.apache.org/news/spark-summit-june-2017-agenda-posted.html 2、议程：https://spark-summit.org/2017/schedule/ 3、报名：https://prevalentdesignevents.c...
万字夜里爆肝，熬夜倾情奉献 Hive最最基础应用
悟道
09-12 1921
Hive流程 文章目录Hive流程Hive与传统数据库对比Hadoop简介1.为什么使用Hive2.Hive是什么3.Hive具体内容4.Hive的存储格式5.Hive的重要特性6.Hive操作客户端7.Hive的Metastorejob执行流程8.Hive基础建表语法和加载数据Hive建表建表1：全部使用默认建表方式建表2：指定location （这种方式也比较常用）建表3：指定存储格式建表4：create table xxxx as select_statement(SQL语句) (这种方式比较常用)建
Hive-创建永久函数
weixin_43907316的博客
03-29 3万+
Hive之创建永久函数 首先将我们写好的自定义函数打包上传到我们的HDFS上 hadoop fs -mkdir /user/hive/jars/ hadoop fs -put /opt/module/datas/1.jar /user/hive/jars/ 然后回到我们的hive中 create function small as 'com.qqhru.hive.LogUDTF' using jar '/user/hive/jars/1.jar'; 此时我们show 一下就可以看到我们刚才创建的方法细心
hive的初步使用
pengfeijiuwanli的博客
01-16 2507
Apache Hive 一、概述 由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。 Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的HiveQL 语...
hive永久函数
ever_97的博客
07-27 2129
关于怎么创建临时函数以及永久函数就不赘述，网上一大片，说下永久函数的使用 创建永久函数:createfunction函数名 as'包名'usingjar'hdfs路径对应的jar包'; 这个创建语句是有特定环境的，是在当前的数据库，而要在任何库下面使用这个函数，那么需要在函数名前面加上库前缀。 比如在test库下创建了永久函数myudf,那么在其他库使用的时候语句格式为:select test.myudf ...
hive永久添加udf
weixin_45621200的博客
11-09 1171
udf、udaf、udtf
分清big data,ML,AI之间的关系
06-01 4823
How are big data and machine learning related?（大数据与机器学习间关系）下面是回答： 1. Big data and machine learning are not related, but when used together can do real wonder. （没有直接联系，但是在一起效果更好）Machine Learning & Big
Learning Apache Spark 2
06-14
Asif has presented at various conferences and delivered workshops on topics such as Big Data, Hadoop, Teradata, and Analytics using Aster on Teradata and Hadoop. Asif is a Oracle Certified Java EE 5 ...
Spark开发环境搭建
总结、分享、交流
11-12 1004
开发环境 Spark 2.4.4使用Scala2.12: Java安装 bash-3.2$ java -version java version "1.8.0_211" Java(TM) SE Runtime Environment (build 1.8.0_211-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed m...
hive技术分享
07-17
hive技术分享
hive表信息查询：查看表结构、表操作等
热门推荐
lskyne的专栏
08-07 14万+
转自： 问题导读： 1.如何查看hive表结构？ 2.如何查看表结构信息？ 3.如何查看分区信息？ 4.哪个命令可以模糊搜索表
大数据：Hive3.x安装部署和配置
梁辰兴的博客
12-12 1735
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。
Hive 操作数据库语句总结
似水流年
09-25 2万+
1、创建一个表，字段之间用 \t 分隔；         hive>create  table  student (id  int,  name  string) row  format  delimited  fields  terminated  by '\t' ; 2、将本地一个数据提交到hive里去         hive>load data local inpat
大数据学习之路25-Hive的概念介绍及安装，初体验
爱米酱的博客
08-19 671
Hive就是一种方便的工具，有了它我们不需要亲自去写mapreduce,mapreduce就变成了hive的底层支撑平台，在hive的底层有许多基本sql逻辑单元事先写成了mr模板程序，我们写的sql语句可以通过sql语法解析引擎进行解析。存数据使用HDFS,运行逻辑使用mapreduce,而mapreduce又跑在yarn上。这样hive就可以直接面向使用者。而我们的建表语句就相当于告诉程序我们...
hive 基本指令命令
ysy_1_2的博客
05-29 979
1.show databases 查看有那些数据库 2.创建park数据库,实际上hadoop的HDFS文件系统里创建一个目录节点,统一存在/usr/hive/wareshouse目录下 3.进入数据库 4.查看当前数据库下的所有表 5.创建stu表,以及相关的两个字段 在hive中,用的是string,不用char和varchar,此外,所创建的表,也是HDFS里的一个目录节点。 在hive里面有一个default数据库,这个hdfs目录结构上是看不到的,凡是在default数据库下建立的表,
Hive - 简介和安装
myt0929的专栏
06-09 353
一、产生背景 初代的hadoop的MapReduce写起来非常的麻烦。 兼容RDBMS人员的“云化”，方便使用类SQL操作大数据集。 二、架构   根据上图可以知道，Hive的接口可以是命令行、JDBC（JDBC主要的作用就是去MySQL表中取结果信息）、Web等。一条Hive SQL会像一条SQL一样，语法解析，优化器优化，执行器执行。不同的事，执行器执行在分布式存储系统上（HDF...
hive
ghf183184的博客
02-04 902
1.查看表的详细属性信息 【desc formatted】 hive> desc formatted 表名; OK 2.重命名表 【Rename To】 对于内部表，除了更新表的元数据之外，还对表的目录名称进行修改。 对于外部表，这个操作只更新元数据，但不会更改存放数据的目录名称。 hive> alter table 旧表名 rename to 新表名; OK 3.添加新列 【Ad...
分区 读取参数错误_如何修复“警告：重新读取分区表失败，错误22：参数无效”在Linux上错误...
culunyi0802的博客
09-14 3337
分区 读取参数错误If you are getting the following error while trying to change the default fat32 partition on a new drive to another linux partition type, I might have the answer for you. 如果在尝试将新驱动器上的默认fat32...
Hadoop与Hive环境搭建教程及安装包下载
根据给定的文件信息，我们可以详细解读“hadoop+hive环境安装包.rar”...有了这些基础知识和一个详尽的安装包，即便是IT行业的初学者也能按照步骤逐一完成安装，并将Hadoop和Hive环境搭建起来进行数据存储和分析任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值