大数据系列教程_hive安装

【大数据基础实践】(六)数据仓库Hive的基本操作_熟悉hive的基本操作 解决方法:查看hadoop安装目录下 share/hadoop/common/lib 内 guava.jar 版本,查看 hive安装目录下lib内guava.jar的版本,如果两者不一致,删除版本低的,并拷贝高版本的。在表student_zqc中添加两个分区Dept=’CS’和Dept=’SE’,从本地导入数据到student_xxx表的两个分区中,分别查看两个分区所有记录,查看表数据存储目录;从HDFS导入数据到grade_xxx表中,查看grade_xxx表所有记录,查看表数据存储目录; 阅读详情

7、hive安装

1、hive环境变量配置

2、MySQL驱动包放入到lib中

3、hadoop用户 .bash_profile配置环境变量,如果配置/etc/profile,hadoop用户将不能使用

Hive-site.xml文件

 

注意MySQL远程登录的权限

 

<property>

  <name>javax.jdo.option.ConnectionURL</name>

  <value>jdbc:mysql://monitor:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8</value>

  <description>JDBC connect string for a JDBC metastore</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionDriverName</name>

  <value>com.mysql.jdbc.Driver</value>

  <description>Driver class name for a JDBC metastore</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionUserName</name>

  <value>root</value>

  <description>username to use against metastore database</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionPassword</name>

  <value>hadoop</value>

  <description>password to use against metastore database</description>

</property>

 

 

开启hive客户端

开启hive server

setsid ./hive  --service hiveserver 50031 & (后台启动)

netstat -anp|grep 50031(监听是否启动)

 

 

 

关联hbase:

 

 

 

   <property>

      <name>hbase.zookeeper.quorum</name>

      <value>zookeeper1,zookeeper2,zookeeper3</value>

<description></description>

 

hbase-client-0.96.1.1-cdh5.0.1.jar

hbase-common-0.96.1.1-cdh5.0.1.jar

hbase-hadoop-compat-0.96.1.1-cdh5.0.1.jar

hbase-protocol-0.96.1.1-cdh5.0.1.jar

hbase-server-0.96.1.1-cdh5.0.1.jar

htrace-core-2.01.jar

 

CREATE EXTERNAL TABLE member(key string,name string)   STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,address:province") TBLPROPERTIES("hbase.table.name" = "member");

 

 

 

Error:

 

1、error

com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes

 

ALTER TABLE COLUMNS_V2 MODIFY COLUMN COMMENT VARCHAR(256) CHARACTER SET utf8;

ALTER TABLE DATABASE_PARAMS  MODIFY COLUMN PARAM_VALUE VARCHAR(4000) CHARACTER SET utf8;

ALTER DATABASE hive CHARACTER SET latin1;

 

 

 

 

Hive的安装与配置——第1关:Hive的安装与配置 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ysxGddek-1666195111052)(D:\文件\大三上\大数据库\educoder_Hive的安装.png)]版本就说明安装成功,但是可以看到其中有一些警告信息,是由于包的冲突引起的。补充完代码后,点击测评,平台会对你编写的代码进行测试,当你的结果与预期输出一致时,即为通过。**注意:**通过本关后,请继续完成第二关,第二关是在。注意:安装过程中会提示设置密码什么的,不要忘了设置。到该目录下,并将解压的文件重命名为。 阅读详情

相关推荐

《Hive系列》Hive详细入门教程

Hive简介Hive:由FaceBook开源用于解决海量结构化日志的数据统计工具Hive:基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL的查询功能。Hive本质将HSQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层实现的是MR执行程序运行在Yarn上​ 窗口函数又叫做开创函数,他是一种分析的函数,专门可以解决报表类型的需求分析。他专门用于计算基于组的某种聚合。对于每个组返回返回是多行,也就是聚合函数的分组只有显示一行。

https://blog.datasource.space 6559

大数据入门教程系列之Hive环境搭建--Linux(Centons7)下配置安装Hive

本篇文章主要介绍在windows下使用vmware虚拟机中的Linux(Centons7)下配置安装Hive。 简要步骤: ①、下载hive解压包 ②、安装mysql服务器,教程可参照笔者博客 yum方式安装mysql数据库 ③、进入hive的conf目标新建一个hive-site.xml ④、在hive-site.xml中写入mysql连接信息 ⑤、将mysql的驱动包复制到hive...

zjh_746140129的博客 784

Hive基础教程 Hive入门

hive是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据:可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能;可以将SQL语句转换为MapReduce任务运行,通过自己的SQL查询分析需要的内容,这套SQL简称Hive SQL,使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。

果子哥丶的博客 7696

沈志勇-百度大数据引擎与分析预测

沈志勇-百度大数据引擎与分析预测 大数据是目前全球关注的一个热点技术领域。百度大数据实验室作为百度大数据引擎的重要组成部分,以深厚的大数据处理和大规模机器学习技术积累为基础,基于百度自有数据以及来自各类行业大数据,进行包括广告、推荐、预测在内的各种大数据智能分析应用。 详细解读 和小伙伴们一起来吐槽

chengying332 1669

大数据Hive系列之Hive用户权限管理

1. 角色 创建角色 create role role_name; 显示角色 show roles; 删除角色 drop role role_name; 2. 用户 * 用户进入admin角色权限 set hive.users.in.admin.role; set role admin; 查看某用户的所有角色 show role grant user user_name 给角色添加用户 gran...

arne's Blog 5139

图解大数据技术:从入门到精通系列教程

本篇内容是ShowMeAI组织的「图解大数据处理与开发」系列教程入口,本教程以大数据技术为根基,给大家讲解大数据开发与数据处理分析的相关知识与技能,并配以相关的实战案例帮助大家学习理解。...

ShowMeAI研究中心 1万+

第三章 大数据Hive环境搭建

概述:          Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 re...

mzhhy的博客 511

Hive 教程(一)—— Hive 介绍及安装

文章目录1. Hive 入门1.1 什么是 Hive1.2 Hive 的优缺点1.3 Hive 架构原理2. Hive 安装2.1 下载地址2.2 Hive 安装部署 1. Hive 入门 1.1 什么是 Hive   Hive:由 Facebook 开源用于解决海量结构化日志的数据统计,现已归于 Apache。   Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类 SQL 查询功能。   本质是:将 HQL 转化成 MapReduce 程序。 Hive

西门催学不吹雪 2061

【大数据】Hive系列之- Hive3.1.3 安装教程

Hive-3.3.1 安装部署教程

如切如磋,如琢如磨,臻于至善。 1312

Hive安装超详细教程

Hive3.1.2安装教程前言初始准备安装Hive的具体步骤1、下载hive安装包2、解压3、添加Hive核心配置,选择远程MySQL模式4、下载连接MySQL的驱动包到hive的lib目录下5、在MySQL上创建Hive的元数据存储库6、执行Hive的初始化工作7、验证初始化是否成功8、使用hive9、使用beeline ...

笑看风云路的博客 1万+

昆仑通态,自由串口通讯

软件默认无该功能,需要问客服索要扩展包。

cfqq1989的博客 1537

Deepin系统安装大数据系列教程-第四部分(Hive安装配置教程)

✅ JDK 8 已安装✅ Hadoop 已安装并正常运行✅ MariaDB 已安装并配置好 Hive 数据库: 3.1.3 (推荐)

qq_26585501的博客 1413

用RK3588+FPGA搞定Cameralink高速相机?这份保姆级硬件选型与接口配置指南请收好

本文详细介绍了如何利用RK3588与FPGA构建Cameralink高速相机系统,涵盖硬件选型、接口配置及性能优化等关键步骤。通过异构计算架构和精准的带宽分配,实现工业视觉检测和科研成像领域的高效解决方案,特别适合需要实时处理的复杂应用场景。

weixin_30493401的博客 642

大数据第三季--Hive(day1)-徐培成-专题视频课程

大数据第三季--Hive(day1)

xupeicheng_2008的博客 168

8台 × 8卡 910B NPU之顶尖大模型选型分析

本文对比了2026年主流大语言模型在昇腾910B NPU集群上的部署方案。重点评估了GLM5、MiniMax M2.5、Kimi K2.5、DeepSeek V3.2和Qwen 3.5旗舰版等候选模型,从部署需求(显存占用)、能力表现(基准测试、多模态支持)和NPU生态适配度三个维度进行分析。结果显示DeepSeek V3.2综合表现最优:支持BF16/W8A8/INT4量化,在4TB显存环境下可实现2000+ TPS,首token延迟<100ms,且具备官方NPU支持。备选方案Qwen 3.5旗舰版

FeelTouch Labs 756

硅纪元应用测评 | AI搜索引擎大比拼:360AI搜索、秘塔搜索、GenSpark AI和天工AI对比评测

搜索引擎输出的每个段落都有对应的出处,如果有错误,也是信息源的问题,从普通用户的角度来看,这与AI搜索的产品关系不大,能让用户对AI搜索的服务和得到的信息有一个隔离。同时,提供更多的定制选项,允许用户根据自己的偏好调整搜索结果的权重和排序,将使得搜索体验更加个性化和满足用户的具体需求。此外,大部分搜索工具还提供了一个无广告的搜索环境(360AI搜索部分内容会有广告),极大地提升了用户的搜索体验。AI搜索的本质依然是搜索,但它通过AI的逻辑分析和语言重新组织,使用户能够快速得到想要的信息。

guijiyuantech的博客 2013

大数据开发环境需要的安装包合集,亲测没问题

大数据环境需要的安装包合集,包括: apache-flume-1.7.0-bin.tar.gz apache-hive-1.2.1-bin.tar.gz hadoop-2.7.2.tar.gz hbase-1.3.1-bin.tar.gz jdk-8u144-linux-x64.tar kafka_2.11-0.11.0.2.tgz mysql-5.7.20-1.el7.x86_64.rpm-b...

编程开发分享者的博客 554

“反激电源”是AC/DC隔离电源还是DC/DC隔离电源?

所以在一些场景,我们的输入电压是一个DC,但是我们仍然需要隔离电源的需求,我们就会只采用图9.2的右半部分。在这个场景下“反激电源”是DC/DC。所以此AC/DC的本质是将AC变成高压的DC之后,用带隔离变压器的反激式开关电源产生一个隔离的、稳定的直流电压。一般在讲述各种电源的拓扑的文章和书籍都是在讲述AC/DC的电源拓扑分类的时候,讲述Flyback。反激式开关电源是指使用反激高频变压器隔离输入输出回路的开关电源,反激式隔离变压器开关电源重点表述的是开关电源包含变压器的拓扑结构。

qq_43416206的博客 1295

分布式架构系列目录

1、大数据系列|Flume的架构和环境安装 2、大数据系列|Sqoop概念和环境安装 3、大数据系列|Sqoop1的核心命令 4、大数据系列|Vmware虚拟机中安装centos7 5、大数据系列|Vmware下Linux的虚拟机增加磁盘空间 6、大数据系列|Hive架构和工作原理 转载于:https://www.cnblogs.com/abc8023/p/7063025.html...

weixin_30549657的博客 218

一文搞懂LDO !

Start-up 时间是 IC 做死的,如果想要延时启动,最简单的办法是在 EN 上接一个大一些的电容到地,构成一个简单的 RC 电路。电容太小,电压跌落大,响应快。输出电流高,功率大;外围器件少,电路简单,成本低,负载响应快,输出纹波小;将采集的电压输入到比较器反向输入端,与正向输入端的基准电压(期望输出的电压)进行比较,再将比较结果进行放大;是指在给定负载变化下的输出电压的变化,这里的负载变化通常是从无负载到满负载。芯片的静态电流大小与其他性能成反关系,如低噪声,高电源电压抑制比,静态电流大。

weixin_46969363的博客 4384

Oracle EBS FA 创建成批增加执行时间长且报错

摘要 Oracle EBS系统在执行"创建成批增"请求时出现长时间运行并报错(ORA-00603和ORA-03114)。

陈显平的专栏-Oracle EBS 174

Hive安装教程

1.环境准备 安装hadoop 以及 zookeeper、mysql 《适合小白的配置hadoop环境教程》 《zookeeper的安装与配置》 《Linux环境配置MySQL(附文件)》 2.解压安装 本教程所需的包:链接: https://pan.baidu.com/s/1IgIOW9xXW11tJWcJbquQ2w 提取码: uk5i 将压缩包上传到opt文件夹,并解压tar -zxvf hive-1.1.0-cdh5.14.2.tar.gz 将文件夹改名为hive:mv hive-1.1.0-cd

子清的博客 5121

python实现Markowitz模型 (附完整源码)

python实现Markowitz模型 (附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 404

大数据学习——安装hive

大数据学习——安装hive

2301_78409414的博客 2951

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

SZT-bigdata完整部署教程:从零搭建大数据集群

SZT-bigdata是深圳地铁大数据客流分析系统,本文将为您提供从零开始搭建SZT-bigdata大数据集群的完整部署教程,帮助您快速掌握部署要点和关键步骤。 ## 一、环境准备与集群规划 在开始部署SZT-bigdata大数据集群之前,需要做好环境准备和集群规划工作。确保服务器满足硬件和软件要求,合理规划集群节点数量和角色分配。 ### 1.1 硬件与软件要求 硬件方面,建议每台服务器

gitblog_00229的博客 1243

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

上一篇: 大数据系列教程_hbase集群安装
下一篇: 大数据系列教程_分布式消息队列kafka
AShang_BigData
博客等级 码龄12年 3粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值