Hive安装

Hive的安装与配置——第1关:Hive的安装与配置 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ysxGddek-1666195111052)(D:\文件\大三上\大数据库\educoder_Hive的安装.png)]版本就说明安装成功,但是可以看到其中有一些警告信息,是由于包的冲突引起的。补充完代码后,点击测评,平台会对你编写的代码进行测试,当你的结果与预期输出一致时,即为通过。**注意:**通过本关后,请继续完成第二关,第二关是在。注意:安装过程中会提示设置密码什么的,不要忘了设置。到该目录下,并将解压的文件重命名为。 阅读详情

说明hive有两种方式共享元数据
1)mysql
2)derby:缺点(多个地方安装hive后,每一个hive是拥有一套自己的元数据,大家的库、表就不统一)
这里就介绍mysql的方式共享元数据

说明:hive是一个客户端,底层存储的数据是hdfs,所以,我们只需要在一台机器上安装hive即可

一、 Mysql数据安装

使用yum源进行安装。不推荐使用rpm包的方式进行安装。

1.1 下载并安装MySQL官方的 Yum Repository

1)下载了安装用的Yum Repository

wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

2)yum安装

yum -y install mysql57-community-release-el7-10.noarch.rpm

3)卸载yum源,防止自动更新

yum -y remove mysql57-community-release-el7-10.noarch

1.2 MySQL数据库设置

1)首先启动MySQL
systemctl start mysqld.service

2)查看MySQL运行状态
systemctl status mysqld.service

3)MySQL正常运行,进入MySQL还得先找出此时root用户的密码,通过如下命令可以在日志文件中找出密码:
grep “password” /var/log/mysqld.log

4)进入数据库
mysql -uroot -p

5)修改密码
ALTER USER ‘root’@‘localhost’ IDENTIFIED BY ‘new password’;

若密码设置不成功,原因mysql对密码有要求,可以通过如下命令设置:
mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=1;

6)开启mysql远程连接
grant all privileges on . to ‘root’@’%’ identified by ‘root’ with grant option;
flush privileges;

7)开机自启动
centos7的,没弄

二、安装hive

2.1 安装

从 http://archive.cloudera.com/cdh5/cdh/5/ 下载对应软件;
解压hive-1.1.0-cdh5.14.0
tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C /opt/module/

2.1.1 修改hive-env.sh

添加我们的hadoop的环境变量
cd /opt/module/hive-1.1.0-cdh5.14.0/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh

HADOOP_HOME=/opt/module/hadoop-2.6.0-cdh5.14.0
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/opt/module/hive-1.1.0-cdh5.14.0/conf

2.1.2 修改hive-site.xml

cd /opt/module/hive-1.1.0-cdh5.14.0/conf
vim hive-site.xml

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
         <name>javax.jdo.option.ConnectionURL</name>
         <value>jdbc:mysql://node03.hadoop.com:3306/hive?useSSL=false</value>
    </property>

    <property>
         <name>javax.jdo.option.ConnectionDriverName</name>
         <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
         <name>javax.jdo.option.ConnectionUserName</name>
         <value>root</value>
    </property>
    <property>
         <name>javax.jdo.option.ConnectionPassword</name>
          <value>root</value>
    </property>
    <property>
         <name>hive.cli.print.current.db</name>
          <value>true</value>
    </property>
    <property>
          <name>hive.cli.print.header</name>
          <value>true</value>
    </property>
    <property>
          <name>hive.server2.thrift.bind.host</name>
          <value>node01.hadoop.com</value>
    </property>
<!--
    <property>
          <name>hive.metastore.uris</name>
          <value>thrift://node03.hadoop.com:9083</value>
    </property>
-->
</configuration>

2.1.2 配置查询显示字段名

当我们使用hive cli的方式查询时,没有显示字段名,不好看,可以配置hive-site.xml,如下:

<!-- 显示表的列名 -->
<property>
     <name>hive.cli.print.header</name>
     <value>true</value>
</property>
    
<!-- 显示数据库名称 -->
<property>
     <name>hive.cli.print.current.db</name>
     <value>true</value>
</property>
<!-- 屏蔽字段名带表名 -->
<property>
     <name>hive.resultset.use.unique.column.names</name>
     <value>false</value>
</property>

2.2 报错处理

问题1:

You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide

解决办法:在配置的数据库后面添加一个?useSSL=false

<property>
     <name>javax.jdo.option.ConnectionURL</name>
     <value>jdbc:mysql://node01.hadoop.com:3306/hive?useSSL=false</value>
</property>

问题2:

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
hive (default)> exit;

原因:元数据没法初始化,需要启动thrift服务端:bin/hive --service metastore &

1、hive的metastore : 通过hive metastore能访问hive的元数据,hive的元数据使用Data Nucleus持久化,因此mysql等数据库可以和hive结合,存储元数据。
2、配置metastore服务器或者数据库:两种方式内嵌的derby数据和远程方式
3、远程metastore服务端和客户端之间使用Thrift协议通信。执行hive --service metastore 启动Thrift服务端,如不,直接执行SQL语句就会报错

问题3:

Exception in thread "main" org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083.
        at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:109)
        at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:91)
Caused by: java.net.BindException: Address already in use

原因,启动Thrift服务端重复启动,jps 查看 runJar的进程,方法kill -9 ;
重复启动bin/hive -service metastore &

hive安装 一、前提:二、安装步骤:1、上传jar包至/usr/local/soft2、解压并重命名3、配置环境变量三、配置HIVE文件1、配置hive-env.sh2、配置hive-site.xml3、配置日志4、修改默认配置文件5、上传MySQL连接jar包四、修改MySQL编码1、 编辑配置文件2、加入以下内容:3、 重启mysql五、初始化HIVE六、进入hive七、后续配置八、测试hivehive中的几种存储格式TextFile格式:文本格式RCFile:ORCFile:Parquet:安装hive所需要的虚 阅读详情

相关推荐

【Hive】Mac安装Hive

一. 安装 hive安装:brew install hive mysql安装:brew install mysql 启动mysql:bash mysql.server start 二. 元数据库配置 Hive默认用derby作为元数据库。这里我们用mysql来存储元数据,下面作一些初始化配置 登录mysql:mysql -u root 创建数据库:create database metast...

藏经阁 | 玄苦 1214

Address already in use 端口被占用

当我们在进行利用端口号进行项目测试时候,经常会遇到端口占用错误,原因是我们没有将端口停止,就直接关了项目,或者是开了第二个一样的端口项目 如何根据端口号来关闭进程呢? 在linux下 lsof -i:端口号 kill 进程号 如果这种不行,直接kill -9 pid(进程编号)强行关闭 but..............

yang灬仔 1914

Ubuntu 安装 Hive

Hive安装 Hive安装目录Hive安装一、安装Mysql①下载mysql②配置mysql③测试mysel二、本地安装Hive①解压Hive②设置环境变量③修改配置环境④将mysql驱动配置,初始化⑤启动hive三、报错①Access denied for user 'root'@'localhost',因为权限不足,获取不了信息②jbdc版本问题③没有启动mysql服务 一、安装Mysql ①下载mysql sudo apt-get update #更新服务器上的包索引 sudo apt-get in

哦吼 3097

2.地址已经被使用——Address already in use

很多socket编程的初学者可能会遇到这样的问题:如果先ctrl+c结束服务器端程序的话,再次启动服务器就会出现Address already in use这个错误,或者你的程序在正常关闭服务器端socket后还是有这个问题。正如下面的这段简单的socket程序。 server.c[c-sharp] view plain copy#include &lt;sys/types.h&gt;   #in...

houshaoyun的博客 5284

基于图神经网络的社交网络虚假账号检测系统 (Graph-based Fake Account Detection System, GFADS)

FOLLOWSRETWEETSSHAREDCOMMENTSLIKESMENTIONSUseruser_idusernamejoin_datebioavatar_urllocationverifiedis_fakeLOAD CSV这是决定模型性能的关键环节,需结合和。XXedge_indexy新账号缺乏历史数据和丰富关系。全网图可能包含数亿节点和数十亿边,难以直接训练。社交网络是动态变化的,虚假账号策略也在不断进化。获取大规模、高质量的真实/虚假账号标注数据非常困难。

Deng945201314的博客 1481

STM32驱动AS5600磁性旋转位置传感器模块

文章目录简介引脚定义I2C接口写数据读数据从指定的地址开始读数据驱动程序cubeMX配置驱动程序`bsp_as5600.h``bsp_as5600.c`测试程序参考资料 简介 AS5600 是一款易于编程的磁性旋转位置传感器,具有高分辨率 12 位模拟或 PWM 输出。 这种非接触式系统测量径向磁化轴上磁铁的绝对角度。 该 AS5600 专为非接触式电位计应用而设计,其坚固的设计消除了任何同质外部杂散磁场的影响。 引脚定义 I2C接口 7位设备地址为0x36(二进制表示为0110110) 支持标准模式和

ApexYuan 1万+

bind:address already in use的深刻教训以及解决办法

今天在linux下,编写了一个简单的回射客户/服务器(就是客户机从控制台标准输入并发送数据,服务端接受数据,但是不对数据进行处理,然后将数据返回,交由客户机标准输出),然后遇到了一些问题,郁闷了好长时间,然后就想着将这些东西写下来,跟大家分享分享 1, 客户端和服务端到底那个是先退出的??这个有什么区别吗??(死循环) 2, 为什么有的时候bind:address already in use一直存在???不是说好的2-4分钟吗,,(ctrl + z 和 ctrl + c) 3, 当bind:add

L未若的博客 16万+

Windows下用Docker快速搭建SearXNG私有搜索引擎(附Dify集成配置)

本文详细介绍了在Windows环境下使用Docker快速搭建SearXNG私有搜索引擎的完整流程,包括环境准备、容器化部署、安全配置优化以及与Dify平台的深度集成方法。通过分步指导和实用配置示例,帮助开发者构建兼具隐私保护和AI增强能力的本地化搜索解决方案,特别适合需要定制化搜索服务的应用场景。

weixin_30300225的博客 336

Address already in use: JVM_Bind 端口被占用的几个解决办法

运行Tomcat时若出现Address already in use: JVM_Bind 端口被占用,一般使用下面几个办法可以解决: 假设端口为1099 1.启动cmd, 执行命令netstat -ano|findstr  1099 ,会查询出占用端口号的进程号,这时候执行命令     taskkill -f -pid 进程号   杀死进程,然后重启Tomcat即可解决 2.若方法一查询不...

Mr_JK的专栏 19万+

2026软件测试面试题全解析:从用例设计到接口自动化与性能实战

在软件测试岗位的招聘考察中,面试官越来越看重候选人解决实际问题的工程能力,而不仅仅是背诵概念。从最基础的测试用例设计出发,覆盖功能测试、接口测试、自动化测试、性能测试、数据库与Redis一致性等核心知识体系,是应对中高级岗位面试的关键路径。理解Postman抓包、Python脚本、Pytest框架、JMeter压测指标背后的原理,能帮助测试人员构建完整的质量保障思维。当AI辅助测试成为行业新趋势时,掌握数据校验链路与风险识别意识,更能体现资深测试工程师的竞争力。本文围绕2026年高频软件测试面试题,梳理了从

weixin_28676289的博客 247

Unity游戏开发客户端C#基础

初级Unity客户端开发工程师 面经 之 C#篇

Sea3752的博客 2万+

Address already in use的解决方法

当客户端保持着与服务器端的连接,这时服务器端断开,再开启服务器时会出现: Address already in usr 可以用netstat -anp | more 可以看到客户端还保持着与服务器的连接(还在使用服务器bind的端口)。这是由于client没有执行close,连接还会等待client的FIN包一段时间。解决方法是使用setsockopt,使得socket可以被重用,是最常用的服务器...

weixin_34005042的博客 6022

uniapp - HBuilder提示adb: failed to install X Failure [INSTALL_ARSE_FAILED_NOT_APK:X(安装HBuilder调试基座失败)

安装HBuilderX调试基座失败,uniapp APP运行到手机adb: failed to install,Uniapp提示adb,uniapp ios 真机调试报错 uniapp安卓调试,Uniapp安装不了基座,手动安装基座,正在安装手机端HBuilder调试基座,点击运行到手机报错信息:基座无法正常安装,Uniapp-安装HBuilder调试基座失败解决方案,解决 HBuilderX 安卓基座安装失败的问题,显示adb报错,UniApp苹果真机运行调试(自定义基座,版本更新后/没有基座打开失败)如

🏆 前端领域优质创作者 8064

Hive安装教程

Hive安装教程

优快云2022博客之星Top39;华为云博主7&,优快云、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA; 1096

人工智能---什么是Transformer?

Transformer是一种强大的神经网络架构,最初由Google的研究人员在论文《Attention is All You Need》中提出,用于自然语言处理任务,特别是在机器翻译方面取得了巨大成功。Transformer的核心思想是完全基于自注意力机制(self-attention mechanism)来实现序列到序列(sequence-to-sequence)的学习。它在自然语言处理(NLP)和其他序列到序列任务中表现出色,逐渐成为该领域的主流模型。近些年也逐渐在自动驾驶领域有所应用。

智能汽车人的博客 3955

46、大数据助力SDN优化流量管理与控制器

本文探讨了大数据在软件定义网络(SDN)中的应用,重点分析了如何利用大数据技术优化SDN控制器的可扩展性和弹性。通过介绍SDN控制器的核心功能及其面临的挑战,提出了集中式、分布式、混合式和分层式控制器放置策略,并结合大数据分析系统架构与技术,详细阐述了在控制器放置优化、流聚合和备份路径识别等场景中的实际应用。文章还给出了大数据分析在SDN控制器优化中的操作流程与优势,展望了未来结合人工智能与物联网的发展方向,强调了数据安全与算法效率的重要性。

xx56789的博客 87

cm安装的hive的安装目录在哪里_Hive安装

一、Hive安装环境装备安装JDK安装hadoop集群二、下载Hive安装包下载地址:https://apache.org/dist/hive根据需要下载相应的版本,这里以hive-1.2.2为例。三、Hive安装包解压1.根据hadoop集群的系统资源消耗情况,选择进程消耗比较小的进行安装。这里以node2节点为例。hive安装包通过xshell中的xftp工具上传到node2上。2.解压hiv...

weixin_31642161的博客 1883

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

【Hive】Hive安装

第二章 Hive安装第三章 DDL(Data Definition Language)数据定义第四章 DML(Data Manipulation Language)数据操作第五章 Hive查询第六章 Hive的基础知识第七章 Hive函数第八章 分区表和分桶表第九章 文件格式和压缩第十章 企业级调优附录:常见错误及解决方案。

weixin_44917201的博客 1399

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Hive安装教程-Hadoop集成Hive

本文将介绍安装和配置Hive的步骤。在开始之前,我们需要满足一些安装条件,包括安装JDK、MySQL和Hadoop。我们将逐步指导您完成这些准备工作,并详细说明如何下载、解压和设置Hive。接下来,我们将修改Hive的配置文件,并创建Hive的元数据数据库。最后,我们将演示如何初始化Hive数据库并进入Hive命令行界面,以及如何设置允许远程访问。本文详细介绍了安装和配置Hive的步骤。您学习了如何下载、解压和设置Hive,并修改了配置文件以适应您的环境。

zcs2312852665的博客 3936

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Windows下安装Hive

hive官网下载地址:https://archive.apache.org/dist/hive/hadoop官网下载地址:https://archive.apache.org/dist/hadoop/common/以hive-2.3.5为例1、下载apache-hive-2.3.5-src.tar.gz2、解压后,查看apache-hive-2.3.5-src/pom.xml文件​ 部分内容如下(line 141: 2.7.2

weixin_44179938的博客 5981

Hive 安装

Hive 安装 Hive 安装地址 1)Hive 官网地址 http://hive.apache.org/ 2)文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3)下载地址 http://archive.apache.org/dist/hive/ 4)github 地址 https://github.com/apache/hive Hive 安装部署 安装 Hive 1)把 apache-hive-3.1.2-bi

weixin_44966780的博客 1622

ubuntu环境下安装Hive

Hive的安装和配置过程类似于hadoop的配置过程 一、环境 1.Vmware Workstation 2.ubuntu14.04.6 3.ubuntu配置hadoop伪分布式 4.mysql 二、安装hive 1.hive官网:Hive官网 点击hive下载地址下载hive-1.2.2 选择apache-hive-1.2.2-bin.tar.gz 2.解压 sudo tar -xzvf 安装...

d__yz的博客 4029

Hive基础(安装)

Hive基础一、什么是Hive1、Hive特点二、Hive的安装1、检查hadoop环境(1)查看Hadoop版本(2)启动进程2、安装MySQL(1)安装MySQL(2)查看账号密码(3)使用默认账号登录MySQL数据库(4)创建Hive账户(5)授予Hive用户操纵数据库的权限(6)退出MySQL数据库3、安装Hive(1)上传HIve到/home/hadoop(2)把Hive解压到/usr/local 中(3)进入/usr/local目录,将解压后的目录重命名为 hive(4)修改hive的拥有者为h

weixin_57293326的博客 4264

Hive安装配置

将所有数据库的所有表的所有权限赋给hive用户,后面的hive是配置hive-site.xml中配置的连接密码。我们可以使用start-all命令,来开启我们的hadoop环境。我们需要对新的软件下进行一下更新,然后进行mysql的安装。将我们找到的源地址,黏贴进我们刚刚打开的source.list文件中。我们需要将mysql驱动程序进行解压抽取,然后拷贝到hive/lib的文件夹中。所以我们需要将Hive默认自带的Derby替换为MySQL。​ 多了一个hive_1.db的库,就是我们刚刚创建的。

m0_65457827的博客 2225

Hive安装详细步骤

Hive安装详细步骤 文章目录Hive安装详细步骤一、下载地址二、MySql安装2.1 检查当前系统是否安装过Mysql2.2 将MySQL安装包拷贝到/opt/software目录下2.3 解压MySQL安装包2.4 在安装目录下执行rpm安装2.5 删除/etc/my.cnf文件中datadir指向的目录下的所有内容,如果有内容的情况下:2.6 初始化数据库2.7 查看临时生成的root用户的密码2.8 启动MySQL服务2.9 登录MySQL数据库2.10 必须先修改root用户的密码,否则执行其他的

weixin_42796403的博客 3606

Linux下Hive的安装

在安装Hive之前,要求先: -安装JDK7 -安装Hadoop-2.2.0 -安装MySQL5.6.x 1.下载hive压缩包 2.上传到虚拟机 3.解压(并移动到指定位置) [root@hadoop1 ~]# tar -xzvf apache-hive-2.1.1-bin.tar.gz [root@hadoop1 ~]# mv apache-hive-2.1.1-bin /export/software/ [root@hadoop1 ~]# ta...

weixin_55983492的博客 2221
上一篇: hive 与mysql 日期操作
下一篇: hive直接查询hbase库错误
ashencode
博客等级 码龄10年 26粉丝 53原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值