Hive学习!(1)安装MySQL (2)准备工作 hadoop5个进程 ,mysql服务器

hadoop上安装hive2.3.2学习总结—hive安装+mysql以及碰到坑点 一、环境准备 hapdoop版本:基于hadoop2.8.1,本教程是基于hadoop2.8.1上安装的hive hive版本:apache-hive-2.3.2-bin.tar.gz 二、安装配置hive+mysql(远程模式) 1、首先安装好mysql数据库 2、去hive官网下载hive安装包:apache-hive-2.3.2-bin.tar.gz tar -zxvf ap 阅读详情

1.1检查是否已经安装MySQL

检查:rpm -qa | grep mysql

删除:sudo rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64

1.2安装的版本

一般情况下,企业使用MySQL的版本:5.7,和Java项目中使用MySQL是一致的

5.1和5.7区别:

       服务的名称:<5.5:mysqld  >=5.5:mysql

1.3通过Yum安装

       sudo yum install -y mysql-server

1.4启动MySQL服务

       sudo service mysqld start

1.5设置开机启动

1.6设置管理员密码

/usr/bin/mysqladmin -u root password '123456'

1.7登录MySQL

mysql -uroot -p123456

1.8修改权限

授权:

grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option

删除其他授权

刷新权限

flush privileges

1.9重启MySQL服务,远程连接

sudo service mysqld restart

 

2准备工作

2.1确保Hadoop相关进程启动

NameNode、DataNode

       ResourceManager、NodeManager

       JobHistoryServer

2.2 MySql服务器启动

       确保开启、开机启动

       windows 上Navicat等工具可以连上

 

 

Hive 3.1.2安装(基于Centos7.x和Hadoop3.2.1) Hive 3.1.2安装(基于Centos7.x和Hadoop3.2.1) 背景 Hadoop大数据套件被应用后,进行数据处理就必须编写mapreduce代码。而相当一部分大数据处理需求都是进行数据的查询操作(实际数据库的操作中,读写操作比例也有80%:20%的说法) Facebook的工程师也遇到这个问题。编写mapreduce对于程序员还是有一定门槛,但是会使用sql的人群更庞大。所以Facebook就发明了Hive,一个把sql语句转换为mapreduce代码的转换器。 不过Hive的使用场景,还是 阅读详情

相关推荐

Hadoop+Hive+Mysql环境搭建

1、了解 学习链接: http://hadoop.apache.org/ http://spark.apache.org/ http://hive.apache.org/ https://github.com/apache/spark/tree/master/examples/src/main/java/org/apache/spark/examples

皮斯特劳沃 1万+

hive进程启动

hive启动操作

m0_71747400的博客 805

Ubuntu系统下配置Hadoop2.7.1+Hive2.1.0

前言 安装过程中遇到的问题从以下博客学习而得,现对其进行整理 在Hadoop1.2.1分布式集群环境下安装hive0.12 CentOS下Hive2.0.0单机模式安装详解  CentOS下Hive2.0.0集群模式安装详解  解决Hive installation issues: Hive metastore database is not initialized  hive启动报错

cuihaolong的专栏 6076

Cent OS 7上安装MySQL

在Cent OS 7中安装MySQL,并修改root账户权限

tuweibazong的博客 1162

Hadoop+Hive部署安装配置

最近结合具体的项目,搭建了Hadoop+Hive,在运行Hive之前要首先搭建好Hadoop,关于Hadoop的搭建有三种模式,在以下的介绍中,我主要的采用的是Hadoop的伪分布安装模式。写下来给各位分享。 准备工作: 以上所有的下载的安装包和解压后文件均在/usr/local/hadoop目录1、分别ssh到每台服务器上,在root用户下修改hostname su root vim

技术小白 4万+

【Hive】Hive2.x.x超详细安装教程(Hadoop平台上的数据仓库)

Hive2.x.x超详细安装教程(hadoop平台上的数据库)零、开始一、下载Hive二、配置Hive三、启动Hive     环境:Centos7Hadoop-2.10.0MySQL-8.0.20 安装:Hive-2.3.7 零、开始   Hive简而言之就是Hadoop平台上的数据库,将传统关系型数据库迁移到Hadoop平台上。   并使用HQL(类SQL语句)作为查询接口,使用HDFS作为底层存储, 使用MapReduce作为执行层,即将HQL语句转译成M/R Job然后在Hadoop执行。   本

weixin_42159233的博客 3542

Hive架构、角色进程、访问流程

Hive的架构 1、Hive的架构图 2、Hive的服务(角色) 1、用户访问接口 ​ CLI(Command Line Interface):用户可以使用Hive自带的命令行接口执行Hive QL、设置参数等功能 ​ JDBC/ODBC:用户可以使用JDBC或者ODBC的方式在代码中操作Hive ​ Web GUI:浏览器接口,用户可以在浏览器中对Hive进行操作(2.2之后淘汰HWI) 2、Thrift Server: ​ Thrift服务运行客户端使用Java、C++、Ruby等多种语言,通

gaofeng的博客 1572

hadoop伪分布下的hive安装

安装hive的时候,我尝试了很多次,最终才成功的。借鉴了Hadoop3.1.2伪分布式环境下安装和配置Hive3.1.2 目录 前期准备 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结 前期准备 ①hadoop-3.1.2伪分布的安装,我参照的博客是:超详细的Hadoop3.1.2架构单机、伪分布式、完全分布式安装和配置 ②hive-3.1.2压缩包下载:Index of /apache/hive (bit.edu.cn) ..

weixin_48177771的博客 1130

大数据Hadoop之——部署hadoop+hive+Mysql环境(Linux)

-是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是 true -->--是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是 true -->-- 关闭yarn内存检查 flink on hadoop 配置-->-- 指定HDFS中NameNode的地址 默认 9000端口-->-- 指定Hadoop运行时产生文件的存储目录 -->-- 2nn web端访问地址 可以不配置-->-- 历史服务器web端地址 -->

qq_41946216的博客 1万+

基于hadoop2.6.0,以mysql为元数据的hive 1.1.0安装初体验

1.操作系统环境 是64位的Oracle Linux6.3,采用的hadoop为2.6.0,需要自己下载源文件(hadoop-2.6.0-src.tar.gz)进行编译。 编译方法:http://blog.youkuaiyun.com/bamuta/article/details/13506893 [hadoop@hadoop01 soft]$ cat /etc/issue Oracle Li

DATA 2488

Apache-hive2.1.1安装部署

一、环境准备1、本次物理节点使用Hadoop分布式集群中的WAMaster节点;也可自行准备一台linux主机或虚拟机(需要java环境);需要Hadoop集群和mysql数据库。2、Hadoop集群搭建参考:点击打开链接3、准备mysql数据库作为hive的metastore库centos安装mysql服务端:sudo yum install mysql-server centos安装mysql...

坏蛋呆呆的博客 2689

Hive安装教程-Hadoop集成Hive

本文将介绍安装和配置Hive的步骤。在开始之前,我们需要满足一些安装条件,包括安装JDK、MySQL和Hadoop。我们将逐步指导您完成这些准备工作,并详细说明如何下载、解压和设置Hive。接下来,我们将修改Hive的配置文件,并创建Hive的元数据数据库。最后,我们将演示如何初始化Hive数据库并进入Hive命令行界面,以及如何设置允许远程访问。本文详细介绍了安装和配置Hive的步骤。您学习了如何下载、解压和设置Hive,并修改了配置文件以适应您的环境。

zcs2312852665的博客 3933

Hive安装部署详细步骤

目录 1、安装前准备: 2、Hive安装部署 2.1 先决条件 2.2 准备安装包 2.3 解压 2.4 修改配置文件 2.5 拷贝mysql驱动包 2.6 配置Hive环境变量 2.7 验证安装 1、安装前准备: 安装好对应版本的hadoop集群(node01、node02、node03),并启动hadoop的HDFS以及YARN服务 安装了MySQL服务,并启动MySQL的服务。如果没有安装,可以参考:安装MySQL 2、Hive安装部署 注意:hive就是一个构建数据仓库的工

weixin_43230682的博客 2411

CentOS7+ Hadoop3.2.0+MySQL5.7安装配置Hive3.1.1

一、安装环境 操作系统:CentOS7.6 Hadoop版本:Hadoop3.2.0 MySQL版本:MySQL5.7 Hive的安装基于Hadoop,因此需要先搭建好Hadoop环境,详细可见:CentOS7 + Hadoop 3.2.0集群搭建; 其次以MySQL作为Hive的元数据库,所以也要先安装好MySQL,详见:CentOS7下yum方式安装MySQL5.7 二、安装配置Hive 官...

ChungChinKei' blog 4001

Cisco思科 电子科技大学计算机网络 SRWE 期末技能考试 (PTSA)

电子科技大学2024春_SRWE_计算机网络系统 SRWE 期末技能考试 (PTSA)

2301_76745065的博客 5094

给STM32F4装上耳朵:用麦克风模块和Keil MDK实现你的第一个语音指令(附完整代码)

本文详细介绍了如何使用STM32F4开发板和麦克风模块实现简单的语音指令识别系统。通过Keil MDK开发环境配置、ADC音频采样、语音活动检测和模板匹配算法,开发者可以快速构建响应'开灯'、'关灯'等基础指令的语音交互方案。文章包含完整代码实现和调试技巧,特别适合STM32初学者入门语音识别领域。

weixin_29171087的博客 434

Hive 安装 以及使用 DataGrip 连接 Hive

Hive 安装 以及使用 DataGrip 连接 HiveHive 安装说明Hive 安装前的准备Hive 安装Hive 启动Hive 安装常见的问题 Hive 安装说明 ① 环境说明 Hadoop 环境已通过腾讯云服务器完成搭建,我是将 hive 安装到 该 hadoop 集群的某个节点了 Mysql 中间件使用的是阿里云的产品 ② 版本说明 Hadoop 2.7.5 +Hive 2.1.1 + Mysql 8.0.18 + Centos 7 + DataGrip 2021 Hive 安装前的准备 ① 搭

半吊子Kyle的博客 6857

ArcGIS遥感影像分类技术在植被覆盖度计算中的应用

本文详细介绍了如何利用ArcGIS遥感影像分类技术高效计算植被覆盖度。通过数据准备、监督与非监督分类方法详解,并结合制表分析与栅格计算器进行面积统计,最终实现从分类图到覆盖度百分比的全流程自动化与可视化,为生态评估与规划提供精准数据支持。

weixin_29091445的博客 419

Hadoop —— Hadoop3.X 安装配置 Hive3.1.2

一、下载Hive 需先安装mysql。Linux —— mysql5.7.30安装及配置教程 Hive镜像站:https://mirrors.cnnic.cn/apache/hive/ 可以下载完后使用 lrzsz 上传也可以直接wget下载,下面是使用wget的方式。 选中想要下载的Hive版本,这里下载的是hive-2.3.7,然后拼接下载url。 将文件名拼接到url后即为所需下载url地...

简简单单记录 2922

微信小程序返回按钮的隐藏玩法:用onShow实现数据自动刷新(附完整代码)

本文深入探讨了微信小程序中用户点击返回按钮后,如何利用onShow生命周期函数实现页面数据的自动刷新。文章对比了onLoad与onShow的差异,提供了从基础的本地存储标记到进阶的EventChannel事件通信,再到状态管理库的多种解决方案,并附有完整的代码示例,帮助开发者构建流畅的用户体验。

agile9scrum的博客 925

STM32堆栈溢出问题及解决方法

堆栈是用于存储函数调用和局部变量的内存区域,它是一种先进后出的数据结构。如果函数嵌套层级过深或者局部变量占用的内存空间过大,堆栈的大小可能不足以容纳这些信息,从而导致堆栈溢出。在一些特殊情况下,可以使用堆内存替代堆栈,以避免堆栈溢出问题。在STM32的工程中,可以通过修改链接脚本文件(.ld文件)中的堆栈大小参数来增加堆栈空间。通常,堆栈大小设置为RAM的一小部分,但需要根据具体应用的需求进行调整。堆栈溢出是嵌入式系统开发中常见的问题之一,特别是在使用STM32微控制器时。3.3 使用堆内存替代堆栈。

ZwcCsharp的博客 2593

在Windows上安装Hadoop和Hive

在Windows上安装Hadoop3.1.3和Hive3.1.2准备资源JDK安装MySQL安装Hadoop的安装Hive的安装测试Hive   最近需要使用大数据平台,装了1天的hadoop和hive,终于装好了,不得不说网上的攻略千奇百怪,需要结合各种攻略才能完成安装(悲催),因此写下这边文章来汇总下如何在windows系统中安装hadoop和hive,希望对各位有帮助。 准备资源 1.JDK8:Hadoop和Hive都是依赖于JAVA开发出来的,JDK的安装是必不可少的,需要注意的是(重点)高版本的J

weixin_44424296的博客 3133

《嵌入式-STM32开发指南》第三部分 外设篇 - 第2章 温度传感器DS18B20

2.1 理论分析 2.1.1概述 DS18B20 是 DALLAS 最新单线数字温度传感器,新的"一线器件"体积更小、适用电压更宽、更经济。Dallas 半导体公司的数字化温度传感器 DS1820 是世界上第一片支持 "一线总线"接口的温度传感器。 DS18B20采用的单总线协议,也就是只需占用主机一个I/O口,无需其他外围电路,直接将环境温度转换为数字信号,使用户可轻松地组建传感器网络,为测量系统的构建引入全新概念。另外,以"一线总线"的数字方式传输,大大提高了系统的抗干扰性。适合于恶劣环境的现场温度测量

不问归期的博客 8304

Hive 3.1.2 本地模式安装与配置详解

本文详细介绍了Hive3.1.2本地模式的安装配置流程,包括环境准备(JDK、Hadoop、MySQL)、解压安装包、配置环境变量和核心配置文件(hive-env.sh、hive-site.xml)。重点说明了HDFS目录创建、MySQL驱动配置、Hadoop文件修改以及元数据初始化步骤。最后提供了Hive服务启动方法(metastore和hiveserver2)和DataGrip连接测试方案

Cy513841863的博客 1324

SAP ABAP 获取采购订单未清数量/在途库存的 6 种方式

这篇文章我总结了获取采购订单未清数量/在途库存的 6 种方式,每种方式的优劣势和适用场景有所不同。读者请结合自身需要选择。

SAP李斌,本人承诺所有原创文章均不使用任何AI生成技术,请大家放心阅读。 2656

上万条对话白分析了?智能客服质检避坑指南:90%团队倒在这些误区

当前客服质检普遍存在投入产出失衡的现象,根源在于十大误区:过度关注单点技术指标而忽视端到端解决能力、僵化的话术模板限制AI应变、数据孤岛阻碍知识进化、盲目追求拟人化牺牲效率、传统整改机制跟不上机器速度等。破局需重构质检体系,包括建立决策树质检法、设计复杂问题测试集、构建实时数据闭环、重置AI专属评价指标、实施分钟级热修复机制等。关键在于将质检从被动纠错升级为主动赋能,通过根因分析、场景化反馈、标准化评分和数据驱动优化,打造"问题诊断-改进-验证"

2202_75469062的博客 1541
上一篇: count(*)和count(1)和count(列名)的区别
下一篇: hive学习 (3)Hive功能介绍 (4)hive 比hadoop 优势 (5)hive软件版本的问题
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值