在Hadoop集群上的Hive配置

hive 服务器客户端 理解 在hive的分布式安装中,网上对于客户端和服务器的理解感觉并没有很清晰。接下来将简单说一下个人理解,如果有错,请各位大佬尽管指出,只是一种学习讨论罢了。 第一,在安装hive的各个节点(包括master和slave)上,对应的配置文件/conf/hive-site.xml中,都有下面这样一个配置: <property>           <name>javax.jdo... 阅读详情

环境介绍

  • 系统:Ubuntu14.04 64位
  • hive版本: apache-hive-2.1.0-bin
  • 集群环境:

    角色 hostname IP
    master master 192.168.1.112
    slave1 slave1 192.168.1.123
    slave2 slave2 192.168.1.121

安装MySQL

本文使用MySQL作为远程元数据库,部署在master节点上

  • 安装mysql
    sudo apt-get install mysql-server

  • 开启MySQL远程访问
    sudo vim /etc/mysql/my.cnf
    找到bind-address=127.0.0.1 ,把这一行注释掉

  • 重启MySQL
    sudo service mysql restart

  • 建立Hive用户
    mysql -u root -p

    mysql>GRANT ALL PRIVILEGES ON *.* TO 'hive'@'master' IDENTIFIED BY 'hive' WITH GRANT OPTION;
    mysql>flush privileges;
  • 在master节点上用“hive”用户和“master”host登录mysql,密码为“hive”

    $ mysql -h master -u hive -p

    如果能访问,则说明远程MySql服务已经开启

Hive配置

  • 配置环境变量

    
    #for hive
    
    export HIVE_HOME=/opt/apache-hive-2.1.0-bin
    export PATH=$HIVE_HOME/bin:$PATH
  • 使环境变量生效
    source /etc/profil

hive(一)hive的安装与基本配置 一、前提: 安装hive所需要的虚拟机环境为虚拟机安装有Hadoop并且集群成功,同时Hadoop需要在启动状态下,同时需要安装有mysql。不需要有zookeeper和HA,由于HA中含有大量进程,启动会占用很多资源,建议不要有HA 二、安装步骤: 1、上传jar包至/usr/local/soft 将hive-3.1.2上传到虚拟机中的/usr/local/soft目录下 2、解压并重命名 tar -zxvf apache-hive-3.1.2-bin.tar.gz # 重命名 mv ap 阅读详情

相关推荐

Hadoop集群下的Hive安装及配置

首先简单介绍一下Hive: Hive是一个构建在Hadoop之上的数据仓库软件,它可以使已经存储的数据结构化,它提供类似sql的查询语句HiveQL对数据进行分析处理。 Hive将HiveQL语句转换成一系列成MapReduce作业并执行。用户可以很方便的使用命令行和JDBC程序的方式来连接到hive。 目前,Hive除了支持MapReduce计算引擎,还支持Spark和Tez这两中分布式计算引擎。常用于离线批处理。 为什么要用Hive? 简单来说,Hive主要就是通过写SQL语句来实现Hadoop分布式框

blessness的博客 2452

如何在基于linux系统的hadoop集群中,安装配置hbase,hive,zookeeper

配置前提 1,已经在linux虚拟机中,成功搭建了一个hadoop集群 2,已经初步在opt目录下简单解压安装了hbase,hive,zookeeper 以上2点如果没有完成的,请移步: 如何在linux虚拟机中安装hadoop,并搭建hadoop集群 3,准备好MySQL的jdbc的jar包。(版本可以不同) 安装配置zookeeper cd /opt/zookpr 进入zookeeper的安装目录 ...

dd1296的博客 442

Centos7基于Hadoop集群安装配置Hive

1、下载hive 下载地址:http://www.apache.org/dyn/closer.cgi/hive/ 选择对应的版本进行下载 2、安装hive 把下载到本地的apache-hive-2.3.3-bin.tar.gz文件通过WinSCP上传至服务器,并进行解压缩 3、配置环境变量 通过命令"vi /etc/profile",修改配置文件,在文件最后加入路径 ...

qq_28854219的博客 6741

CDH软硬件配置建议

该文档为Cloudera官方提供的CDH部署的软硬件配置建议,包括操作系统、JDK、浏览器、数据库、Hadoop关键组件版本、硬件配置以及网络拓扑等相关配置建议。

保姆级教程:用torch.profiler给你的vLLM推理做个“全身体检”(附Perfetto可视化分析)

本文提供了一份详细的vLLM推理性能分析教程,通过torch.profiler和Perfetto工具链实现从数据采集到可视化分析的全流程。文章涵盖了环境配置、性能数据采集、trace文件解析以及Perfetto可视化分析,帮助开发者优化大模型推理服务的性能,显著降低计算资源消耗。

weixin_29041767的博客 359

Sigrity XtractIM实战:5步搞定IC封装宽带模型提取(附BGA案例)

本文通过一个典型BGA封装案例,详细介绍了使用Cadence Sigrity XtractIM工具进行IC封装宽带模型提取的五步实战流程。内容涵盖从环境准备、参数设置、结果验证到模型导出的完整操作,重点阐述了如何利用XtractIM生成高精度、紧凑的宽带SPICE模型,以解决高速电路设计中因封装模型不准导致的信号与电源完整性问题,助力工程师提升仿真精度与设计效率。

a1b2c的博客 320

中文文本纠错实战:pycorrector与kenlm的安装与高效使用指南

本文提供了一份详细的中文文本纠错实战指南,重点介绍了pycorrector与kenlm的安装与高效使用方法。内容涵盖从编译环境准备、依赖安装到核心参数调优、批量处理及领域自适应等全流程,旨在帮助开发者快速部署并优化纠错系统,提升中文文本处理的质量与效率。

weixin_29055699的博客 411

银河麒麟系统安装redis【亲测可行】

架构:Linux 5.10.0-9-generic x86_64 GNU/Linux。redis版本:redis-6.2.3.tar.gz。然后在执行make install,结束;OS:银河麒麟V10(SP1)未激活。cpu:I5-10代;

lx_nhs的博客 3337

WIFI信号状态信息 CSI 特征提取篇之活动片段提取(五)

本环节是特征提取环节,起承上启下的作用:对上,应着数据处理完毕的信号,但是还不能直接进行分析,因为此时信号片段过长,对于活动识别而言,存在非许多目标片段(例如失败不规范的动作、休息间歇等);对下,具体采取何种活动片段提取策略,需要配合后续采取的活动识别算法进行(深度学习/机器学习,CNN/RNN/LSTM等等),不同的算法适配不同的数据形式,例如CNN一般用于识图,不需要关注时间顺序,LSTM则要求保留时间关系等等,所以本博客后续仅介绍几种分类思路。

Silver_777的博客 4541

CATIA文件的网页预览方案

CATIA是工业设计中广泛使用的专业软件,产出`.CATPart`或 `.CATProduct`等文件类型,当资产数量较大时,我们希望快捷预览这些文件,就有了`CATPart`文件网页预览的需求 但我们知道,网页上无法直接渲染`CATPart`这种复杂的文件, CATIA生成的文件(如 `CATPart` 和 `CATProduct`)不仅包含三维几何信息(例如点、线和曲面),还涵盖了丰富的元数据与专业设计特征。 那有没有办法,能实现CATIA文件在网页上的便捷预览?

weixin_44211633的博客 1451

【LaTex】3.4 立体几何

本文介绍了使用LaTeX的tikz包绘制立体几何图形的两种方法。首先展示了基础立方体的绘制代码,通过定义8个顶点坐标并连接各边完成绘制。接着讲解了scope功能在3D绘图中的应用,包括标准平面(xy、xz、yz)的绘制方法,以及任意平面的定义技巧。重点说明了如何通过定义平面原点、x和y方向单位向量来创建旋转后的绘图平面,并以45°旋转的yz平面为例演示了圆的绘制。文章提供了完整的代码示例和对应的效果图示,展示了tikz在3D绘图中的灵活性和强大功能。

你的指尖有改变世界的力量 2457

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

上一篇: 在Ubuntu 14.04上的zookeeper+HBase集群配置
下一篇: CentOS7下安装MySQL
predict_wise
博客等级 码龄12年 13粉丝 19原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值