hadoop集成RHive

本文详细介绍了如何在集群环境中安装配置R语言环境及其相关组件,包括必要的依赖包安装、R的编译安装过程以及rJAVA、RHive等模块的安装步骤。此外还涉及了RHIVE数据存储路径设置、Rserve服务配置及启动方法等内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

注:集群中的每个节点都需要安装

将相关tar包和rpm包拷贝至/usr/R3.2/

cd /usr/R3.2

tar zxvf R-3.2.0.tar.gz

Rpm包更新

rpm -Uvh libgcc-4.4.7-17.el6.x86_64.rpm

rpm -Uvh libgomp-4.4.7-17.el6.x86_64.rpm

rpm -Uvh mpfr-2.4.1-6.el6.x86_64.rpm

rpm -Uvh cpp-4.4.7-17.el6.x86_64.rpm

yum install cloog-ppl

rpm -Uvh gcc-4.4.7-17.el6.x86_64.rpm

rpm -Uvh libstdc++-4.4.7-17.el6.x86_64.rpm

rpm -Uvh libstdc++-devel-4.4.7-17.el6.x86_64.rpm

rpm -Uvh gcc-c++-4.4.7-17.el6.x86_64.rpm

rpm -Uvh libgfortran-4.4.7-17.el6.x86_64.rpm

rpm -Uvh gcc-gfortran-4.4.7-17.el6.x86_64.rpm

安装依赖包

yum install libXt-devel openssl-devel readline-devel

R编译安装

cd R-3.2.0/

./configure –disable-nls –enable-R-shlib

make

make install

cd ../

执行R 命令进行rJAVA 、RHive 等模块的安装

R CMD INSTALL rJava_0.9-6.tar.gz

R CMD INSTALL Rserve_1.8-3.tar.gz

R CMD INSTALL RHive_2.0-0.10.tar.gz

新建RHIVE 数据存储路径(本地的非HDFS)

 /code/RHive/data    (master及各节点)

新建Rserv.conf 文件并写入 “remote enable” 保存到指定的目录

/code/RHive/cfg/Rserv.conf (master及各节点)

修改各个节点以及master 的 /etc/profile 新增环境变量

export RHIVE_DATA=/code/RHive/data

将R目录下的lib目录中所有文件上传至HDFS 中的/rhive/lib 目录下

(如果目录不存在手工新建一下即可)

cd /usr/local/lib64/R/lib

hadoop fs -put ./* /rhive/lib

在所有节点和master 上执行

R CMD Rserve –RS-conf /code/RHive/cfg/Rserv.conf

telnet master 6311

然后在Master节点telnet所有slave节点,显示 Rsrv0103QAP1 则表示连接成功

启动hive远程服务

hive --service hiveserver2
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值