R连接hive

最新推荐文章于 2021-06-13 14:23:21 发布

原创最新推荐文章于 2021-06-13 14:23:21 发布

· 415 阅读

0 ·

版权

数据处理方法专栏收录该内容

1 篇文章

订阅专栏

环境：Mac

1、下载java11，安装。注意不要下java12会报错。

2、安装好之后终端执行

sudo ln -f -s $(/usr/libexec/java_home)/lib/server/libjvm.dylib /usr/local/lib

sudo ln -s /usr/local/lib/libjvm.dylib /Library/Frameworks/R.framework/Versions/3.5/Resources/lib/

3、下载hadoop-common.jar和hive-jdbc-standalone.jar两个包

https://download.youkuaiyun.com/download/m0_37749191/10120094

4、R中执行

#加内存
options(java.parameters = "-Xmx8048m")
memory.limit(size=10000000000024)
#加载包
library('rJava')
library('DBI')
library("RJDBC")

username <- "xxx"
password <- "yyy"
drv <- JDBC('org.apache.hive.jdbc.HiveDriver', list.files("jar包路径", pattern = "jar$", full.names=TRUE, recursive=TRUE))
conn <- dbConnect(drv, 'jdbc:hive2://ip:port?mapreduce.job.queuename=队列名', username, password)
df <- dbGetQuery(conn, 'select * from table limit 1')