GREENPLUM配置HDFS外部表

最新推荐文章于 2022-11-19 00:00:00 发布

genius0182

最新推荐文章于 2022-11-19 00:00:00 发布

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： greenplum 文章标签： GREENPLUM

本文链接：https://blog.youkuaiyun.com/genius0182/article/details/82053648

greenplum 专栏收录该内容

1 篇文章

订阅专栏

本文以GREENPLUM 5.8为例，介绍了相关操作步骤。包括在所有Segment上设置环境变量、使用gpadmin用户设置GREENPLUM参数、为HDFS协议授予权限、创建外部表，同时提醒创建外部表时CSV文件不要有表头，更多详情可查看GREENPLUM数据库文档。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下面是已GREENPLUM 5.8为例

1.在所有Segment上设置环境变量

vim ~gpadmin/.bash_profile

export JAVA_HOME=/usr/java/default
export HADOOP_HOME=/usr/hadoop
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

2.设置GREENPLUM参数

使用gpadmin用户

su - gpadmin
gpconfig -c gp_hadoop_target_version -v "'hadoop'"
gpconfig -c gp_hadoop_home -v "'/usr/hadoop'" --hadoop安装目录

3.为HDFS协议授予权限

GRANT SELECT ON PROTOCOL gphdfs TO gpadmin;
GRANT INSERT ON PROTOCOL gphdfs TO gpadmin;

4.创建外部表

注意CSV文件不要有表头

CREATE EXTERNAL TABLE HADOOP_TEST
(
 id integer,
 name character varying,
 age integer
)
LOCATION('gphdfs://nameNode:9000/csv/test.csv')
FORMAT 'csv'();

ALTER TABLE HADOOP_TEST OWNER TO gpadmin;

select * from hadoop_test;

更多详情可以查看

GREENPLUM数据库文档