GPDB-gphdfs

最新推荐文章于 2022-11-19 00:00:00 发布
原创 最新推荐文章于 2022-11-19 00:00:00 发布 · 1.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详述了如何在Greenplum数据库中使用gphdfs协议并行加载HDFS数据，包括Java环境配置、Hadoop设置、环境参数调整、权限设定及外部表访问的步骤和注意事项。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Greenplum本地支持并行地将HDFS上的数据加载到数据库中，采用的方式就是用gphdfs协议，本文简要介绍部署和测试细节。

1.master和segment安装java
1.1 删除已经安装的java组件

  yum -y remove java
  或者：
  rpm -qa | grep java查找安装的包
  rpm -e --nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115 分步骤删除

1.2 安装java，这里安装java6

 cd /usr
   chmod 777 ./jdk-6u45-linux-x64-rpm.bin
   ./jdk-6u45-linux-x64-rpm.bin

1.3 配置环境变量


                

                
                
        

    

    
  


        

            

                      
                        最低0.47元/天 解锁文章
                        

                          
200万优质内容无限畅学

                          
                        

                      
            

        


    



                



	

		

			

				
					
「揭秘GP」Greenplum 6 软件包目录畅游

				
			

			

				

					MyySophia的博客
				

				

					06-24
					
					862
					
				

			

		

		

			
				
今天咱们来一起看看 Greenplum 安装目录分别都有什么内容，具体作用是什么。请大家注意，本文章中介绍的仅仅是软件安装目录的内容，并没有涉及到数据存储目录的内容，二者不能混为一谈。

软件包安装位置

Greenplum 6 在安装完成后，与大部分其他应用软件的位置一致，默认的安装位置为 /usr/local 下。


[gpadmin@gp1 local]$ ls -al
总用量 4
drwxr-xr-x. 14 root root  187 12月 17 11:24 .
drwxr-xr-x. 13

			
		

	



                

            
              



	

		

			

				
					
Greenplum中角色权限及客户端认证管理

				
			

			

				

					行者牛仔
				

				

					03-23
					
					8509
					
				

			

		

		

			
				
GP的角色以及权限介绍

			
		

	



              


  
              

                


	

		

			

				
					
基于gphdfs协议，GP节点(greenplum数据库)机器上安装原生hadoop客户端（自研）

				
			

			

				

					tigercat1688的博客
				

				

					10-23
					
					810
					
				

			

		

		

			
				
GP节点(greenplum数据库)机器上安装原生hadoop客户端，可进行GP集群到原生Hadoop集群的数据交换

版本介绍：

Hadoop版本：3.0.0

Greenplum版本：5.17.0

注：GP集群、Hadoop集群事先搭建好，原生hadoop客户端包就是取得Hadoop集群中的安装包。

1.安装hadoop客户端包
将准备好的hadoop客户端包导入到gp主节点/home目录下，
#利用gpscp命令将这个文件复制到每一台机器上
gpscp -f /home/gpadmin/conf

			
		

	





	

		

			

				
					
HashData数据库外部表——GPHDFS实现简介

				
			

			

				

					肥叔菌的博客
				

				

					11-15
					
					675
					
				

			

		

		

			
				
所以，在初期规划和实现HashData数据仓库访问HDFS的功能时，即采用GPHDFS的技术路线：通过增加一种访问HDFS的外部表协议，让各个计算节点直连HDFS集群，不通过任何中间节点或者系统，大幅降低使用门槛的同时，保证两个系统之间数据交换的效率。其次，引入类似Oracle数据源配置文件的gphdfs.conf文件，将多个HDFS系统相关的访问信息集中起来，简化访问配置的管理；技术架构层面，HashData的GPHDFS实现跟GPDB的GPHDFS是一致的，更多的差异是体现在实现细节层面。

			
		

	



		

			
		



	

		

			

				
					
Greenplum数据库外部协议——GPHDFS实现协议

				
			

			

				

					肥叔菌的博客
				

				

					11-19
					
					803
					
				

			

		

		

			
				
Greenplum Database（下面简称GPDB）主要提供了两种方式：PXF和GPHDFS。虽然二者都利用了GPDB的外部表功能，但是前者需要额外安装部署PXF服务器进程，在复杂的IT环境中流程繁琐、极易出错，终端用户体验不佳。GPHDFS通过增加一种访问HDFS的外部表协议，让各个计算节点直连HDFS集群，不通过任何中间节点或者系统。

			
		

	





	

		

			

				
					
Hawq学习笔记 --- How to access HDFS data via GPDB external table with gphdfs protocol

				
			

			

				

					杨鑫newlife的专栏
				

				

					09-28
					
					1802
					
				

			

		

		

			
				
Hawq学习笔记 --- How to access HDFS data via GPDB external table with gphdfs protocol

			
		

	





	

		

			

				
					
Greenplum数据库外部协议——GPHDFS gphdfs_fopen

				
			

			

				

					肥叔菌的博客
				

				

					11-15
					
					397
					
				

			

		

		

			
				
通过pg_exttable系统表确定数据源格式（text/csv–>TEXT；avro–>AVRO；将env_cmd.data, java_cmd, format, gp_hadoop_connector_version, url, table_schema.data, table_attr_names.data序列化为cmd，最后调用。gphdfs_fopen函数通过调用hadoop_env.sh脚本建立Hadoop环境变量（env_cmd环境变量命令为。

			
		

	





	

		

			

				
					
pxf的hadoop\hive环境配置问题汇总

				
			

			

				

					ZS的博客
				

				

					08-20
					
					1317
					
				

			

		

		

			
				
pxf版本5.21

参考文档 https://gpdb.docs.pivotal.io/5210/pxf/install_java.html

部署流程

按照jdk https://gpdb.docs.pivotal.io/5210/pxf/install_java.html
初始化pxf https://gpdb.docs.pivotal.io/5210/pxf/init_pxf.html
...

			
		

	





	

		

			

				
					
Greenplum 6.0 版本介绍

				
			

			

				

					Greenplum中文社区
				

				

					04-09
					
					950
					
				

			

		

		

			
				
...

			
		

	





	

		

			

				
					
配置GP访问Hadoop的HDFS文件系统

				
			

			

				

					DataFlow范式
				

				

					02-07
					
					3902
					
				

			

		

		

			
				
（1）      添加GPDB所有节点配置环境变量
修改安装Greenplum DB数据库用户家目录下面的环境变量文件.bashrc，添加如下内容：
exportJAVA_HOME=/home/gpadmin/jdk1.6.0_32
export CLASSPATH=$JAVA_HOME/lib/tools.jar
exportHADOOP_HOME=/home/dbadmin/hadoo

			
		

	





	

		

			

				
					
greenplum 数据库gphdfs 外部表报错，请求支持。（已解决）

				
			

			

				

					xzh19870715的博客
				

				

					09-29
					
					3386
					
				

			

		

		

			
				
问题说明：

    尝试做hive到greenplum的数据迁移，故想到用gphdfs直接访问hdfs下的数据，但是出现报错，查找良久没有找到解决方法，所以来请教各位大神。麻烦各位指点。

环境：

greeplum ：5.1.10

hadoop：hdp2.4

java：1.8.0_91

外部表建表脚本：
CREATE EXTERNAL TABLE gplink.dim_certype_t...

			
		

	





	

		

			

				
					
GreenPlum--gpfdist,gpfdists,file和gphdfs

				
			

			

				

					唐僧洗头爱飘柔
				

				

					04-22
					
					1268
					
				

			

		

		

			
				
三种用来访问外部表数据源的协议：gpfdist，gpfdists和gphdfs
gpfdist
在外部表指定文件的所有主机上运行GP文件分发程序（gpfdist）。
该程序指向一个给定的目录，并行的为所有segment实例提供外部数据文件服务。
如果文件使用了gzip或者bzip2压缩，gpfdist会自动解压
可以使用多个gpfdist来提升外部表的扫描性能
可以使用通配符或者C风格的模式匹配多...

			
		

	





	

		

			

				
					
Greenplum中通过外部表进行数据导入导出

					
热门推荐

				
			

			

				

					爱飞的蒲公英
				

				

					11-07
					
					1万+
					
				

			

		

		

			
				
外部表创建服务器后台
gpfdist -p 8081 -d /var/data/staging -l /home/gpadmin/log &

创建以|为分隔符的外部表
CREATE EXTERNAL TABLE ext_expenses ( name text,
date date, amount float4, category text, desc1 text )
LOCATIO

			
		

	





	

		

			

				
					
七、GP安装-搭建hadoop环境

				
			

			

				

					dockj的博客
				

				

					03-20
					
					1080
					
				

			

		

		

			
				
一、安装hadoop客户端

在master节点，上传hadoop安装包到/opt/greenplum目录，hadoop客户端的版本根据hadoop集群版本而定，执行如下命令进行解压：

tar -xvzf hadoop-2.6.0-cdh5.7.6.tar.gz


修改/opt/greenplum/hadoop-2.6.0-cdh5.7.6/etc/hadoop相关配置，配置成功能够访问hdf...

			
		

	





	

		

			

				
					
GreenPlum 可读写外部表 实战

				
			

			

				

					csdn's blog
				

				

					08-01
					
					1万+
					
				

			

		

		

			
				
Greenplum的gpload工具通过可读外部表和并行化文件服务器gpfdist(或gpfdists)来加载数据。gpload处理并行化的基于文件的外部表设置，以及允许我们使用单个YAML文件来配置数据格式，外部表定义，以及gpfdist或gpfdists。
要使用gpload工具有几个前提条件必须满足：
1. 使用gpload的服务器必须安装Python 2.6.2或者以上版本，pygr...

			
		

	





	

		

			

				
					
gphdfs外部表和hive的融合

				
			

			

				

					ckqq46580的博客
				

				

					05-25
					
					640
					
				

			

		

		

			
				
一、在所有节点上安装java1.6或以上版本


	二、在segment上安装hadoop，支持以下版本。


	


	
		
			
				
					
						Hado...

			
		

	





	

		

			

				
					
GREENPLUM配置HDFS外部表

				
			

			

				

					genius0182的专栏
				

				

					08-25
					
					1529
					
				

			

		

		

			
				
下面是已GREENPLUM 5.8为例

1.在所有Segment上设置环境变量


vim ~gpadmin/.bash_profile

export JAVA_HOME=/usr/java/default
export HADOOP_HOME=/usr/hadoop
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$H...

			
		

	





	

		

			

				
					
hdfs orc格式_hdfs文件存储格式

				
			

			

				

					weixin_39737951的博客
				

				

					12-20
					
					742
					
				

			

		

		

			
				
hdfs 文件存储格式hdfs 文件存储格式分为两大类 行存储和列存储行存储,将一整行存储在一起,是一种连续的存储方式,例如SequenceFile,MapFile,缺点是如果只需要行中的某一列也必须把整行都读入内存当中列存储 列存储会把文件切割成若干列,每一列存储在一起,是需要那一列读取那一列,不需要的不用读取,例如parquet ORCfile,RCfile,列存储不适合流式写入,写入失败当前...

			
		

	





	

		

			

				
					
hadoop namenode启动不了_Hadoop框架：HDFS高可用环境配置

				
			

			

				

					weixin_39980184的博客
				

				

					11-29
					
					305
					
				

			

		

		

			
				
一、HDFS高可用1、基础描述在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode的热备来消除单节点故障问题，如果单个节点出现故障，可通过该方式将NameNode快速切换到另外一个节点上。2、机制详解基于两个NameNode做高可用，依赖共享Edits文件和Zookeeper集群...

			
		

	





	

		

			

				
					
Greenplum数据库gpdb-6.19.0版本发布，源码免费下载

				
			

			

				

					
				

			

		

		

			
				
资源摘要信息:"Greenplum-db（gpdb-6.19.0.tar.gz）是Greenplum数据库的源代码压缩包，该数据库是开源的大数据平台，支持多云部署，具有强大的实时数据分析功能。"  1. Greenplum介绍： Greenplum是由Greenplum公司...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值