Greenplum-表空间笔记

本文介绍Greenplum数据库中表空间的创建、配置及迁移方法。包括如何使用gpfilespace命令创建文件空间配置文件,并将这些配置应用于数据库中。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

                                                                                        Greenplum表空间

环境:http://blog.youkuaiyun.com/sunziyue/article/details/49026913

Greenplum创建表空间时,需要指定filespace。filespace是服务器上指定文件目录的集合,需要提前利用gp提供的命令gpfilespace创建好。

表空间基于文件空间filespace,一个filespace可以创建多个表空间。

1创建表空间语法

test=# \h create tablespace;

Command:     CREATE TABLESPACE

Description: define a new tablespace

Syntax:

CREATE TABLESPACE tablespace_name [OWNER username] FILESPACE filespace_name

2gpfilespace大致用法

gpfilespace [<connection_option> ...] [-l <logfile_directory>]

            [-o [<output_fs_config_file>]]

gpfilespace [<connection_option> ...] [-l <logfile_directory>]

            -c <fs_config_file>

gpfilespace movetempfilespace {<filespace_name>|default}

gpfilespace movetransfilespace {<filespace_name>|default}

gpfilespace --showtempfilespace

gpfilespace --showtransfilespace

gpfilespace -v | -?

[gpadmin@master1 bin]$ ./gpfilespace --showtempfilespace

Error: unable to import module: No module named gppylib

解决:记得环境变量

[gpadmin@master1 bin]$

source  /usr/local/greenplum-db/greenplum_path.sh

3创建新的文件空间

初次安装好gp默认相关

test=# \l

                  List of databases

   Name    |  Owner  | Encoding |  Access privileges 

-----------+---------+----------+---------------------

 postgres  | gpadmin | UTF8     |

 test    | gpadmin | UTF8     |

 template0 | gpadmin | UTF8     | =c/gpadmin : gpadmin=CTc/gpadmin

 template1 | gpadmin | UTF8     | =c/gpadmin : gpadmin=CTc/gpadmin

test=# \du

                       List of roles

 Role name |            Attributes             | Member of

-----------+-----------------------------------+-----------

 gpadmin   | Superuser, Create role, Create DB |

test=# select * from pg_tablespace;

spcname|spcowner|spclocation | spcacl | spcprilocations | spcmirlocations | spcfsoid

pg_default | 10 |            |        |                 |                 |     3052

pg_global  | 10 |            |        |                 |                 |     3052

test=# select * from pg_filespace;

  fsname   | fsowner

-----------+---------

 pg_system |      10

test=# select * from pg_filespace_entry;

 fsefsoid | fsedbid |      fselocation      

----------+---------+------------------------

     3052 |       1 | /gpmaster/gpseg-1

     3052 |       2 | /gpdata/primary/gpseg0

     3052 |       3 | /gpdata/primary/gpseg1

test=# select spcname, fsname,fsedbid,fselocation FROM pg_tablespace pgts, pg_filespace pgfs,pg_filespace_entry pgfse WHERE pgts.spcfsoid=pgfse.fsefsoid AND pgfse.fsefsoid=pgfs.oid ORDER BY 1,3;

  spcname   |  fsname   | fsedbid |      fselocation      

------------+-----------+---------+------------------------

 pg_default | pg_system |       1 | /gpmaster/gpseg-1

 pg_default | pg_system |       2 | /gpdata/primary/gpseg0

 pg_default | pg_system |       3 | /gpdata/primary/gpseg1

 pg_global  | pg_system |       1 | /gpmaster/gpseg-1

 pg_global  | pg_system |       2 | /gpdata/primary/gpseg0

 pg_global  | pg_system |       3 | /gpdata/primary/gpseg1

3.1生成文件空间配置文件

[gpadmin@master1 ~]$ source /usr/local/greenplum-db/greenplum_path.sh

[gpadmin@master1~]$ gpfilespace  -o  /gpmaster/gpfilespace_config_1

[gpadmin@master1 ~]$ gpfilespace  -o  /gpmaster/gpfilespace_config_1

> tbtest   // filespace名称

Checking your configuration:

Your system has 2 hosts with 1 primary and 0 mirror segments per host.

Your system has 1 hosts with 0 primary and 0 mirror segments per host.

Configuring hosts: [slave1, slave2]

Please specify 1 locations for the primary segments, one per line:

primary location 1> /newdata    //primary segments节点服务器目录名(2个节点都要创建)

Configuring hosts: [master1]

Enter a file system location for the master

master location> /newgpmaster  //master节点服务器目录名

20160413:00:22:10:012846 gpfilespace:master1:gpadmin-[INFO]:-Creating configuration file...

20160413:00:22:10:012846 gpfilespace:master1:gpadmin-[INFO]:-[created]

20160413:00:22:10:012846 gpfilespace:master1:gpadmin-[INFO]:-

To add this filespace to the database please run the command:

   gpfilespace --config /gpmaster/gpfilespace_config_1

//生成的配置文件/gpmaster/gpfilespace_config_1

3.2创建文件空间

[gpadmin@master1~]$gpfilespace --config  /gpmaster/gpfilespace_config_1

成功之后数据库中可以查询到

test=#select * from pg_filespace;

  fsname  | fsowner

-----------+---------

 pg_system |      10

 tbtest   |      10

4使用新的文件空间

4.1迁移系统的默认文件空间pg_system到新文件空间

迁移系统默认的表空间至新创建的文件空间,默认的文件空间目录建议不要删除:

[gpadmin@master1~]$ gpfilespace --showtransfilespace

[gpadmin@master1~]$ gpfilespace --showtempfilespace 

[gpadmin@master1~]$ gpfilespace  movetransfilespace  tbtest

[gpadmin@master1~]$ gpfilespace  movetempfilespace  tbtest

4.2数据库内创建新的表空间

表空间使用文件空间tbtest  

test=#create tablespace  newtbtest     filespacetbtest;

在指定表空间上创建对象:

test=#create table test(id int) tablespace newtbtest;

在会话级别设置默认表空间:

test=#set default_tablespace=newtbtest; 

在数据库级别修改默认表空间:

test=#alter database test set default_tablespace=newtbtest;


<think>我们正在解决Greenplum初始化过程中出现的符号链接错误:"Too manylevels ofsymbolic links"这个错误通常发生在数据目录路径中存在循环符号链接或者符号链接嵌套过深(超过系统限制)的情况。解决步骤:1. **检查数据目录配置**:在初始化配置文件(如:`gp_init_config`)中,检查以下配置项:- `declare-aDATA_DIRECTORY`:定义每个segment的数据目录-`MASTER_DIRECTORY`:master的数据目录- `MASTER_DATA_DIRECTORY`:实际用于存储master数据的目录(通常与MASTER_DIRECTORY相同或不同)确保这些目录路径是真实存在的物理路径(非符号链接),或者符号链接的深度不超过系统限制(一般不超过40层)。2.**验证符号链接**:在计划作为数据目录的路径上,使用`readlink-f <路径>`来解析符号链接,并检查是否有循环或嵌套过深。例如:```bashreadlink-f/data/primary1```3.**修复方法**:如果发现数据目录配置了符号链接,并且嵌套过深,有两种解决方案:a)将符号链接替换为实际路径(物理路径)-在配置文件中直接使用物理路径b)重新创建符号链接,确保没有循环且层数合理-使用绝对路径创建符号链接,避免相对路径导致的嵌套4. **检查系统限制**:虽然Linux系统通常支持40层符号链接,但可以通过以下命令查看当前系统的限制:```bashcat /proc/sys/fs/symlink```注意:这个文件可能不存在,因为Linux内核通常不提供这个参数(实际限制在40层,且不可配置)。所以重点应放在避免循环符号链接。5. **具体错误案例**:例如,配置文件中指定了:```bashdeclare -a DATA_DIRECTORY=(/home/gpadmin/primary /home/gpadmin/primary)```而`/home/gpadmin/primary`是一个指向自身的符号链接:```bash$ls -l /home/gpadmin/primarylrwxrwxrwx .../home/gpadmin/primary-> /home/gpadmin/primary```这会导致循环,从而出现错误。6. **修复步骤示例**:假设发现`/data/primary1`是一个符号链接,且指向了一个多层嵌套的路径,我们可以:a)删除该符号链接,并创建实际目录:```bashrm /data/primary1mkdir/data/primary1```b)或者修改符号链接,使其直接指向一个物理路径(且该路径没有多层符号链接):```bashln -sfn/physical/path/to/dir /data/primary1```7.**重新初始化**:修复后,重新运行`gpinitsystem`命令。8.**预防措施**:在初始化前,使用`gpcheck`(Greenplum提供的工具)进行环境检查,确保文件系统配置正确。引用说明:-关于符号链接的限制,参考Linux内核文档[^1]。-Greenplum官方文档中关于数据目录配置的要求[^2]。注意:在分布式系统中,每个节点上的数据目录路径都需要检查,因为错误可能发生在任意一个节点上。相关问题:1.如何检查Greenplum集群中所有节点的目录是否存在?2. Greenplum初始化过程中还有哪些常见的文件系统错误?3.如何配置Greenplum的数据目录以实现最佳性能?我们将按照上述步骤进行详细说明。</think>### Greenplum 初始化遇到符号链接错误的解决方案 当执行 `gpinitsystem` 时出现 **"Too many levels of symbolic links"** 错误,表明数据目录路径中存在循环符号链接或嵌套层级超过系统限制(Linux 默认限制为 40 层)。以下是系统级排查和修复步骤: #### 诊断步骤 1. **检查符号链接深度** 在涉及节点上运行: ```bash # 检查 Master 目录 readlink -f $MASTER_DATA_DIRECTORY | wc -c # 检查 Segment 目录(示例) readlink -f /data/primary/gpseg0 | wc -c ``` 若输出值 > 1000(路径字符数)或层级显示异常,说明符号链接嵌套过深。 2. **检测循环链接** 使用 `namei` 命令解析路径: ```bash namei -l $MASTER_DATA_DIRECTORY ``` 输出中若出现重复路径(如 `A -> B -> C -> A`),即存在循环符号链接。 #### 修复方案 1. **替换符号链接为物理路径** 修改初始化配置文件 `gp_init_config`: ```diff - declare -a DATA_DIRECTORY=(/symlink_path/primary) + declare -a DATA_DIRECTORY=(/physical_disk/primary) # 使用物理路径 - MASTER_DIRECTORY=/symlink_path/master + MASTER_DIRECTORY=/physical_disk/master # 使用物理路径 ``` 2. **简化符号链接结构** 若必须使用符号链接: ```bash # 删除旧链接 rm /data/primary # 创建直接指向物理路径的链接(最多1层) ln -s /physical_disk/primary /data/primary ``` 3. **验证所有节点路径一致性** 在集群每个节点执行: ```bash gpssh -f hostfile.txt "ls -ld /data/primary" ``` 确保所有节点路径解析结果相同。 #### 关键配置检查 1. **权限修复** 确保物理路径权限正确: ```bash chown -R gpadmin:gpadmin /physical_disk chmod 755 /physical_disk ``` 2. **环境变量修正** 检查 `$MASTER_DATA_DIRECTORY` 是否指向符号链接: ```bash echo $MASTER_DATA_DIRECTORY | grep -q '->' && echo "符号链接存在!" ``` 若存在,在 `.bashrc` 中修改为物理路径。 > **原理说明**:Greenplum 在初始化时需要精确解析物理存储位置。符号链接嵌套会导致路径解析失败,尤其当跨节点路径不一致时[^1]。Linux 内核限制符号链接递归解析深度为 40 层(可通过 `cat /proc/sys/fs/symlink` 验证)[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值