知识的力量

3.1.3 修改系统参数3.1.3.1 修改hostname临时修改# hostnamectl set-hostname test-cn-01永久修改# vi /etc/sysconfig/network# Created by anacondaHOSTNAME=test-cn-01以下是对所有的节点进行修改vi /etc/hosts192.168.***.*** gpmaster192.168.***.*** gpstandby1

#!bin/bashecho -e "------ os release ------"cat /etc/redhat-releasecat /etc/issue | grep Linuxecho -e "\n ------ cpu physical ------"cat /proc/cpuinfo | grep "physical id" | sort | uniq | wc -lecho -e "------ cpu info ------"cat /proc/cpuinfo | .

连接超时问题描述:ERROR "failed to acquire resources on one or more segments", "could not connect to server: Connection timed out"原因分析: (1) 查看网络连接情况 (2) 查看TCP/UDP连接情况解答方式: sudo sysctl net.netfilter.nf_conntrack_buckets=262144 sudo sysctl net.ne...

运行最大的内存gpconfig -s gp_vmem_protect_limitgpconfig -c gp_vmem_protect_limit -m 10240 -v 10240设置触发终止查询的Greenplum数据库vmem内存的百分比。gpconfig -s runaway_detector_activation_percent值为0禁用基于使用vmem百分比的查询。gpconfig -c runaway_detector_activation_perc...

在编译postgresql源码时出现以下的错误**********checking for library containing shmget... none requiredchecking for library containing readline... noconfigure: error: readline library not foundIf you have readline already installed, see config.log for details on th.

1、中国标准时区(CST)和美国中部时区(CST)重名2、GP默认会将CST识别为美国中部时区3、导致国内时区为CST的服务器在事件计算时出现意外结果4、解决方法 4.1 修改GP安装目录下/share/postgresql/timezonesets/Default 4.2 找到CST - 21600这行，修改为CST 28800 4.3 所有Segment和Master服务器全部修改 4.4 重新启动GODB 4.5 修...

目录1、构造测试的数据2、查看数据的大小和行数3、创建表语句参考资料MatrixDB - 时序数据库加载性能测试过程进入四维纵横yMatrix官网，体验超融合时序数据库MatrixDB。https://ymatrix.cn/blog/load-test-steps集群的架构序列 数据库 服务器 segment master 访问端口 1 Greenplum6.0.0 sdw2 16primary+1...

查看Greenplum集群中的创建的类型SELECT (current_database())::information_schema.sql_identifier AS udt_catalog, (nc.nspname)::information_schema.sql_identifier AS udt_schema, (c.relname)::information_schema.sql...

如上如只需要强转一下即可：SELECT requesttime::timestamp with time zone AS "time", requestresult AS metric, count(requestresult) AS "requestresult"FROM sdfGROUP BY 1,2ORDER BY 1,2

#!bin/bash # 表文件和该文件的行数 tablefile="ods_tablename.sql" lines=`cat $tablefile|wc -l` # 导入密码 export PGPASSWORD=gpadmin # 循环开始备份表中的数据 for tablename in `cat $tablefile` do # 获取该该表的位置 currentlin=`cat $tablefile |grep -rn -w "$tablename"|awk -..

文章标题 文章链接 Greenplum主节点与数据节点硬件详细信息 https://cloud.tencent.com/developer/article/1344293 Greenplum使用TPC-H测试过程及结果 https://cloud.tencent.com/developer/article/1344308 Linux(一)目录 https://cloud.tencent.com/developer/article/1346253 Linux 常用命令(

Greenplum数据库快速调优目录第一节 集群规划中影响性能的原因 1、 架构设计 2、服务器配置 3、Segment 实例数量第二节 数据库性能优化内容 1、内存管理 2、资源队列的内存管理 3、 资源队列 4、资源组 5、资源组与资源队列的区别 6、表储存 7、储存模式及对比 8、数据加载 9、其他优化点第三节 日常维护对性能的提升 1、统计信息 2、收集统计信息 3、数据膨胀 4、检测膨胀 5、膨胀处理 6、数据倾斜 7、计算倾斜 8、计算倾斜排查过程

Greenplum生态与工具目录第一节 Greenplum 生态介绍 1、Greenplum 发展历史 2、商业版与开源版的差异 3 Greenplum 生态软件第二节 Greenplum 运维工具 1、 商业监控--GPCC 2、开源监控Prometheus+Grafana 3、gpxxx 运维工具第三节 Greenplum 管理工具 1、常用的管理工具datagrip 2、常用的管理工具navicat 3、常用的管理工具dbeaver 4、度版本比较第四节 Greenplu

Greenplum迁移指南目录第一节 Greenplum数据迁移方法论 1.1 为什么要进行数据迁移 1.2 迁移整体的流程第二节Greenplum数据迁移工具 2.1 迁移工具 2.2 迁移工具--pra2pg 2.3 迁移工具--sqluldr2 2.4 迁移工具--sqldata第三节 如何实现自己的数据迁移程序 3.1 数据迁移全周期功能第四节 Oracle到Greenplum的数据迁移 4.1 为什么要从Oracle迁移到GPDB 4.2 迁移场景 4.3 元数据迁移

目录第一节 排查问题的方法目录 1、 不能只看表象，要去看日志，找规律，去复现 2、去哪看日志，有哪些日志 3、管理工具的日志 4、GP数据库日志 5、 CSV日志 6、遇到问题解决方式第二节 数据库启动停止的问题分析 1、gpstop 有哪些几步操作 2、too many clients alrrady 3、database is in recovery mode / is starting up 4、gpstart 有哪些几步操作 5、postmaster.pid 不存在

以下为Greenplum常见的链接驱动,官网推荐的为Pivotal Greenplum JDBC API 驱动名称 下载链接 JDBC Driver Pivotal Greenplum JDBC https://network.pivotal.io/products/pivotal-gpdb#/releases/700113/file_groups/2702 Gre.

Greenplum集群Master与Standby相互切换1 概述 12 查看集群的基本信息 22.1 查看集群的配置信息 22.2 快速查看down segments节点 22.3 查看Master Standby节点的运行状态 22.4 查看Master与Master Standby的配置 33 移除掉Standby 节点 33.1 移除掉Standby节点 33.2 查看Standby的配制 44 在Master节点上创建表 54.1 创建一张测试表 5

Greenplum集群扩容总结Greenplum集群扩容总结 11 概述 22 扩容前准备 23 扩容方案对比 23.1 使用gpexpand进行数据库扩容 23.2 新建Greenplum集群，重新导入数据 34 查看集群的基本信息 34.1 查看集群的版本 34.2 查看master和stadby信息 44.3 查看segment信息 44.4 当前集群链接检查 44.5 查看集群的运行状态信息 44.6 使用gpstate命令查看集群信息 45

Greenplum备份安全与高可用目录Greenplum备份安全与高可用目录1 Greenplum高可用 1.1 管理节点 1.2 数据节点 1.3 交换机 1.4 服务器 1.5 Master高可用 1.6 Segment高可用 1.7 系统表高可用 1.8 系统视图高可用2 Greenplum安全 2.1 身份认证 2.1.1 pg_hba.conf配置连接类型 2.1.2 pg_hba...

Greenplum快速上手目录快速上手Greenplum 1目录 11 Greenplum的介绍 21.1 Greenplum产品发展历程 22 Greenplum市场地位 33 Greenplum架构设计 43.1 Scale up架构 43.2 Greenplum架构图 43.3 Greenplum架构组成 53.3.1 Master Hosts功能 53.3.2 Interconnect功能 53.3.3 Segment Hosts功能 53.4

官网介绍：https://gp-docs-cn.github.io/docs/ref_guide/config_params/guc-list.html#enable_bitmapscan参数名字 默认值 参数含义 enable_bitmapscan on 启用或禁用位图查询优化器。 enable_groupagg on 启用或禁用组聚集计划优化器。 enable_hashagg on 启用或禁用哈希优化器。 enable_hashjo

Greenplum查询优化揭秘学习地址:https://space.bilibili.com/489184136Greenplum查询优化揭秘 1目录 11 Greenplum查询优化器和查询计划介绍 11.1 Greenplum查询优化器介绍 11.2 Greenplum查询计划介绍 11.3 计划节点的类型 22 Greenplum查询优化器的的具体处理过程 22.1 查询树的预处理 22.1.1 查询树的预处理(早期) 32.1.2 查询树的预处理(后期).

greenplum集成mysql_fdw插件1 安装说明2 编译安装PostgreSQL 与mysql 2.1 把下载的PostgreSQL\mysql\MYSQL_FDW放在同目录下 2.2 编译PostgreSQL 9.4.24 2.3 复制mysql_fdw-master插件3 编译mysql_fdw插件 3.1 建立libmysqlclient.so的软连接 3.2 导入环境变量 3.3 编译mysql_fdw插件4 greenplum集成mysql_fdw插件5 gree

Greenplum 元数据信息Greenplum 元数据信息1、 获取集群中数据库信息 1.1 集群中的创建的数据库信息 1.2 查看每个数据库的储存大小 1.3 查看集群中hostname 1.4 查看集群数据库的版本信息 1.5 查看集群master与segment安装的信息2、 查看数据库下schema信息 2.1 查看数据库下创建的schema信息 2.2 查看数据库下每个schema的大小3、 查看schema下表的信息 3.1 查看schema下的表的

Greenplum使用oralce_fdw连接oracle目录Greenplum使用oralce_fdw连接oracle 11 下载oracle客户端,放到/data目录下(主节点) 12 在root和gpadmin用户下配置环境变量(主节点) 12.1 配置环境变量 12.2 建立软连接 22.3 修改权限 23 下载编译oracle_fdw(主节点) 24 编译(主节点) 25 复制编译文件到所有节点 46 分发oracle客户端到所有节点 47 动态连接

目录Greenplum6.x安装PXF插件目录1 安装Hadoop与Hive的客户端 1.1 在大数据平台的主节点(namenode)上打包客户端 1.2 把文件scp到Greenplum的master节点上2 Greenplum的master节点解压文件配置环境变量 2.1 解压文件 2.2 对文件重命名 2.3 为 gpadmin配置环境变量3 PXF安装 3.1 PXF 初始化 3.2 创建新的文件夹 3.3 修改px

Greenplum内核揭秘之执行引擎目录Greenplum内核揭秘之执行引擎 1目录 11 执行器介绍 21.1 什么是执行器 21.2 PlanNode(执行计划节点) 21.3 PlanTree(执行计划树) 21.3 执行模型 31.3.1 迭代模型(Pipeline模型，Pull方式) 31.3.2 向量化模型(VECTORIZATION Model) 31.3.3 PUSH执行模型 41.3.4 PUSH模型的优势 41.3.5 GPDB使用的模

针对最常见的内存错误OOM，需要说明(针对4.1之后版本，早起版本请前去查询相关文档)：单语句的内存消耗受3个参数控制：gp_resqueue_memory_policy、statement_mem、max_statement_mem A、缺省gp_resqueue_memory_policy配置为eager_free，在此情况下，内存将物尽其用(我从词面理解的，官方并未给出详细说明)，但不能超过max_statement_mem的限制以及resource queue的memory_limit...

1、中国标准时区(CST)和美国中部时区(CST)重名2、GP默认会将CST识别为美国中部时区3、导致国内时区为CST的服务器在事件计算时出现意外结果4、解决方法 4.1 修改GP安装目录下/share/postgresql/timezonesets/Default 4.2 找到CST - 21600这行，修改为CST 28800 4.3所有Segment和Master服务器全部修改 4.4重新启动GODB...

GreenPlum常用命令gpstate命令 参数 作用gpstate -b => 显示简要状态gpstate -c => 显示主镜像映射gpstart -d => 指定数据目录（默认值：$MASTER_DATA_DIRECTORY）gpstate -e => 显示具有镜像状态问题的片段gpstate -f => 显示备用主机详细信息gpstate -i => 显示GRIPLUM数据库版本gpstate -m => 显示镜像实例同步...

15 数据库事务详解15.1 事务概述事务(Transaction)是由一系列对系统中数据进行访问与更新的操作所组成的一个程序执行逻辑单元。ACID 特性事务具有4个基本特征:分别是:原子性(Atomicity)，一致性(Consistency)，隔离性(isolation)，持久性(Duration)、简称(ACID)隔离级别ACID这4个特征中，最难理解的是隔离性，在标准SQL规范中，定义了4个事务隔离级别，不同的隔离级别对事务的处理不同。4个隔离级别分别是:读未提交..

6.2 索引介绍6.2.1 索引的简单介绍1、在关系数据库中，索引是一种单独的，物理的对数据库表中一列或多列的值进行排序的一种储存结构，它是某个表中一列或若干列值的集合和相对应的指向表中物理标识这些值的数据页的逻辑指针清单。2、索引的作用相当于图书的目录，可以根据目录中的页码快速查找到所需要的内容。6.2.2 索引常用参数unique : 创建唯一索引concurrently : 在线创建索引，不会阻塞读写操作using method : 默认为btreeasc /des

更多文章请关注作者公众号1 PostgreSQL中的多版本并发控制-MVCC 11.1 为什么需要MVCC 11.2 不同的MVCC机制 11.3 MVCC 设计的几个概念 11.4 MVCC的工作机制 21.1.1 插入数据实例 21.1.2 修改数据实例 31.1.3 删除数据实例 41.1.4 数据操作总结来说 51 PostgreSQL中的...

更多的文章请关注作者微信公众号或访问作者github:https://github.com/xfg0218/greenplum--summarize作者公众号目录目录 21 巡检说明 62 查看集群硬件相关信息 62.1 查看集群当前系统时间 62.2 查看操作系统版本 72.3 查看内核版本 72.4 查看内存的详细信息 72.4.1查看内...

Greenplum 数据库调优目录Greenplum 数据库调优 1目录 11 Greenplum查询处理回顾 21.1 Master 把查询语句分发到segment 22 Greenplum数据库调优 32.1 系统资源 32.2 硬件问题 42.3 资源管理 52.3.1 查看resource queue的参数 52.3.2 设置临时的内存大小 6...

Greenplum 架构和核心引擎Greenplum 架构和核心引擎 1学习地址 21 Greenplum 架构概述 21.1 概述简介 21.2 MPP无共享静态拓扑 31.3 集群内数据分两类 31.4 对用户透明 41.5 用户数据表 41.6 系统表/数据字典 51.7 数据分布:并行化处理的根基 51.8 多态储存:根据数据温度选择最佳的储存方...

查看表字段的comment信息,如果字段没有comment则显示空SELECT 'tablename' as table_name ,a.attname AS column_name ,format_type(a.atttypid, a.atttypmod) AS data_type ,d.description ...

Greenplum 元数据信息 11、 获取集群中数据库信息 21.1 集群中的创建的数据库信息 21.2 查看每个数据库的储存大小 22、 查看数据库下schema信息 22.1 查看数据库下创建的schema信息 22.2 查看数据库下每个schema的大小 23、 查看schema下表的信息 23.1 查看schema下的表的清单 23.2 查看表的字段的...

查看Greenplum集群中的创建的类型SELECT (current_database()) :: information_schema.sql_identifier AS udt_catalog, (nc.nspname) :: information_schema.sql_identifier AS udt_schema, (C .relname) :: information_...

Greenplum数据库使用总结(5.11版本)说明 Greenplum数据库使用总结(5.11版本)文档是作者在学习greenplum期间总结的资料,一共有274页内容,内容 简单易懂,干货满满,适用于初学者快速入门Greenplum数据库查看及下载地址 1、百度盘链接：https://pan.baidu.com/s/10BQQbB51xbC5c6hZySaI7w 提取码：g...