qq_37004539的博客

在不考虑计算类型的情况下，业界通常采用每CPU核心管理4GB到16GB内存，按照每CPU核心配备16GB内存计算。8a自动评估内存，dc_heap用途是缓存数据（DC）,如dc_heap不够用时，会向操作系统申请内存dc_heap_malloc。总数据量：[当前数据量 + 预计每日增长数据量 * （365 * 未来使用年限）* （预计数据备份分数 + 1）] / 3。冷热数据按经验预计估计*：2，查询数据量为 dc_heap/0.2最佳。配置可比数据节点较低，建议CPU和内存一致，硬盘容量可比数据节点小。

1.硬件环境支持如下的硬件环境：1)支持服务器平台：x86_64的标准PC服务器、PowerLinux服务器、浪潮K1等；2)支持存储：本地存储（SATA、SAS、SSD等）、阵列存储（SAN、NAS）、SSD、Flash卡；3)支持网络环境：千兆、万兆、InfiniBand。2.操作系统和平台支持如下的操作系统和平台：1)支持的CPU：Intel、AMD、申威、龙芯3B、飞腾、X86、Power等；2)支持的操作系统：CentOS、Red Hat、SUSE、中标麒麟、PowerLinux等

1.数据加载GBase 8a MPP Cluster中，集群加载功能直接集成在GBase 8a MPP Cluster内部，不需要额外部署外部加载工具。加载工具具备如下一些特性和优点：1）与集群高度集成，方便部署；2）支持SQL及外部工具的加载方式；面向用户的SQL接口方式使集群和单机加载方式统一，更符合用户的使用习惯；3）支持单表多数据源并行加载，支持多加载机对单表的并行加载，最大化加载性能；4）支持从通用数据服务器拉取数据，支持ftp/http/hdfs/RESTFUL/Kafka等多种文件

GBase 8a MPP Cluster为非对称部署的联邦架构，GCluster Cluster和 GCware Cluster单独部署为一个集群，最大节点数为64，GNode Cluster单独部署为一个集群，支持300个以上的节点部署，可处理30PB以上的结构化数据。1.大规模并行计算GBase 8a MPP Cluster采用MPP技术，主要特点有：1）分布式并行计划器，结合集群特征，对算子行进分布式处理，生成适合的分布式执行计划；2）通过基于规则和基于代价的优化，保证执行计划的高效；3）调

1.列存储和行列混存数据在磁盘中按照列的方式进行组织和物理存储。行存储架构和列存储架构的数据库分别适用于不同的应用，具备各自的优劣势，如下图所示。列存储架构对查询、统计和分析类操作具备天然的优势。图 3-1行存、列存对比例如，在分析系统中，约100列的业务表是很常见的。对于常见的分析查询来说，对该业务表列的引用一般不超过10个。对I/O是主要瓶颈的分析系统而言，相较于传统的行式数据库，列式存储技术可以很容易地带来一个数量级的性能提升。面对海量数据分析的I/O瓶颈，分析型数据库把表数据按列的方式存储

1.产品简介南大通用大规模分布式并行数据库集群系统，简称：GBase 8a MPP Cluster，它是在GBase 8a列存储数据库基础上开发的一款Shared Nothing架构的分布式并行数据库集群，具备高性能、高可用、高扩展等特性，可以为各种规模数据管理提供高性价比的通用计算平台，并广泛用于支撑各类数据仓库系统、BI系统和决策支持系统。2.产品技术特点GBase 8a MPP Cluster具有联邦构架、大规模并行计算、海量数据压缩、高效存储结构、智能索引、虚拟集群及镜像、灵活的数据分布、完善

1.虚拟集群虚拟集群以大规模集群为基础开发，一个集群中包含多个VC。各VC在整个集群范围内独立运行，共享统一的入口。权限许可的情况下，各虚拟集群间可以相互访问。支持Coordinator node和VC的data node在同一个物理节点上。统一管理在集群内部进行虚拟集群划分，在增强集群的扩展能力同时，提供统一的管理视图，集群可以达到千节点规模。统一入口用户选择Coordinator cluster中的任意一个Coordinator node作为集群入口。Coordinator node根据用

全文索引GBase 8a MPP Cluster数据库支持全文检索，由于默认采用全单字索引方式，支持几乎所有的语种，并且可以保证100%的查询召回率。结合GBase 8a MPP Cluster独特的列存储，压缩和智能索引技术，适合面向海量数据的检索查询应用。主要功能包括：1.建立索引与搜索在GBase 8a MPP Cluster中内嵌全文检索引擎，支持表中所有文本类型字段的索引与查询。支持参数化管理，索引建立、分词、索引维护、搜索等过程均可以通过GBase 8a MPP Cluster的标准

1.GBase 8a MPP Cluster ODBCGBase 8a MPP Cluster ODBC是GBase 8a MPP Cluster的ODBC驱动程序，它提供了访问 GBase 8a MPP Cluster的所有ODBC功能。GBase 8a MPP Cluster ODBC支持ODBC 3.5X 一级规范 （全部API + 2级特性）。用户可以通过ODBC数据源管理器调用GBase 8a MPP Cluster ODBC驱动访问GBase 8a MPP Cluster数据库或者直接调用 G

1.数据加密GBase 8a数据加密是提供对数据库落地数据的软加密功能，用来满足用户的安全需求，提高系统的安全性。数据加密按照seg文件中的DC为最小单位进行，可以实现表级或者列级不同粒度的加密要求。数据加密支持的如下特性：支持加密关键字encrypt建表支持表级或者列级不同粒度的加密要求支持表加密属性的查询支持密钥证书管理包括密钥证书的创建、打开、关闭、口令修改、密钥转换操作支持密钥类型转换，即从明文密钥转换到密文密钥，或从密文密钥转换到明文密钥：明文密钥：无须用户口

GBase 8a MPP Cluster提供了企业管理工具、集群监控工具、gcadmin命令行工具、DB-Link及透明网关等工具，可以对数据库的各项功能进行集中式统一管理，对系统运行状态、资源占用、任务执行情况进行监控，实现数据快速加载及集群间数据高效访问等多项功能。1.企业管理工具图形化的查询和管理工具，提供用于访问、控制和管理GCluster集群环境。使用GBase 8a MPP Cluster企业管理器可以完成如下工作：1)集群连接配置管理；2)元数据信息查询和管理；3)SQL、存储过程、

数据加载GBase 8a MPP Cluster 中，集群加载功能直接集成在 GBase 8a MPP Cluster 内部，不需要额外部署外部加载工具。加载工具具备如下一些特性和优点：与集群高度集成，方便部署；支持SQL及外部工具的加载方式；面向用户的SQL接口方式使集群和单机加载方式统一，更符合用户的使用习惯；支持单表多数据源并行加载，支持多加载机对单表的并行加载，最大化加载性能；支持从通用数据服务器拉取数据，支持ftp/http/hdfs/RESTFUL/Kafka等多种文件传输协议；

启动虚拟集群命 令 ： gcadmin startvc <vc_name1 vc_name2 ...> <os_dba_user_name os_dba_password>一次可同时启动多个虚拟集群，需使用 demo.options 中填写的 dbaUser 用户执行命令，执行命令时需指定 VC name。查看虚拟集群命令：gcadmin showcluster [c | vc vcname] [d] [f]显示当前群集群所有VC的name、ID、distribution、

GBase8aMPPClusterV9.5.2.X版本加载功能支持从通用数据服务器拉取数据，支持ftp/http/hdfs/sftp等多种协议。以下简要描述RedHatEnterpriseLinux6.2平台上FTP、HTTP、HDFS、SFTP四种通用文件服务器的配置方法。FTP 服务器配置使用 vsftp 搭建 FTP 服务器。查看是否已安装 vsftpd# rpm -qa vsftpdvsftpd-2.2.2-6.el6_0.1.x86_64安装 vsftpd# rpm -i

GBase 8a MPP Cluster通过冗余机制来保证集群的高可用特性：可提供1个或2个副本数据冗余；副本间数据自动同步；复制引擎自动管理数据同步；多分片机制降低节点故障的木桶效应；节点发生故障时，系统自动切换至其它节点进行工作，保证业务连续性；支持双活集群部署。集群副本数和分片数可进行灵活配置，可配置副本分片到集群的任意一个节点上，可以根据配置在主机性能高和存储空间大的节点分配更多的主本和副本。当节点出现异常时，可以将异常服务器的负载均匀分布在副本所在的几台正常的服务器上。这样就最

功能简介统一数据平台监控与运维系统是南大通用数据技术股份有限公司开发的GBase 8a MPP Cluster的组成部分。支持对单个或多个集群的监控。根据用户设定的报警策略，对集群节点的系统资源利用情况、网络通讯情况、进程运行情况和集群运行状态等信息进行采集监控，将报警信息推送给用户，使用户及时发现和排除集群故障。统一数据平台监控与运维系统还将采集信息持久化到数据库中，同时对集群的性能进行多维度分析、展示，以便用户能对集群进行调优或问题排查等。功能简介如下：查看整体状态：集群模式、锁、报警信息、节

GBase 8a MPP Cluster组件工具简介GBase 8a MPP Cluster提供了海量数据的管理及分析功能和易于监管数据库集群的工具。便于数据库管理员监控数据库集群的图形化工具：统一数据平台监控与运维系统便于开发人员访问、控制和管理数据库对象的工具：GBaseDataStudio 图形化管理工具gccli 命令行连接数据库工具便于数据库管理员管理数据库集群的命令行工具：gcadmin 集群管理工具gcluster_services 集群启停工具便于数据库管理员备份恢复集

8a有四个系统库分别是 information_schema，gbase，gclusterdb 及performance_schema。information_schema 中的信息为元数据信息，这些信息是通过组织相关对象获得的，不是预先存储的信息；gbase 库存放的是一些持久化存储的信息，信息存储在 GsSYS 引擎的表中；gclusterdb 存储的是需要在集群范围保存的信息，使用的是 express 引擎；performance_schema 存储的是运行状态信息。.

时间函数函数 功能 NOW, SYSDATE, CURRENT 当前日期与当前时间 YEAR，MONTH，DAY，WEEKDAY 取指定表达式中的年份，月份，日期，星期 LAST_DAY 取月份日期的最后一天。 TO_DAYS 返回日期 date 对应的天数（从年份 0 开始的天数） DATE_FORMAT 依照 FORMAT 字符串格式化日期值 ADD_MONTHS 、PERIOD_DIFF(P1,P2) 取表达式几个月后的值、...

GBase 8a MPP Cluster集群管理集群管理工具: gcadmin随GBase 8a数据库一起安装，部署在gcware/bin目录中获取帮助 语法$ gcadmin --help查看gcadmin版本$ gcadmin -V查看集群状态$ gcadmin showcluster [c] [d] [f]参数：c：显示节点时仅显示 coordinator 节点；d：显示节点时仅显示相应的数据节点；f：指明按 xml 格式显示信息；切换集群模式$ gcadmin swi

GBase 8a MPP Cluster集群性能优化系统资源能够按照策略分配使用；任务的执行要有优先级管理；复杂（多步）任务在集群中要有统一的管理策略（包括：资源分配、优先级、执行顺序等）。用户优先级设定grant usage on . to user_name with task_priority priority_valuepriority_value 的取值范围为 0，1，2，3 对应最小优先级，低优先级、中优先级和高优先级，缺省为中优先级 2。有 grant 权限的用户，推荐用

GBase 8a MPP Cluster架构GBase 8a MPP Cluster 采用 MPP + Shared Nothing 的分布式联邦架构，节点间通过TCP/IP 网络进行通信，每个节点采用本地磁盘来存储数据。实现非对称部署，分布式管理集群和分布式调度集群部署在 coordinator 集群。分布式存储集群部署在data 集群。系统中的每一个节点都是相对独立的、自给的，整个系统中不存在单点瓶颈，具有非常强的扩展性。GBase 8a MPP Cluster 产品总共包含三大核心组件，分布式管

GBase 8a MPP Cluster同义词同义词是对象的一个别名。对象指表、视图、存储过程、用户自定义函数、同义词。同义词权限分配全局级权限，对应创建或删除公有同义词。分配库级权限，对应创建或删除相应库的私有同义词。执行Show Create需拥有对gbase.synonyms系统表的查询权限或有同义词创建权限。权限含义CREATE创建同义词，全局级或库级DROP删除同义词，全局级或库级同义词权限示例：赋予用户global级CREATE/DROP权限，允许

CREATE [DEFINER = { user | CURRENT_USER }] EVENT[IF NOT EXISTS] event_nameON SCHEDULE schedule[ON COMPLETION [NOT] PRESERVE][ENABLE | DISABLE][COMMENT ‘comment’]DO event_body;参数说明：event_name ：创建的 event 名字（唯一确定的）。ON SCHEDULE：计划任务。schedule: 决定 ev.

功能 描述 结构化查询语言 符合SQL 92标准，支持CREATE、ALTER、DROP等DDL语法，支持SELECT、INSERT、UPDATE、DELETE、MERGE等DML语法，支持单表，多表联合查询 数据类型 BOOL布尔数据类型 INT、TINYINT、SMALLINT、MEDIUMINT、BIGINT、DECIMAL、FLOAT、DOUBLE数值数据类型 CH...

GBase 8a MPP Cluster 的存储过程遵循 SQL：2003 标准。支持函数（FUNCTION）的定义和使用。创建存储过程、函数存储过程语法格式： CREATE PROCEDURE <proc_name>([<parameter_1>[,…] [,parameter_n]]) [characteristic ...] BEGIN <过程定义> END函数语法格式： CREATE FUNCTION <func_name>(

gcadmin工具GBase 8a MPP Cluster为管理员提供了命令行工具gcadmin。该工具能实现Distribution的增加、移除，查看集群状态等管理功能。具体功能如下：集群状态信息查询，可以查询节点IP、节点状态、集群服务模式等信息；数据分布信息查询，可查询节点主分片和副分片的位置、总分片数量等信息；集群锁信息查询，可以查询锁的名称、节点IP、锁的创建时间等信息；节点异常状态信息查询，可以查询所有的错误日志，某个表分片在某个节点上的错误日志等信息。GCMonit监控工具实

硬件环境支持如下的硬件环境：支持服务器平台：x86_64的标准PC服务器、PowerLinux服务器、浪潮K1等；支持存储：本地存储（SATA、SAS、SSD等）、阵列存储（SAN、NAS）、SSD、Flash卡；支持网络环境：千兆、万兆、InfiniBand。操作系统和平台支持如下的操作系统和平台：支持的CPU：Intel、AMD、申威、龙芯3B、飞腾、X86、Power等；支持的操作系统：CentOS、Red Hat、SUSE、中标麒麟、PowerLinux等64位操作系统；支持

数据加载及集成数据加载GBase 8a MPP Cluster中，集群加载功能直接集成在GBase 8a MPP Cluster内部，不需要额外部署外部加载工具。加载工具具备如下一些特性和优点：1）与集群高度集成，方便部署；2）支持SQL及外部工具的加载方式；面向用户的SQL接口方式使集群和单机加载方式统一，更符合用户的使用习惯；3）支持单表多数据源并行加载，支持多加载机对单表的并行加载，最大化加载性能；4）支持从通用数据服务器拉取数据，支持ftp/http/hdfs/RESTFUL/Ka

技术指标 技术指标 描 述 集群节点的数据库实例的大小 100TB 数字精度 65 表的个数 受文件系统限制 Ext3文件系统单个数据库中上限65535；其他文件系统无限制。 每个表中列的个数 2000 每个表中行的个数 140737488355328 .

OLAP函数基本概念联机分析处理，OLAP特性：快速性、可分析性、多维性、信息性OLAP函数：用简单语法处理复杂数据分析的SQL函数集窗口类：要与开窗函数over()配合使用GROUP BY子句扩展类：在传统group by基础上的扩展用法，可同时分析多个维度的组合备注：这两类在数据库引擎中属于不同算子，但其作用上来讲都是用来做数据统计分析的，因此才统称为OLAP函数窗口类OLAP函数概念：以维度将原始数据集划分若干组（每组数据都叫做一个窗口），针对每个窗口的数据做二次操作语法：

GBase 8a MPP Cluster特点及安装过程文章目录GBase 8a MPP Cluster特点及安装过程一.介绍特点架构二、安装过程1.环境准备2.集群安装2.1所有节点创建DBA用户2.2在集群所有节点上创建安装目录并授权2.3安装包解压缩2.4设置环境变量2.5修改主节点的安装配置文件（demo.options）2.6执行安装脚本2.6集群状态查看2.6申请license和导入授权2.6在集群所有节点上启动全部集群服务2.6设置分片信息（创建发布）2.6数据库初始化3.集群卸载安装时需注