<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[lbfk的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/lbfk</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lbfk]]></copyright><item><title><![CDATA[配置 C3 工具时，修改/etc/host，再重新安装集群的时 候报错]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/125067281</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/125067281</guid><author>lbfk</author><pubDate>Tue, 31 May 2022 15:46:45 +0800</pubDate><description><![CDATA[更改/etc/hosts设置，在安装前只保留原始配置记录端口号和hostname即可，如第一行

所以，其他的可以注释掉

127.0.0.1station25.example.com

#192.168.58.11station25.example.com

#192.168.58.12station26.example.com
]]></description><category></category></item><item><title><![CDATA[集群启动失败]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/125067162</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/125067162</guid><author>lbfk</author><pubDate>Tue, 31 May 2022 15:43:38 +0800</pubDate><description><![CDATA[gcluster/gnode 权限设置为全权 777，集群启动失败； 

解决办法： 

gcluster/gnode 权限设置为 644
]]></description><category></category></item><item><title><![CDATA[集群安装完成后，GCluster 服务不能启动]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/125067034</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/125067034</guid><author>lbfk</author><pubDate>Tue, 31 May 2022 15:41:06 +0800</pubDate><description><![CDATA[虚拟机内存太小，需要 2G 以上才可以
]]></description><category></category></item><item><title><![CDATA[8a 集群为什么需要通过 RAID 来管理磁盘读写]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/124489328</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/124489328</guid><author>lbfk</author><pubDate>Fri, 29 Apr 2022 09:54:46 +0800</pubDate><description><![CDATA[8a 不支持裸设备，因此通过磁盘的 raid 和副本两种机制来保证高可用。 

hdfs 基于裸设备，自己管理副本，因此不需要配置 raid 但只能通过副本

一

种机制来保证高可 

用
]]></description><category></category></item><item><title><![CDATA[Hadoop 和 GBase 8a 的区别]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/124489272</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/124489272</guid><author>lbfk</author><pubDate>Fri, 29 Apr 2022 09:52:37 +0800</pubDate><description><![CDATA[8a 保持关系型数据库特征，保证数据的完整性，但架构类似 Hadoop，因此称为 NewSQL； 

Hadoop 放弃关系模型，称为 NoSQL，主要面向互联网等非结构化数据的计算模型
]]></description><category></category></item><item><title><![CDATA[列举 OLTP 型数据库，8a 和 Hadoop 各自所对应的 数据特征]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/124489165</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/124489165</guid><author>lbfk</author><pubDate>Fri, 29 Apr 2022 09:49:48 +0800</pubDate><description><![CDATA[传统 OLTP：主要处理结构化数据，基于行操作，并发度高，热数据，数据量 TB 级别。 

MPP：处理结构化数据，基于列集合操作，并发度适中，温数据，即席查询，分析逻辑复杂， 

即席查询，数据量在 100TB

-

PB 级。 

Hadoop：处理非结构化数据/半结构数据/结构化数据，批处理，PB 级以上，冷数据，全集 

合数据，全表扫描，简单迭代

...]]></description><category></category></item><item><title><![CDATA[GBase8a数据排序优化]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/123813053</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/123813053</guid><author>lbfk</author><pubDate>Tue, 29 Mar 2022 09:48:44 +0800</pubDate><description><![CDATA[数据在按某查询列进行排序后，则相同数据取值会集中存放在有限的数据包中，因此在以该列进行过滤时，利用智能索引命中的数据包会很少，不仅能降低IO量而且会提高压缩比。其最大好处是可以将智能索引的过滤效果发挥到最优，从而使整体查询性能大幅提升。建议在实际应用场景许可的前提下，将数据按照查询常用条件列进行排序。如在电信行业中，通常按照手机号码进行查询，因此可按一定的时间间隔对数据按照手机号码进行排序，则在此时间范围内的手机号码有序，在进行查询时，便可通过智能索引特性提高查询性能。
...]]></description><category></category></item><item><title><![CDATA[GBase8a分布列选取原则]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/123812961</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/123812961</guid><author>lbfk</author><pubDate>Tue, 29 Mar 2022 09:47:16 +0800</pubDate><description><![CDATA[优先考虑大表间的JOIN，尽量让大表JOIN条件的列为Hash分布列（相关子查询的相关JOIN也可以参考此原则），以使得大表间的JOIN可以直接下发到各节点分布式执行。其次考虑GROUPBY，尽量让GROUPBY带有Hash分布列，让分组聚合一步完成。当有多个join或group列可选择时，优先选择唯一值多（count(distinct)值大）的列做Hash分布列，让数据均匀分布。通常是等值查询的列，并且使用的频率很高的应考虑建立为hash分布...]]></description><category></category></item><item><title><![CDATA[GBase8a数据分布规划]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/123812893</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/123812893</guid><author>lbfk</author><pubDate>Tue, 29 Mar 2022 09:45:54 +0800</pubDate><description><![CDATA[GBase8aMPP集群性能取决于各个节点整体的性能，每个节点存储的数据量对于集群性能有很大影响，为了尽可能达到最好的性能，所有的数据节点应该尽量存储等量的数据，因此在数据库表规划定义阶段要考虑表是复制表还是分布表，以及对分布表上的某一些列设置为分布列进行hash分布。例如根据数据的分布特性设计，可以：1.将字典表或者维度表建成复制表的方式将数据存储到各个节点上，即不须对其数据进行分片存储。因为字典表的数据量相对较小，虽然在各个节点进行存储有一定的数据冗余，但和事实表的JOIN运算就...]]></description><category></category></item><item><title><![CDATA[如何查询GBase数据库中表的comment信息]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/123091476</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/123091476</guid><author>lbfk</author><pubDate>Wed, 23 Feb 2022 15:33:08 +0800</pubDate><description><![CDATA[1.通过showcreatetable方式获取表的创建语句，查找comment信息；
2.查询information_schema.columns、information_schema.tables系统表，获取comment信息
]]></description><category></category></item><item><title><![CDATA[GBase8a中tableid的位置、作用以及相关说明]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/123091282</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/123091282</guid><author>lbfk</author><pubDate>Wed, 23 Feb 2022 15:27:38 +0800</pubDate><description><![CDATA[tableid是表的id，唯一标识。只有建表语句会申请新的tableid，renametable后tableid不会变动。
tableid可以通过information_schema.tables的table_id列查询，最大值也可以查到（使用max函数）。
并发ddl时，有锁保护，不会引起不同的ddl得到同样的tableid

...]]></description><category></category></item><item><title><![CDATA[GBase数据库安装前一般检查]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/123090893</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/123090893</guid><author>lbfk</author><pubDate>Wed, 23 Feb 2022 15:16:17 +0800</pubDate><description><![CDATA[GBase数据库安装前一般检查]]></description><category></category></item><item><title><![CDATA[GBase8a 集群是否支持跨网段部署]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/122727702</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/122727702</guid><author>lbfk</author><pubDate>Fri, 28 Jan 2022 10:28:26 +0800</pubDate><description><![CDATA[集群不支持跨网段部署，要求集群节点必须部署在同
一
个网段内；
大规模集群版本支持跨网段的部署，但要求：
（ 1 ） gcluster 子集群必须部署在同
一
个网段内；
（ 2 ） gnode 子集群可以部暑在不同网段，但不同网段的节点间的网络应能互通

...]]></description><category></category></item><item><title><![CDATA[GBase 8a 集群修改 IP 地址操作步骤]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/122727674</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/122727674</guid><author>lbfk</author><pubDate>Fri, 28 Jan 2022 10:27:23 +0800</pubDate><description><![CDATA[集群修改 ip 地址后，为保证集群正常服务，需要相应修改 corosync 和 gcware 的配置文件，
基本操作步骤如下：
（ 1 ）确认集群状态
（ 2 ）停止集群服务
（ 3 ）修改集群节点 ip
（ 4 ）修改 corosync 配置文件 /etc/corosync/ corosync.conf 中的 ip 地址信息
（ 5 ）修改 gcware 配置文件 /var/lib/gcware/CIB.xml 中的 ip 地址和 node id 信息
（ 6 ）启动集群服务

...]]></description><category></category></item><item><title><![CDATA[GBase 中gcware 之 python 接口使用方式]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/122727605</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/122727605</guid><author>lbfk</author><pubDate>Fri, 28 Jan 2022 10:23:41 +0800</pubDate><description><![CDATA[现在集群最新版中，清除日志的参数变为正则表达式。
并提供三个接口：
clearddlfevent(regex) 仅清理 DDL 相关日志
cleardmlfevent(regex) 仅清理 DML 相关日志
clearfevent(regex) 清理 DML 和 DDL 相关日志
比如 gcadmin showdmlevent 得到：
event count: ...
event id: ...
tablename: test.t
.....
regex 取值方法：
如果想清理所有的日志，可以调用： cle]]></description><category></category></item><item><title><![CDATA[GBase 数据库用户的最大连接数限制]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/122192352</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/122192352</guid><author>lbfk</author><pubDate>Tue, 28 Dec 2021 14:17:52 +0800</pubDate><description><![CDATA[GBase集群默认的单个节点的最大连接数为10000，可以通过max_connections参数进行设

置（参数值范围1~655350）。
]]></description><category></category></item><item><title><![CDATA[GBase 如何批量清空某数据库中部分表的数据？]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/122192325</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/122192325</guid><author>lbfk</author><pubDate>Tue, 28 Dec 2021 14:17:01 +0800</pubDate><description><![CDATA[编写一个存储过程来实现：
dropprocedureifexiststruncate_tables;
delimiter//
CREATEPROCEDUREtruncate_tables(db_namevarchar(50))// 根据情况可以增加参数
BEGIN
DECLAREdoneINTDEFAULT0;
DECLAREtnamevarchar(50);
DECLAREcur1CURSORFORSELECTtable_namefromINFORMATION_SCHEMA.TABLESWHERE
tab]]></description><category></category></item><item><title><![CDATA[GBase 库中查询表的列信息]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/122192223</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/122192223</guid><author>lbfk</author><pubDate>Tue, 28 Dec 2021 14:14:05 +0800</pubDate><description><![CDATA[select
ORDINAL_POSITION,rtrim(COLUMN_NAME),rtrim(DATA_TYPE) from
information_schema.COLUMNS whereTABLE_SCHEMA=upper('asiainfo')andTABLE_NAME=upper('kpi_leader_all_36')orderbyORDINAL_POSITION

]]></description><category></category></item><item><title><![CDATA[GBase8a自身的系统表是如何存放和调用的]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/121035923</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/121035923</guid><author>lbfk</author><pubDate>Fri, 29 Oct 2021 15:32:01 +0800</pubDate><description><![CDATA[这里的系统表就是元数据表。 GBase8a 的系统表存储于 gbase 数据库中，除少数几个表外为
Express 引擎外，其它表都是 GsSYS 引擎。
GBase8a 的系统表中保存了表的定义、列的定义、存储过程和自定义函数的定义、用户及权
限的定义、系统事件的定义、相关日志信息等。
GBase8a 集群的系统表中除了保存上述相关信息外，还保存了各个数据库中各个表的类型
（复制表、分布表）信息。
GBase8a 中系统表的调用时机和原则与其它关系型数据库中的系统表完全相同

...]]></description><category></category></item><item><title><![CDATA[GBase8a子查询条件内推的优化机制的适用范围]]></title><link>https://blog.youkuaiyun.com/lbfk/article/details/121035888</link><guid>https://blog.youkuaiyun.com/lbfk/article/details/121035888</guid><author>lbfk</author><pubDate>Fri, 29 Oct 2021 15:30:58 +0800</pubDate><description><![CDATA[内层子查询没有 groupby 、 start_with ， connectby ，没有 limit.
内层子查询的 where 条件个根条件不能是 or 。
内层子查询如果是 union ， union 的每个 select 对应的投影列的别名必须相同，如果不相同，
只能内推第一个 select 、和第一个 select 投影列名称相同的 select

...]]></description><category></category></item></channel></rss>