<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[数据源的港湾]]></title><description><![CDATA[要么健身，要么读书，身体和灵魂，必须有一个在路上]]></description><link>https://blog.youkuaiyun.com/Post_Yuan</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Post_Yuan]]></copyright><item><title><![CDATA[（论文阅读）TiDB：一款基于Raft的HTAP数据库]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/134468594</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/134468594</guid><author>Post_Yuan</author><pubDate>Fri, 17 Nov 2023 18:28:09 +0800</pubDate><description><![CDATA[关系数据库管理系统(RDBMS)因其关系模型、强大的事务保证和SQL接口而流行。它们在传统应用程序(如业务系统)中被广泛采用。但是，老的RDBMS不提供可伸缩性和高可用性。因此，在21世纪初，互联网应用程序更喜欢NoSQL系统，如谷歌Bigtable和DynamoDB。NoSQL系统放宽了一致性要求，并提供了高可伸缩性和可替代的数据模型，如键值对、图和文档。然而，许多应用程序还需要强大的事务、数据一致性和SQL接口，因此出现了NewSQL系统。]]></description><category></category></item><item><title><![CDATA[Oracle ADG的基本概念]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/134290013</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/134290013</guid><author>Post_Yuan</author><pubDate>Wed, 08 Nov 2023 16:39:39 +0800</pubDate><description><![CDATA[备库与主库相比，可能暂时落后，但当它再次变为可用时，备用数据库将自动同步，而不会丢失数据。由于同步重做传输，这种模式可潜在地影响响应时间和吞吐量。可以通过配置一个低延迟网络，并为它分配足够应用高峰事务负载的带宽来将这种影响减到最小。最大可用模式适用于想要在生产站点上出现严重中断时确保获得零数据丢失保护，但不想让生产数据库受网络/备用服务器故障影响的企业。为防止备库发生网络故障，最好设置reopen参数，即使出现网络故障，也不会引发主库挂起，这时主库将从最大可用模式切换到最大性能模式。]]></description><category></category></item><item><title><![CDATA[Oracle RAC是啥？]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/134260752</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/134260752</guid><author>Post_Yuan</author><pubDate>Tue, 07 Nov 2023 16:23:36 +0800</pubDate><description><![CDATA[RAC是一个具有共享缓存体系结构的集群数据库，它克服了传统的不共享和共享磁盘方法的限制，为所有业务应用程序提供了一种可伸缩性和可用性的数据库解决方案，一般与Oracle Clusterware或第三方集群软件共同组成Oracle集群系统。裸设备（Raw devices） - 不经过文件系统，数据直接写入磁盘，好处是磁盘I/O性能很高，适合写操作频繁的业务系统。缺点是数据维护和备份不方便，备份只能通过dd命令或基于块级别的备份设备来完成，增加了维护成本。]]></description><category></category></item><item><title><![CDATA[哈希索引（PostgreSQL 14 Internals翻译版）]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/133990197</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/133990197</guid><author>Post_Yuan</author><pubDate>Mon, 23 Oct 2023 16:16:45 +0800</pubDate><description><![CDATA[在这个特殊的例子中，我们取两个最低的位，得到0到3的值;通过绝对统一的数据分布和没有散列冲突，您可以使用更高的填充因子值，但在实际数据库中，它会增加页面溢出的风险。由于哈希函数将返回一个相同的值，因此所有数据将被放置到相同的桶中，并且增加桶的数量不会有帮助。为了在一定程度上平衡这种增长并避免一次分配过多的页面，从第10次增加开始，将页面分配为四个相等的批次，而不是一次分配所有的页面。综合所有页面的统计数据，桶0是空的，而所有的值都被放到了桶1中:其中一些位于主页面，不适合的可以在溢出页中找到。]]></description><category></category></item><item><title><![CDATA[理解Hash表]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/133983383</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/133983383</guid><author>Post_Yuan</author><pubDate>Mon, 23 Oct 2023 10:35:35 +0800</pubDate><description><![CDATA[有效管理数据的技术是计算机科学的传统热点。除了存储数据之外，从存储中高效地恢复数据是另一个相关问题。即使使用最好的算法处理某些特定的数据，如果没有优化数据管理，我们的性能也会很差。因此，恢复和向算法提供数据以及保存其输出成为性能瓶颈。随着时间的推移，已经提出了几种保存和管理数据的技术。例如数组、链表、树和图。这些数据结构非常适合多种用途。但是，查找和恢复存储在它们中的数据的时间复杂度通常高于另一种数据结构:哈希表。因此，本教程将探讨与散列表有关的最相关的概念。首先，我们将简要回顾一下哈希。]]></description><category></category></item><item><title><![CDATA[Merge Joins（PostgreSQL 14 Internals翻译版）]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/133981525</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/133981525</guid><author>Post_Yuan</author><pubDate>Mon, 23 Oct 2023 09:41:34 +0800</pubDate><description><![CDATA[合并连接处理的数据集，并返回以类似方式排序的结果。输入集可以在索引扫描后预先排序;否则，执行者必须在实际合并开始之前对它们进行排序。]]></description><category></category></item><item><title><![CDATA[B-tree（PostgreSQL 14 Internals翻译版）]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/133967874</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/133967874</guid><author>Post_Yuan</author><pubDate>Sun, 22 Oct 2023 00:03:32 +0800</pubDate><description><![CDATA[在这种情况下，节点被分成两个，旧节点的一些元素被移动到新节点中，指向新子节点的指针被添加到父节点中。此外，可能有太多的副本，以至于它们不适合单个节点，因此相邻的叶节点也必须处理。如果搜索是通过条件“索引-列 ⩽expression”(或“索引-列⩾expression”)执行的，我们必须首先搜索满足相等条件的值的索引，然后在所需的方向遍历其叶节点，直到到达树的末端。您可以注意到，树的内部节点中最左边的键是冗余的:要选择根的子节点，只要满足条件KJA < OVB就足够了。生成的新节点在下面的图中突出显示。]]></description><category></category></item><item><title><![CDATA[WAL 模式（PostgreSQL 14 Internals翻译版）]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/133948008</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/133948008</guid><author>Post_Yuan</author><pubDate>Fri, 20 Oct 2023 18:18:11 +0800</pubDate><description><![CDATA[因此，在最坏的情况下，walwriter需要运行三次才能到达特定的WAL条目:首先，它将写入位于缓存末尾的所有完整页面，然后它将返回到开头，最后，它将处理包含条目的未填充页面。由于这种类型的加载与典型的数据文件访问非常不同，因此有必要为WAL文件设置一个单独的物理存储，并用一个指向已挂载文件系统中的目录的符号链接替换PGDATA/pg_wal编录。当然，每个特定系统都有自己的数据，具体取决于当前负载，但很明显，对短OLTP事务的影响是非常明显的。从暂停中唤醒，进程检查缓存中是否有新的完全填满的WAL页面。]]></description><category></category></item><item><title><![CDATA[Write-Ahead Log（PostgreSQL 14 Internals翻译版）]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/133907977</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/133907977</guid><author>Post_Yuan</author><pubDate>Wed, 18 Oct 2023 18:46:39 +0800</pubDate><description><![CDATA[由于检查点在启动时不记录任何日志，因此该LSN可以属于任何类型的WAL条目。]]></description><category></category></item><item><title><![CDATA[Hash Join（PostgreSQL 14 Internals翻译版）]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/133897984</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/133897984</guid><author>Post_Yuan</author><pubDate>Wed, 18 Oct 2023 12:14:48 +0800</pubDate><description><![CDATA[因此，如果外部集的mcv上有常规的非多元统计信息(即，外部集由表表示，连接由单列执行)，则具有与mcv对应的哈希码的行被认为是第一批的一部分。例如，如果键列在其所有行中包含一个相同的值，则它们将被放入同一个批处理中，因为散列函数将一次又一次地返回相同的值。两遍连接的启动成本是基于单遍连接的启动成本，这是由于写入尽可能多的页面以存储内部集所有行的所有必要字段的估计成本而增加的。每个批处理实际上被分成两个新的批处理:大约一半的行(假设分布是均匀的)留在哈希表中，而另一半保存到一个新的临时文件中。]]></description><category></category></item><item><title><![CDATA[Nested loop（PostgreSQL 14 Internals翻译版）]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/133881545</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/133881545</guid><author>Post_Yuan</author><pubDate>Tue, 17 Oct 2023 16:48:09 +0800</pubDate><description><![CDATA[这里，Nested Loop节点遍历外层集合(tickets)的行，并对每一行搜索内部集合(ticket_flights)的对应行，将机票号(t.t ticket_no)作为参数传递给条件。可以更准确地估计列表中出现的行的选择性，只有剩下的行必须依赖基于均匀分布的计算。如果对Memoize节点的调用显示传递的参数值与已经缓存的行对应，则这些行将被传递到父节点(Nested Loop)，而不检查子节点。由于连接的表是通过外键连接的，因此选择性估计依赖于子表的每一行在父表中恰好有一个匹配行的事实。]]></description><category></category></item><item><title><![CDATA[hash join的基本原理是怎样的？]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/133875672</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/133875672</guid><author>Post_Yuan</author><pubDate>Tue, 17 Oct 2023 09:24:08 +0800</pubDate><description><![CDATA[我们知道数据库里面两表关联主要有三种常见的关联方式，即nested loop join在OLTP交易场景占比是最多的，常用于关联字段为主键或索引字段的情况，通过主键或索引以及loop的方式，A表可以快速查找到匹配的B表中的数据。merge join又称为sort merge，可想而知，如果被关联的两个数据集正好是有序的，那么采用这种方式是最高效的。hash join则是把一个表（通常为小表）放在hash内存中，进行匹配关联。虽然知道这点简单的理解，不过当别人问起来hash join具体怎么实现的时候，发现并]]></description><category></category></item><item><title><![CDATA[key value存储到底有什么优势？]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/133813878</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/133813878</guid><author>Post_Yuan</author><pubDate>Fri, 13 Oct 2023 17:19:51 +0800</pubDate><description><![CDATA[如果我们设计为一张二维表格，那么如果这里的指标非常多，这张二维表格就会变得很宽，同时里面的数据会有很多的NULL值，这样会浪费大量的空间，因为存储时需要将没有数据的内容置为NULL（置为NULL也是需要消耗存储空间的）。由于这个二维矩阵是固定的表格的形式，这意味着表格里面的每个值都需要给定一个内容，如果这个值没有，就需要赋值NULL。如果我们业务模型是一个类似工业时序场景，数据并不是那种固定的二维表格形式，而是像下面这种方式入库，那么我们的表结构应该怎么设计呢？后来仔细想想，回答的完全偏了。]]></description><category></category></item><item><title><![CDATA[PostgreSQL的MVCC对比Oracle的MVCC有什么优劣势？]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/133806081</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/133806081</guid><author>Post_Yuan</author><pubDate>Fri, 13 Oct 2023 12:09:58 +0800</pubDate><description><![CDATA[Oracle在修改数据前会把数据的旧值先写到undo表空间中以实现MVCC，而PG中的更新操作会被转换为delete+insert操作，然而这个delete并不是真正的把数据立刻删除掉，而是通过修改记录中的隐藏列来标记此行被删除，并在之后的某个时间通过后台任务来进行无效数据的清理。怎么理解呢，其实这些是相对Oracle的MVCC来说的，正如前面说的，Oracle的MVCC实现是把修改前数据存放在独立的undo表空间中，那么它就存在几个不足之处。当然了，PG的MVCC机制有好处，但它也是有坏处的。]]></description><category></category></item><item><title><![CDATA[关于GP7 release版在麒麟V10信创操作系统编译不过的问题解决]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/133760479</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/133760479</guid><author>Post_Yuan</author><pubDate>Wed, 11 Oct 2023 09:26:13 +0800</pubDate><description><![CDATA[如上面同学所示，可能是代码习惯不好，漏掉了参数的初始化，从而导致编译报错。为了帮助社区的同学一起看一下如何处理这个问题，于是请相关研发同学找了一个麒麟V10的环境尝试了一下，果不其然，遇到了相同的报错，报错内容完全一样。根据这位同学的说法，主要问题出在rand_heap_pages这个变量的地方，原话说的是“把这个变量的定义地方，初始化一下就行”很多同学已经忍不住想快速试用GP 7新版本了，同时，为了满足信创要求，需要在国产的操作系统服务器上运行GP。接着，我们再尝试重新编译，编译成功！]]></description><category></category></item><item><title><![CDATA[Greenplum 对比 Hadoop]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/133342282</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/133342282</guid><author>Post_Yuan</author><pubDate>Wed, 27 Sep 2023 11:31:27 +0800</pubDate><description><![CDATA[基于上述不同，体现在效率、功能等特性方面也大不相同。]]></description><category></category></item><item><title><![CDATA[关于Greenplum为什么基于PostgreSQL而不是MySQL？]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/133338711</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/133338711</guid><author>Post_Yuan</author><pubDate>Wed, 27 Sep 2023 09:12:21 +0800</pubDate><description><![CDATA[特别是在关联时对于三大JOIN技术：hash join、merge join、nestloop join的支持，MySQL只支持最后一种nestloop join（未来会支持hash join），而多个大表关联分析时hash join是必备的利器，缺少这些关联功能非常致命，难以在OLAP领域充当大任。PG中contrib目录下的各个第三方模块，在GP中的postgis空间数据库、R、MADLIB、pycrypto各类加密算法、gptext全文检索都是通过这种方式实现扩展的。的，没有被大公司控制，]]></description><category></category></item><item><title><![CDATA[Greenplum - 优化SQL语句]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/133275639</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/133275639</guid><author>Post_Yuan</author><pubDate>Mon, 25 Sep 2023 16:27:35 +0800</pubDate><description><![CDATA[注：本文翻译自官网Greenplum数据库基于成本的优化器评估用于运行查询的许多策略，并选择成本最低的方法。与其他RDBMS优化器一样，在计算备选执行计划的成本时，Greenplum优化器会考虑要连接的表中的行数、索引的可用性和列数据的基数等因素。优化器还考虑数据的位置，它倾向于在段上执行尽可能多的工作，并尽量减少为完成查询而必须在段之间传输的数据量。当查询的运行速度低于预期时，您可以查看优化器选择的计划以及它为计划的每个步骤计算的成本。]]></description><category></category></item><item><title><![CDATA[YMatrix 5 社区版本安装介绍]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/133091451</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/133091451</guid><author>Post_Yuan</author><pubDate>Wed, 20 Sep 2023 18:22:43 +0800</pubDate><description><![CDATA[本文描述YMatrix 5.1版本的安装过程，由于使用的操作系统为CentOS 7，具体步骤参考官网。]]></description><category></category></item><item><title><![CDATA[Greenplum实用工具-gpfdist]]></title><link>https://blog.youkuaiyun.com/Post_Yuan/article/details/133013923</link><guid>https://blog.youkuaiyun.com/Post_Yuan/article/details/133013923</guid><author>Post_Yuan</author><pubDate>Tue, 19 Sep 2023 09:40:26 +0800</pubDate><description><![CDATA[注：本文翻译自向Greenplum数据库段提供数据文件或从数据库段写入数据文件。]]></description><category></category></item></channel></rss>