<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[kai_ding的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/kai_ding</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; kai_ding]]></copyright><item><title><![CDATA[StarRocks 存算分离成本优化最佳实践]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/141634161</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/141634161</guid><author>kai_ding</author><pubDate>Wed, 28 Aug 2024 10:22:31 +0800</pubDate><description><![CDATA[除此之外，对于某些导入模型，例如 Routine Load，我们还可以降低 Job 的并发 Task 数量来降低对象存储的写入频率，我们可以观察 BE 日志中每个 Task 的单次 KafKa 消费数据量，如果发现量较小，那我们就可以降低 并发 Task 数量来降低对象存储写入次数。由于 StarRocks 使用了多版本存储机制，用户通过 show data 命令看到的表的大小与表实际在对象存储可能会有所差距，因此，我们建议用户应当特别关注在对象存储上实际占据的存储容量。]]></description><category></category></item><item><title><![CDATA[StarRocks 巧用 Storage Volume，强大又便捷]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/141633951</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/141633951</guid><author>kai_ding</author><pubDate>Wed, 28 Aug 2024 10:16:58 +0800</pubDate><description><![CDATA[我们可以为存算分离表每个表指定特定的 Storage Volume，可以在建表时通过属性设置，具体可参考文档 https://docs.starrocks.io/zh/docs/sql-reference/sql-statements/data-definition/CREATE_TABLE/。可以在单个集群内创建多个 Storage Volume（数量无限制），且为不同的表指定不同的 Storage Volume，这样不同的表数据可以存储在不同的地方，可带来更好的数据隔离性。]]></description><category></category></item><item><title><![CDATA[妙用 Batch，StarRocks 存算分离实时性能起飞]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/141597429</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/141597429</guid><author>kai_ding</author><pubDate>Tue, 27 Aug 2024 10:57:45 +0800</pubDate><description><![CDATA[当大家提到存算分离时，尤其是考虑后端使用 AWS S3 为代表的对象存储作为数据存储时，直觉就是性能拉胯，只能用作批量数据处理场景，至少这是我在跟很多用户交流时获得的第一感受。而 StarRocks 作为一个具备强实时性数据分析引擎，在引入了存算分离架构后，又能否能胜任实时场景呢，无数用户心理可能会打个问号。我们内部也考虑到了用户的心声，在新版本中引入了一键性能飞升能力，当然，多说无益，我们拿实际测试来说话。]]></description><category></category></item><item><title><![CDATA[垃圾去无踪，生活更轻松 - StarRocks 如何清理对象存储垃圾数据]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/141597216</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/141597216</guid><author>kai_ding</author><pubDate>Tue, 27 Aug 2024 10:51:52 +0800</pubDate><description><![CDATA[StarRocks 存算分离新架构使用采用数据多版本技术，每次导入会产生新的数据版本，用户通过对象存储观察到存储空间使用是所有历史版本的容量之和，而用户通过 show data 查看到的则是当前最新版本的数据容量，这两者之间可能存在一些差异，这属于正常现象。然后，用户可以根据解析出相应的 DB id、Table id、Partition id 等信息，然后在系统中查询该 Table、Partition 等是否存在，如果不存在，可以安全地删除对象存储上的数据（直接使用对象存储的命令行工具物理删除即可）。]]></description><category></category></item><item><title><![CDATA[StarRocks 存算分离数据回收原理]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/141389325</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/141389325</guid><author>kai_ding</author><pubDate>Wed, 21 Aug 2024 11:33:13 +0800</pubDate><description><![CDATA[StarRocks存算分离表中，垃圾回收是为了删除那些无用的历史版本数据，从而节约存储空间。考虑到对象存储按照存储容量收费，因此，节约存储空间对于降本增效尤为必要。用户手动执行了删除库、表、分区等命令，如执行了 drop table、drop database 以及 drop partition 等命令随着系统内 Compaction 任务不断进行，合并之前的数据文件可以被安全回收目前在 StarRocks 的存算分离表存储在对象存储上的文件类型包含如下几种：Segment 文件。]]></description><category></category></item><item><title><![CDATA[StarRocks 存算分离 Compaction 原理]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/141389025</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/141389025</guid><author>kai_ding</author><pubDate>Wed, 21 Aug 2024 11:24:43 +0800</pubDate><description><![CDATA[StarRocks 中每次数据摄入都会生成一个新的数据版本，而查询时需要将所有版本数据进行合并才能获得一个正确的结果，如果历史数据版本太多，那么查询时需要读取的文件数也会很多，造成查询效率低下。因而 StarRocks 存在内部任务定期将历史数据版本进行整合，消除重复数据记录，我们称之为 Compaction。Compaction 是为了将不同版本的数据文件进行整合，合并成大文件的动作，减少系统中小文件数量，进而提升查询效率。Compaction 调度由 FE 发起，BE执行。]]></description><category></category></item><item><title><![CDATA[借你慧眼，把 StarRocks Compaction 看得明明白白]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/141169259</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/141169259</guid><author>kai_ding</author><pubDate>Tue, 13 Aug 2024 17:22:11 +0800</pubDate><description><![CDATA[StarRocks 中 Compaction 是为了将不同版本的数据文件进行整合，合并成大文件的动作，减少系统中小文件数量，进而提升查询效率。随着导入任务的执行，系统内部也在不断地调度执行 Compaction 任务，这些任务会被发往计算节点 CN 执行，系统也提供了一系列命令可以查看当前 Compaction 任务执行情况。因为 Compaction 对于查询性能的影响至关重要，因此，我们建议用户时刻关注系统中表与分区的后台数据合并情况，在这里我们给用户提供几点最佳实践的建议和指导。]]></description><category></category></item><item><title><![CDATA[StarRocks 存算分离 Data Cache 二三事]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/141167656</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/141167656</guid><author>kai_ding</author><pubDate>Tue, 13 Aug 2024 16:37:36 +0800</pubDate><description><![CDATA[StarRocks 存算分离模式架构中，数据导入后，会被写入远端对象存储。而对象存储由于其访问延迟较高特性，如果没有任何优化，每次查询直接访问后端对象存储，那么性能就会变得非常差，也就失去了 StarRocks 的性能优势。一般而言，在存算分离架构下需要在计算节点上使用本地磁盘来缓存系统经常访问的热点数据，这样，当查询访问到这些数据时，直接访问本地磁盘中的缓存即可，可以提供与存算一体架构同等的查询性能。]]></description><category></category></item><item><title><![CDATA[指如疾风，势如闪电-StarRocks Fast Schema Evolution in V3.3.0]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/141026341</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/141026341</guid><author>kai_ding</author><pubDate>Thu, 08 Aug 2024 14:34:11 +0800</pubDate><description><![CDATA[使用 StarRocks 存算分离功能的同学可能之前常常被 DDL （常见的如增加列等）所困扰，主要在于 DDL 的执行时间过长并可能由此引发的一系列问题（如超时失败等），用户可能有时候不得不采用其他方式来替代（如按照新的 Schema 来重建表并重新导入数据）。

幸运的是，在 3.3.0 版本中即将推出的 Fast Schema Evolution 能力让这一困扰我们许久的问题彻底变为历史。]]></description><category></category></item><item><title><![CDATA[延迟降10倍，冷查不担心]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/140445117</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/140445117</guid><author>kai_ding</author><pubDate>Mon, 15 Jul 2024 17:47:32 +0800</pubDate><description><![CDATA[在数据海量增长的今天，自从 AWS S3 服务于 2009 年推出以后，对象存储凭借其 API 简单、成本低、高可靠性和可用性、海量扩展性等优势已经逐步成为海量数据存储的事实标准，各大云厂商以及私有化存储服务供应商也纷纷推出类似服务。随着 AWS S3 推出了15个年头，越来越多的服务开始基于对象存储来构建，由于构建在独立的存储之上，这些服务天然就是存储计算分离架构，节约成本的同时更带来了极致的弹性能力。]]></description><category></category></item><item><title><![CDATA[StarRocks 集群管理又添“猛将“ ，随配随用随时修改]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/140348126</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/140348126</guid><author>kai_ding</author><pubDate>Thu, 11 Jul 2024 11:53:43 +0800</pubDate><description><![CDATA[快速解决你在集群管理中遇到的问题！]]></description><category></category></item><item><title><![CDATA[StarRocks 存算分离成本优化最佳实践]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/139958416</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/139958416</guid><author>kai_ding</author><pubDate>Tue, 25 Jun 2024 14:35:53 +0800</pubDate><description><![CDATA[除此之外，对于某些导入模型，例如 Routine Load，我们还可以降低 Job 的并发 Task 数量来降低对象存储的写入频率，我们可以观察 BE 日志中每个 Task 的单次 KafKa 消费数据量，如果发现量较小，那我们就可以降低 并发 Task 数量来降低对象存储写入次数。由于 StarRocks 使用了多版本存储机制，用户通过 show data 命令看到的表的大小与表实际在对象存储可能会有所差距，因此，我们建议用户应当特别关注在对象存储上实际占据的存储容量。]]></description><category></category></item><item><title><![CDATA[单次遍历，带权随机选取问题（一）]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/41408107</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/41408107</guid><author>kai_ding</author><pubDate>Sun, 23 Nov 2014 10:00:50 +0800</pubDate><description><![CDATA[在单次遍历，等概率随机选取问题中已经剧透了今天的内容，那就是带权随机选取（Weighted
 Random Sample）问题。

问题描述：有一组数量未知的数据，每个元素有非负权重。要求只遍历一次，随机选取其中的一个元素，任何一个元素被选到的概率与其权重成正比。

设元素总数为n，当然在遍历结束前n是未知的。设第i（1 i（> 0），则权重总和为w=∑ni=1wi ，也是在遍历结束时才]]></description><category></category></item><item><title><![CDATA[golang: 详解interface和nil]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/41322473</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/41322473</guid><author>kai_ding</author><pubDate>Thu, 20 Nov 2014 21:57:02 +0800</pubDate><description><![CDATA[golang的nil在概念上和其它语言的null、None、nil、NULL一样，都指代零值或空值。nil是预先说明的标识符，也即通常意义上的关键字。在golang中，nil只能赋值给指针、channel、func、interface、map或slice类型的变量。如果未遵循这个规则，则会引发panic。对此官方有明确的说明：http://pkg.golang.org/pkg/builtin/#T]]></description><category></category></item><item><title><![CDATA[golang编译过程的一个奇怪问题]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/41204283</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/41204283</guid><author>kai_ding</author><pubDate>Mon, 17 Nov 2014 09:17:59 +0800</pubDate><description><![CDATA[在编译golang程序的时候，出现如下错误：
cannot create /go.o: No such file or directory
make: *** [build/mds] Error 2

错误原因
go build的时候会创建临时文件，猜测与临时目录相关的问题，查看了下源代码]]></description><category></category></item><item><title><![CDATA[nginx之hash]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/40594239</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/40594239</guid><author>kai_ding</author><pubDate>Wed, 29 Oct 2014 22:02:37 +0800</pubDate><description><![CDATA[nginx的hash]]></description><category></category></item><item><title><![CDATA[nginx虚拟主机实现原理]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/40479609</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/40479609</guid><author>kai_ding</author><pubDate>Sun, 26 Oct 2014 19:57:24 +0800</pubDate><description><![CDATA[nginx虚拟主机实现原理]]></description><category></category></item><item><title><![CDATA[对ngx_http_conf_ctx_t结构的思考]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/40351531</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/40351531</guid><author>kai_ding</author><pubDate>Tue, 21 Oct 2014 22:21:00 +0800</pubDate><description><![CDATA[前言
ngx_http_conf_ctx_t结构是]]></description><category></category></item><item><title><![CDATA[nginx配置解析原理(三)]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/40337621</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/40337621</guid><author>kai_ding</author><pubDate>Tue, 21 Oct 2014 05:47:51 +0800</pubDate><description><![CDATA[在前一篇文章(二)中我们说到：]]></description><category></category></item><item><title><![CDATA[nginx配置解析原理(二)]]></title><link>https://blog.youkuaiyun.com/kai_ding/article/details/40294585</link><guid>https://blog.youkuaiyun.com/kai_ding/article/details/40294585</guid><author>kai_ding</author><pubDate>Mon, 20 Oct 2014 06:52:47 +0800</pubDate><description><![CDATA[前面的nginx配置原理解析(一)我们重点chansh]]></description><category></category></item></channel></rss>