<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[yuan_more的博客]]></title><description><![CDATA[专注于数据领域研究]]></description><link>https://blog.youkuaiyun.com/helloHbulie</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; helloHbulie]]></copyright><item><title><![CDATA[Flink+Kafka存在诸多限制，下一代实时存储组件来解决！]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/147364134</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/147364134</guid><author>helloHbulie</author><pubDate>Sun, 20 Apr 2025 12:46:57 +0800</pubDate><description><![CDATA[当前业界呈现出一个显著的趋势，即大数据的处理正在从离线模式转向实时化。我们可以观察到，多个行业和应用场景都在进行实时化的演进。例如，互联网、车联网和金融等领域都正通过挖掘实时数据来提升业务价值。文章首发于公众号【五分钟学大数据】，在公众号后台发送：大数据面试，送你一份最牛X的大数据面试题在技术方面，大数据计算架构经历了显著的演变。从最初的 Hive 传统数据仓库，到引入 Lakehouse 湖仓架构，再到目前国内流行的 Paimon 流式湖仓架构，这些演进的核心驱动力在于提升业务的时效性。从传统的 T+1 ]]></description><category></category></item><item><title><![CDATA[阿里数据仓库-数据模型建设方法总结（全）]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/147364111</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/147364111</guid><author>helloHbulie</author><pubDate>Sun, 20 Apr 2025 12:44:32 +0800</pubDate><description><![CDATA[核心：从业务架构设计（如何快速上手工作）到模型设计，从数据研发到数据服务，做到数据可管理、可追溯、可规避重复建设。2.1.1 定位及价值建设统一的、规范化的数据接入层（ ODS ）和数据中间层（ DWD 和 DWS ），通过数据服务和数据产品，完成服务于阿里巴巴的大数据系统建设，即数据公共层建设。业务板块：根据业务属性划分板块，板块之间的指标或业务重叠性较小。规范定义：一套数据规范命名体系，用在模型设计中模型设计：以维度建模理论为基础，基于维度建模总线架构，构建一致性的维度和事实(进行规范定义)]]></description><category></category></item><item><title><![CDATA[解决大数据处理的资源浪费，实现 90% 成本降低]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/147364097</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/147364097</guid><author>helloHbulie</author><pubDate>Sun, 20 Apr 2025 12:42:15 +0800</pubDate><description><![CDATA[本⽂展示了如何将 Spark 作业与 Karpenter 相结合，通过动态调度阿里⾥云 Spot 实例，实现超过 90%的显著成本节省。我们详细探讨了从集群搭建、Spark Operator 部署、Karpenter 配置，到 Spark 作业弹性伸缩及成本优化的全过程。通过具体的部署步骤和配置示例，展⽰了在 Kubernetes 环境中如何最⼤化利用 Karpenter 的弹性扩 缩容能力，优化资源使⽤，并有效降低计算成本。这为重度使⽤ Spark 的企业提供了⼀种高效、经济的云计算解决⽅。]]></description><category></category></item><item><title><![CDATA[几道Spark面试必问题-附答案解析]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/144649686</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/144649686</guid><author>helloHbulie</author><pubDate>Mon, 23 Dec 2024 21:53:04 +0800</pubDate><description><![CDATA[broadcast。]]></description><category></category></item><item><title><![CDATA[数仓面试中3个常考的SQL数据分析题]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/144643741</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/144643741</guid><author>helloHbulie</author><pubDate>Sun, 22 Dec 2024 11:19:08 +0800</pubDate><description><![CDATA[经过内层的处理后，只需在外层筛选出next_login_time与login_time字段的日期差小于5天的数据，即最终统计的目标数据，这里使用了TIMESTAMPDIFF(DAY, login_time, next_login_time)计算日期差，最后分组聚合统计不同user_id的记录个数，即每个用户登录日期间隔小于5天的次数。而想要展示更全的信息，则考虑使用最全的信息（所有日期和3个渠道的笛卡尔积）与刚查询出的结果数据表进行LEFT JOIN连接，即可得到两张表根据日期和渠道进行连接的结果。]]></description><category></category></item><item><title><![CDATA[美团外卖实时数仓建设实践]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/144643413</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/144643413</guid><author>helloHbulie</author><pubDate>Sun, 22 Dec 2024 11:15:31 +0800</pubDate><description><![CDATA[文章首发于公众号【五分钟学大数据】，在公众号后台发送：面试，即可获取最新的大数据面试题

一、实时技术及架构

1. 实时计算技术选型

目前，市面上已经开源的实时技术还是很多的，比较通用的有Spark Streaming、Flink等，技术同学在做选型时要根据公司的具体业务来进行部署。

美团外卖依托于美团整体的基础数据体系建设，从技术成熟度来讲，公司前几年主要用的是Storm。当时的Storm，在性能稳定性、可靠性以及扩展性上也是无可替代的。但随着Flink越来越成熟，从技术性能上以及框架设计优势上已经]]></description><category></category></item><item><title><![CDATA[数据仓库之数据质量建设]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/144490502</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/144490502</guid><author>helloHbulie</author><pubDate>Sun, 15 Dec 2024 18:45:28 +0800</pubDate><description><![CDATA[根据当数据质量不满足完整性、规范性、一致性、准确性、唯一性、及时性时，对业务的影响程度大小来划分数据的资产等级。毁灭性：数据一旦出错，会引起巨大的资产损失，面临重大收益受损等。标记为 L1全局性：数据用于集团业务、企业级效果评估和重要决策任务等。标记为 L2局部性：数据用于某个业务线的日常运营、分析报告等，如果出现问题会给该业务线造成一定的影响或影响其工作效率。标记为 L3一般性：数据用于日常数据分析，出现问题的带来的影响很小。标记为 L4未知性质：无法追溯数据的应用场景。标记为 Lx。]]></description><category></category></item><item><title><![CDATA[最容易出错的 HiveSQL 详解]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/144490473</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/144490473</guid><author>helloHbulie</author><pubDate>Sun, 15 Dec 2024 18:43:55 +0800</pubDate><description><![CDATA[在进行数仓搭建和数据分析时最常用的就是 sql，其语法简洁明了，易于理解，目前大数据领域的几大主流框架全部都支持sql语法，包括 hive，spark，flink等，所以sql在大数据领域有着不可替代的作用，需要我们重点掌握。在使用sql时如果不熟悉或不仔细，那么在进行查询分析时极容易出错，接下来我们就来看下几个容易出错的sql语句及使用注意事项。]]></description><category></category></item><item><title><![CDATA[数仓之路：数仓中的问题与解决方案]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/143578781</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/143578781</guid><author>helloHbulie</author><pubDate>Wed, 06 Nov 2024 20:11:04 +0800</pubDate><description><![CDATA[小A进入一家网约车出现服务公司，负责公司数仓建设，试用期主要一项 OKR是制定数据仓库建设规划；因此小 A 本着从问题出发为原点，先对公司数仓现状进行一轮深入了解，理清存在问题，然后在以不忘初心原则提出解决问题方案。相信很多数据建设者在公司发展某个阶段时都会遇到类似小 A 公司问题，也在思考或已经在执行落地解决这些问题方案，希望通过小 A 案例可以给大家一些启发。下面先看看小 A 公司数仓现状与问题01小 A 公司创建时间比较短，才刚过完两周岁生日没多久；]]></description><category></category></item><item><title><![CDATA[Spark底层执行原理详细解析]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/143578676</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/143578676</guid><author>helloHbulie</author><pubDate>Wed, 06 Nov 2024 20:09:16 +0800</pubDate><description><![CDATA[Apache Spark是用于大规模数据处理的统一分析引擎，基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上，形成集群。Spark源码从1.x的40w行发展到现在的超过100w行，有1400多位大牛贡献了代码。整个Spark框架源码是一个巨大的工程。下面我们一起来看下spark的底层执行原理。]]></description><category></category></item><item><title><![CDATA[详解大厂实时数仓建设]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/142889005</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/142889005</guid><author>helloHbulie</author><pubDate>Sat, 12 Oct 2024 22:24:14 +0800</pubDate><description><![CDATA[1. 近实时的数据接入前面介绍了 Iceberg 既支持读写分离，又支持并发读、增量读、小文件合并，还可以支持秒级到分钟级的延迟，基于这些优势我们尝试采用 Iceberg 这些功能来构建基于 Flink 的实时全链路批流一体化的实时数仓架构。如下图所示，Iceberg 每次的 commit 操作，都是对数据的可见性的改变，比如说让数据从不可见变成可见，在这个过程中，就可以实现近实时的数据记录。2. 实时数仓 - 数据湖分析系统。]]></description><category></category></item><item><title><![CDATA[大数据之数据治理体系全面指南]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/142888893</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/142888893</guid><author>helloHbulie</author><pubDate>Sat, 12 Oct 2024 22:22:23 +0800</pubDate><description><![CDATA[数据治理是企业数据建设必不可少的一个环节。好的数据治理体系可以盘活整条数据链路，最大化保障企业数据的采集存储计算和使用过程的可控和可追溯。如何构建企业数据治理体系？企业数据治理过程需要注意哪些问题？总体而言，不能一口一个胖子，路要一步一步地走。下面我将结合企业级数据治理经验，详细介绍从0到1搭建数据治理体系全流程，帮你梳理数据治理的主要内容以及过程中会遇到的哪些坑。]]></description><category></category></item><item><title><![CDATA[数仓中指标-标签，维度-度量，自然键-代理键等常见的概念术语解析]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/142832715</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/142832715</guid><author>helloHbulie</author><pubDate>Thu, 10 Oct 2024 21:26:15 +0800</pubDate><description><![CDATA[比如最近七天的订单量，一个促销活动的购买转化率等。一个指标具体到计算实施，主要有以下几部分组成：指标加工逻辑，比如count ,sum, avg维度，比如按部门、地域进行指标统计，对应sql中的group by业务限定/修饰词，比如以不同的支付渠道来算对应的指标，微信支付的订单退款率，支付宝支付的订单退款率。对应sql中的where。]]></description><category></category></item><item><title><![CDATA[Flink知识体系保姆级总结]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/142831965</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/142831965</guid><author>helloHbulie</author><pubDate>Thu, 10 Oct 2024 20:50:26 +0800</pubDate><description><![CDATA[这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。在国外一些社区，有很多人将大数据的计算引擎分成了 4 代，当然，也有很多人不会认同。我们先姑且这么认为和讨论。]]></description><category></category></item><item><title><![CDATA[数据仓库：详解维度建模之事实表]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/142831935</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/142831935</guid><author>helloHbulie</author><pubDate>Thu, 10 Oct 2024 20:48:38 +0800</pubDate><description><![CDATA[每个数据仓库都包含一个或者多个事实数据表。其中可能包含业务销售数据，如现金登记事务所产生的数据，通常包含大量的行。事实数据表的主要特点是包含数字数据（事实），并且这些数字信息可以汇总，以提供有关单位作为历史的数据，每个事实数据表包含一个由多个部分组成的索引，该索引包含作为外键的相关性维度表的主键，而维度表包含事实记录的特性。]]></description><category></category></item><item><title><![CDATA[数据开发流程规范及数据监控]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/142770837</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/142770837</guid><author>helloHbulie</author><pubDate>Tue, 08 Oct 2024 22:18:52 +0800</pubDate><description><![CDATA[在做实时数据开发过程中，由于对接了不同的业务方，起了多个实时任务的程序，而数据的监控在运维那边，但运维同学只有针对整个集群的监控，对单个作业的监控还没建立起来，所以会初选一些实时任务在集群上runing的状态，但是对Kafka的消费却丢失，而Kafka目前只保留7天的数据，一旦数据丢失，需要通过离线任务去校验，会非常的耗时。所以在这个背景上，单独做了针对自己输出的业务报表数据的监控，每天输出一些数据产生异常的表，并钉钉告警，方便快速处理。]]></description><category></category></item><item><title><![CDATA[超全面数仓建设规范指南]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/142770756</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/142770756</guid><author>helloHbulie</author><pubDate>Tue, 08 Oct 2024 22:16:12 +0800</pubDate><description><![CDATA[同时，为了提高数据明细层的易用性，]]></description><category></category></item><item><title><![CDATA[一文读懂Hive底层数据存储格式]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/142747032</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/142747032</guid><author>helloHbulie</author><pubDate>Mon, 07 Oct 2024 21:38:53 +0800</pubDate><description><![CDATA[因为它们以其高效的数据存储和数据处理性能得以在实际的生产环境中大量运用。]]></description><category></category></item><item><title><![CDATA[如何避免数仓模型“烟囱式”建设]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/142746978</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/142746978</guid><author>helloHbulie</author><pubDate>Mon, 07 Oct 2024 21:36:56 +0800</pubDate><description><![CDATA[ODS层表的数据必须和数据源的表结构、表记录数⼀致，⾼度⽆损，对于ODS层表的命名采⽤ODS_业务系统数据库名_业务系统数据库表名⽅式，⽐如ods_warehous_stock，warehous是业务系统数据库名，stock是该库下⾯的表名。其次，要看表的命名。数据中台的构建往往需要花费半年甚⾄⼀年以上的时间，但是数据中台建成后，对研发效率的提升效果⾮常明显，在⽹易电商业务中，中台构建后相⽐构建前，数据需求的平均交付时间从⼀周缩短到3天内，需求响应速度的提升，为企业运营效果提升提供了数据⽀撑。]]></description><category></category></item><item><title><![CDATA[SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比]]></title><link>https://blog.youkuaiyun.com/helloHbulie/article/details/142713009</link><guid>https://blog.youkuaiyun.com/helloHbulie/article/details/142713009</guid><author>helloHbulie</author><pubDate>Sat, 05 Oct 2024 12:08:50 +0800</pubDate><description><![CDATA[Apache SeaTunnel 是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产，也是首个由国人主导贡献到 Apache 基金会的数据集成顶级项目。SeaTunnel 主要解决数据集成领域的常见问题：数据源多样：常用的数据源有数百种，版本不兼容。随着新技术的出现，出现了更多的数据源。用户很难找到能够全面快速支持这些数据源的工具。复杂同步场景。]]></description><category></category></item></channel></rss>