Kylin精准去重实现原理

最新推荐文章于 2023-04-06 19:51:20 发布
最新推荐文章于 2023-04-06 19:51:20 发布
阅读量686 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Kylin 文章标签： kylin
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lemonZhaoTao/article/details/113482019

年前数据团队内部做的一场关于Kylin精准去重实现原理的分享；结合实现原理&最近1年的生产实践，把PPT在博客上分享一下

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

大规模网页去重系统的简单设计和实现
Keep Thinking And Learning
08-26 1918
网页去重算法应用到了很多领域，例如：spam,推荐系统等，目前工作中需要用到网页的去重算法，量级大概是每天60W左右，但是由于是线上的系统，对系统能快速查找重复文章的性能要求较高，这里简单记下我们的思路和方法。 算法调研：其实网页去重算法本质上都是提取网页的特征集合，然后根据这些特征来计算网页的相似度，我们主要调研了以下两种方法： 1.yahoo的shingle算法：来源于yahoo的一篇论文
精确去重和Roaring BitMap
Copperfield的技术成长专栏
07-11 4246
Roaring BitMap的简单分析 BitMap概述 互联网行业求UV的精确去重算法主要通过BitMap实现，它本质上是定义了一个很大的 bit 数组，每个元素对应到 bit 数组的其中一位 对于基础的Bitmap来说，一个Integer是32-bit, 一共有Integer.MAX_VALUE=2 ^ 32个值，这就需要2 ^ 32长度的bit数组 通过计算可以发现(2 ^ 32 / 8...
access 去重_Kylin 精确去重在用户行为分析中的妙用
weixin_39928003的博客
11-24 246
作者：史少锋，Apache Kylin committer & PMC，2019/10/11在上次文章《如何在 1 秒内做到大数据精准去重》中，我们介绍了 Apache Kylin 为什么要支持大数据集上的精确去重，以及基于 Bitmap 的精确去重原理等。看到今天的文章标题，你肯定要问，精确去重跟用户行为分析又能有什么关系呢？原来啊，Kylin 采用 Bitmap 完整记录了每个维度组合...
用 Apache Kylin 做精准留存分析，对刷量 say『 No』！
Kyligence
07-11 631
互联网人口红利逐渐消失，越来越多的运营、市场、产品同学聚焦用户留存/转化。经常有小伙伴在 Kylin 用户群里问「Kylin 可以做留存分析吗」「Kylin 可不可以做用户增长漏斗分析呀」答案当然是「Yes！」 今天为大家带来“征文赢首届 Kylin Data Summit 门票”活动的第 3 篇投稿文章，来自某互联网金融公司的杨卫将为大家分享如何使用 Kylin 进行渠道精准留存分析。 ...
Apache Kylin 精确去重和全局字典权威指南
SmartSi
03-07 438
Kylin官方现在关于精确去重的blog Use Count Distinct in Apache Kylin是基于Kylin 1.5.3的，其中的使用方式和优化方法已经过时，本文将基于Kylin 2.3.0 介绍精确去重和全局字典的用法，调优，FAQ和核心原理。
Apache Kylin 精确去重指标优化历程
大数据训练营
08-27 8267
问题背景 优化1 将精确去重指标拆分HBase列族 优化2 移除不必要的toString避免bitmap deserialize 优化3 获取bitmap的字节长度时避免deserialize 优化4 无需上卷聚合的精确去重查询优化 总结 反思 相关Kylin JIRA 本文记录了我将Apache Kylin超高基数的精确去重指标查询提速数十倍的过程，大家有任何建议或者疑问欢迎讨论。...
MOLAP——Kylin总结
cjl的博客
12-01 3992
Kylin总结1. OLAP分类1.1 MOLAP1.2 ROLAP1.3 HOLA2. 概述2.1 定义2.2 Kylin架构2.3 工作原理和过程2.4 特点2.4 和Druid 比较3. Cube 构建原理3.1 维度和度量3.2 Cube 和 Cuboid3.3 Cube 存储原理3.4 Cube构建方法3.4.1 逐层构建算法 layer3.4.2 快速构建算法(inmem)4. Cube构建优化4.1 检查问题Cube4.2 并发粒度优化4.3 使用聚合组(Aggregation group)
flink：RoaringBitmap在亿级用户实时UV精确去重中应用
ice-wee的专栏
07-04 2568
RoaringBitmap 是压缩位图，其性能往往优于传统的压缩位图，例如 WAH、EWAH 或 Concise。某些情况下可以快数百倍，甚至可以比未压缩的位图更快。RoaringBitmap 常用于去重、标签筛选、时间序列等计算中。
Kylin的数据加载与同步技术
介绍Kylin数据加载与同步技术 1.1 什么是Kylin数据加载与同步技术 1.2 Kylin数据加载与同步技术的背景和意义 1.3 Kylin数据加载与同步技术的应用场景 ## 1.1 什么是Kylin数据加载与同步技术 Kylin数据加载与...
基于大数据的用户标签体系建设思路和实践
GitChat
12-20 4483
在大数据时代，数据在呈现出海量化、多样化和价值化变化的同时，也改变了传统IT行业的市场竞争环境、营销策略和服务模式。如何在ZB级的海量数据中获取并筛选有价值的信息，是对IT企业的一大挑战，通过构建客户标签，支撑精准营销服务，是应对上述挑战的有效解决方案，但是怎么设计一个完善的用户标签体系？怎么打标签？打哪些标签？谁来打？怎么使用用户标签创建商业价值？这些都是产品设计层面需要解决的问题。 在本场 C...
美团Apache Kylin精确去重指标优化历程
weixin_34038652的博客
08-01 276
康凯森，美团点评大数据工程师，Apache Kylin commiter，目前主要负责Apache Kylin在美团点评的平台化建设。 问题背景 本文记录了我将Apache Kylin超高基数的精确去重指标查询提速数十倍的过程，大家有任何建议或者疑问欢迎讨论。 某业务方的cube有12个维度，35个指标，其中13个是精确去重指标，并且有一半以上的精确去...
distinct去重多个字段_kylin精确去重
weixin_39520149的博客
11-29 439
使用kylin的是经常会遇到需要 count(distinct ) 这种聚合方式，这时候就需要精确去重实现精确去重的方法：使用bitmap格式存储，因为需要保留明细，而计算机存储的最小单位是bit, 所以我们使用bitmap格式存储bitmap格式对应的是int值，这时候就遇到一个问题，string类型映射到int值的问题所以就需要全局字典：global dictionary 参数全局字典特性：1...
去重方法-精确去重(Kylin的去重)
迷雾总会解
04-06 952
在 OLAP 数据分析领域，去重计数（count distinct）是非常常见的需求(这可以作为一个度量)，根据去重结果的要求分为近似去重和精确去重（在Kylin中，可以自行选择）。
Apache Kylin的COUNT_DISTINCT精确去重实战
DataFlow范式
10-23 7974
背景：Apache Kylin在1.5.3以及之前版本中使用精确去重只支持int类型，而目前1.5.4版本中已经支持其他数据类型的精确去重了，下面我们来验证一下对字符串进行精确去重。环境：Hadoop：2.6.0HBase：1.1.4Hive：1.2.1Kylin：1.5.4.1 准备数据：维表：region_tbl和city_tbl数据如下：region_tbl：regionid  region
Kylin 精确去重在用户行为分析中的妙用
bigdata_player
10-18 929
示例 先从一个简单的例子说起吧。现在有一个 app 的用户访问记录表 access_log，它包含三个字段：DT (访问日期），User ID（用户标示）和 Page（访问页）： DT User ID Page 20190101 100 index.html ...
EXCEL去重统计(条件去重复计数)
热门推荐
56
09-01 21万+
1、单列去重统计公式为:=sumproduct(1/countif(选定列范围，选定列范围）），其原理是在某一列的范围中，每个数据出现的次数有多少，然后用1去除。简单点说，假设A列数组中出了3次A，每出现一次A，它的比例是1/3，1/3+1/3+1/3=1，求和之后的1，这样A出现了多少次，我们就只统计一次而已。如：A列数据为下所示，现在要统计这个项目去重后的数据的个数，即A/S/b/c/d,共5
Kylin - 剪枝优化及其方法
Sha0w的博客
04-27 4065
为什么要进行剪枝优化？在没有采取任何的优化措施的时候，Kylin会对每一个维度组合进行预计算，若有4个维度，则会有将近2^4 = 16个Cuboid需要进行计算。但是我们知道很多维度是： 1.不需要参与计算或者说不常用的 2.与其他的维度有一定的包含关系的 3.一定会跟其他维度一起进行查询的如果有10个维度那会有2^10=1024个Cuboid需要进行计算，虽然每个Cuboid的大小存在很大的差
2、Flink实时精准去重
江7城子的专栏
08-16 435
去重计算是数据分析业务里常见的指标计算，如网站一天的访问用户数，离线计算是一个全量、一次性计算的过程通常可通过distinct的方式得到去重结果，而实时计算是一种增量、长期计算过程，在面对不同的场景，如数据量的大小、计算结果精准度等要求时可使用不同的方案。
大数据去重，你还在发愁吗？
Coder Yasmine
03-19 3775
前言       本篇博客可以用“简单粗暴”来形容，嗯对，就是简单粗暴。小编不久前做的两个项目，都实打实的接触了大数据操作。一个是批量导入，一个是从数据库往外查询，都涉及到了数据去重。Excel批量导入的去重，在《Excel批量导入如何做数据去重》这篇博客中已经介绍过了，下面就介绍下从数据库往外查询的数据去重。   背景       ITOO云平台，用户登录时要判断该用户能看到的系统或...
数据仓库的概念
最新发布
04-30
<think>好的，我现在需要帮助用户理解数据仓库的基本概念和原理。用户之前提到过几个引用内容，关于数据仓库的架构、自顶向下的方法、半可加事实以及ODS层的作用。我得结合这些信息，同时参考之前的对话历史来构建回答。 首先，用户的问题是想了解数据仓库的基本概念及基本原理。根据引用内容，数据仓库有ODS、MDS等层次，还有自顶向下的构建方法。我需要先定义数据仓库是什么，然后解释它的核心原理，比如数据集成、主题导向、非易失性等。然后需要提到数据仓库的分层结构，比如ODS、MDS等，并解释每一层的作用。另外，用户提到的半可加事实可能需要作为特点之一进行说明。 还要注意用户之前的问题是关于Azkaban的参数传递，但当前问题转向数据仓库，所以需要确保回答专注于数据仓库，但可能需要关联之前的引用内容。例如，在分层结构中，ODS层的数据清洗和存储可能与之前的引用3有关，而自顶向下的设计方法对应引用1中的内容。半可加事实来自引用2，需要适当提及。 另外，用户提供的引用中提到了ODS层是数据仓库的基础，数据经过清洗，并且与Stage层的数据粒度一致。这些点应该在回答中强调，说明ODS的重要性。同时，自顶向下的方法可能导致实施周期长，费用高，这也是数据仓库设计时需要考虑的因素，可能需要提到优缺点。 在结构上，可能需要先给出数据仓库的定义，然后核心原理，接着分层架构，最后设计方法和注意事项。相关问题部分需要根据内容生成，比如分层结构、设计方法对比、半可加事实的应用场景等。 需要确保使用中文，数学公式用$$...$$，行内公式用$...$。引用用户提供的引用内容时，正确标注引用标识，如[^1]、[^2]、[^3]。 现在检查是否有遗漏点：数据仓库的基本概念包括定义、特点，基本原理包括架构、设计方法、数据处理流程。用户提供的引用涉及ODS、Stage、MDS，半可加事实，自顶向下方法，这些都需要整合到回答中。同时，可能还需要比较自顶向下和自底向上的设计方法，如引用1提到的从属数据集市，类似自底向上，但自顶向下可能导致成本高，但一致性更好。 在回答时，要确保逻辑清晰，分点明确，引用正确，并且生成的相关问题符合用户可能进一步想知道的内容，比如分层结构的具体细节、设计方法的选择、半可加事实的例子等。 最后，避免使用Markdown格式，但根据之前的示例，用户希望使用特定的格式结构，比如分章节，代码块等，但根据用户当前的指示，应使用中文回答，结构清晰，所以可能需要用标题、分点列表等方式组织内容，但可能不需要代码块，除非有具体示例。不过当前问题不涉及代码，所以可能以解释性内容为主。 总结步骤： 1. 定义数据仓库 2. 核心原理：集成、主题导向、非易失性、时变性 3. 分层架构：Stage、ODS、MDS等，各层作用 4. 设计方法：自顶向下 vs 自底向上，优缺点 5. 数据模型：星型、雪花模型，半可加事实 6. 注意事项：数据质量、扩展性、性能 7. 相关问题 现在需要将这些内容组织成自然的中文段落，正确引用提供的引用资料，并确保术语准确。</think>### 数据仓库的概念及基本原理 #### 一、数据仓库的定义 数据仓库（Data Warehouse, DW）是面向主题的、集成的、非易失的、时变的数据集合，用于支持管理决策[^1]。其核心目标是通过整合多源异构数据，提供统一的分析视图，服务于商业智能（BI）和数据分析。 #### 二、核心原理与特征 1. **集成性** 将分散的源数据（如数据库、日志文件等）进行清洗、转换和标准化，消除数据冗余与矛盾。例如，不同系统的日期格式统一为 `YYYY-MM-DD`，金额单位统一为美元等。 2. **主题导向** 围绕业务主题（如销售、库存、用户行为）组织数据，而非按操作型系统的功能划分。例如，零售企业的数据仓库可能包含“销售主题”（含订单、商品、客户等子主题）。 3. **非易失性** 数据一旦进入仓库，通常不再修改，仅支持**追加**和**查询**操作。例如，每日新增的销售记录会追加到历史数据中，但不会覆盖旧数据。 4. **时变性** 数据按时间维度记录变化，支持历史追溯。例如，某商品价格变动会记录为： $$\{ (2023-01-01, \$50), (2023-06-01, \$45) \}$$ #### 三、分层架构 数据仓库通常采用多层架构以实现数据逐级加工[^3]： 1. **Stage层（临时存储层）** - 存储原始数据，保留源系统格式 - 数据粒度与ODS层一致，但未经过清洗 - 示例：直接抽取的数据库全量备份文件 2. **ODS层（操作数据存储层）** - 对Stage层数据进行清洗、去重、格式标准化[^3] - 保留历史版本，支持数据回溯 - 示例：将分散的用户地址统一为“省-市-区”三级结构 3. **MDS层（多维数据服务层）** - 基于分析需求构建星型/雪花模型 - 包含事实表（如销售事实）和维度表（如时间维度） - 支持半可加事实处理[^2]： ```plaintext # 库存快照事实表（不可按时间累加） | 日期 | 商品ID | 库存量 | |------------|--------|--------| | 2023-07-20 | A001 | 100 | | 2023-07-21 | A001 | 95 | ``` #### 四、设计方法论 1. **自顶向下（Inmon方法）** - 先构建企业级统一数据仓库，再派生出部门数据集市 - **优点**：数据一致性高，避免信息孤岛 - **缺点**：实施周期长，初期成本高[^1] - 适用场景：大型企业、需要严格数据治理的场景 2. **自底向上（Kimball方法）** - 直接构建部门级数据集市，再整合成数据仓库 - **优点**：快速见效，灵活性高 - **缺点**：后期整合难度大 - 示例：电商平台先独立构建“用户行为分析集市”，再扩展至全业务 #### 五、关键技术组件 | 组件 | 功能描述 | 示例工具 | |------------------|-----------------------------------|-------------------------| | ETL工具 | 完成抽取（Extract）、转换（Transform）、加载（Load） | Informatica, Apache NiFi | | 元数据管理 | 记录数据血缘、业务含义、转换规则 | Apache Atlas | | OLAP引擎 | 支持多维分析查询 | Apache Kylin, Druid | #### 六、典型应用场景 1. **历史趋势分析** 通过时间维度聚合数据，例如计算年度销售额增长率： $$增长率 = \frac{\text{本年销售额} - \text{上年销售额}}{\text{上年销售额}} \times 100\%$$ 2. **决策支持** 基于客户购买行为画像，制定精准营销策略。 3. **异常检测** 监测库存量随时间波动，识别异常缺货现象。 --- ### 相关问题 1. 数据仓库中ODS层与数据湖的区别是什么？ 2. 如何设计高效的星型模型？ 3. 半可加事实在金融领域有哪些具体应用？ 4. 自顶向下与自底向上方法如何结合使用？ [^1]: 数据仓库的架构设计方法 [^2]: 半可加事实的定义与应用 [^3]: ODS层的核心作用与数据治理
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值