万字详解:知乎用户画像与实时数仓的架构与实践

【用户画像】用户画像简介、用户画像的架构、搭建用户画像管理平台 数据仓库是大数据体系的基石,用户画像是建立在数仓之上的一种应用,类似的应用还有商业智能,推荐系统等。用户画像,英文: User Profile,( 也有少数称: User Portrait 或User Persona)。一句话概念就是将用户信息标签化(Tag或者Label),以用户为中心,将各种各样的标签对应到其身上,一般表现为《人 – 标签 – 标签值》。 阅读详情

用户画像与实时数据分析是互联网企业的数据核心。知乎数据赋能团队以 Apache Doris 为基础,基于云服务构建高响应、低成本、兼顾稳定性与灵活性的实时数据架构,同时支持实时业务分析、实时算法特征、用户画像三项核心业务流,显著提升对于时效性热点与潜力的感知力度与响应速度,大幅缩减运营、营销等业务场景中的人群定向成本,并对实时算法的准确率及业务核心指标带来明显增益。

关键词:数据仓库,Apache Doris,用户画像,实时数据

一、前言

知乎业务中,随着各业务线业务的发展,逐渐对用户画像和实时数据这两部分的诉求越来越多。对用户画像方面,期望有更快、更准、更方便的人群筛选工具和方便的用户群体分析能力。对于实时数据方面,期望拥有可以实时响应的用户行为流,同时在算法特征、指标统计、业务外显等业务场景有愈来愈多的数据实时化的诉求。

在 2021 年 8 月,知乎平台团队成立数据赋能团队。针对历史实时数据需求无承接方的现象,已有用户画像系统无法满足多样的人群定向的现状,及业务方进一步人群分析的业务诉求,提出基础设施层选用Apache Doris作为实时数据仓库技术选型,业务工具层建设实时数据集成、实时数据调度、实时数据质量中心等系统,应用层建设实时数据应用和用户画像应用的方案。该方案针对性地解决了业务痛点,满足了业务诉求。

拆分当前业务主要在实时数据和用户画像两大部分有难点,共包含如下的三个方向目标:

1)实时业务数据

  • 通过提供实时的业务指标,解决业务对热点、潜力的把控,助力生产、消费,提升优质创作量及内容消费能力。

  • 提供实时的复杂计算的外显指标,加强用户体验,解决业务侧通过后端脚本计算的高维护成本和复杂性,节约成本,提升人效。

2)实时算法特征

  • 以实时数据为基础,提供多样的实时算法特征,与算法团队共同提升 DAU、留存、用户付费等核心指标。

3)用户画像

  • 用户筛选,做到多维、多类型的定向筛选,并接入营销、广告、 运营平台等系统,提高业务效率,降低人员成本。

  • 用户分析,做到多角度用户分析,定向用户分析报告 0 成本,助力业务部门快速把握核心客户市场。

本文就知乎平台的数据赋能团队,基于以上三个方向的目标,就这四个问题,来逐一介绍这方面的技术实践经验和心得体会:

  • 如何通过实时数据驱动业务发展?

  • 如何从 0 -> 1 搭建实时数据中心?

  • 如何搭建一套高效快速的用户画像系统来解决历史系统的多种问题?

  • 如何快速高效的开发业务功能和保证业务质量?

1、名词解释

2、实时数据与用户画像与各业务的结合

二、面临的挑战和痛点

针对当前业务目标,主要有以下几个具体要求。

1、有价值

1)如何通过实效性发现业务价值?

  • 搭建热点、潜力等紧随时间的指标和相关的排行榜,直接支持业务发展。

2)如何让用户画像的筛选和分析能力最大化?

  • 要全面覆盖多维度用户筛选的多种需求。

  • 多角度、多方式覆盖用户分析。

2、数据时效性

1)推荐页首屏浏览 6 条内容,如何在第二刷的时候就立即感知到最新的用户行为?

  • 通过 UBS 建设提升实效性(下面介绍)

2)在推荐算法中,非常实时的特征推荐算法效果要比天级别更新特征的算法效果好很多,如何保证 10 分钟内算法受到特征变更?

  • 通过实时数据系统与 Apache Doris配合共同建设,提升到 10 分钟内更新(下面介绍)

3、接口实时性

热点运营场景,期望用户画像服务能在秒级别快速筛选出大量人群,用户后续的推送等运营场景,如何解决?

  • 通过用户画像系统与 Apache Doris 配合共同建设,提升人群筛选的速度(下面介绍)

4、复杂性

1)实时数据几乎没有 count、sum 需求。几乎都是复杂去重和多数据联合计算的情况。

  • 以播放量为例。在启播、暂停、完播、心跳等多个条件下,会同时有多个点,要进行去重。同时基于视频回答、视频的关系和双作者联合创作的关系,需要叠加,同时保证在父子内容异常状态的情况下过滤其中部分播放行为。

2)人群分析业务,期望多角度、各维度进行人群关联计算,同时基于全部用户特征针对当前人群和对比人群进行 TGI 计算,筛选出显著特征,如何解决?

  • 通过用户画像系统与 Apache Doris 配合共同建设,解决复杂的人群分析(下面介绍)

3)业务数据中有增 / 删 / 改逻辑,如何实时同步?

  • 实时数据集成系统与 Apache Doris 配合共同建设,解决增 / 删 / 改逻辑(下面介绍)

4)明细数据异常发现滞后,异常发现后,需要针对性修正构建方式,及回溯数据修复,如何解决?

  • 通过选择 Lambda 架构作为数据架构解决(下面介绍)

三、实践及经验分享

1、整体业务架构

基于当前的业务,从顶层至底层进行了拆分。主要分为应用层、业务模型层、业务工具层、基础设施层。基于我们当前的业务形态,自上而下。

  • 应用层: 负责当前我们的业务应用,直接为业务提供工具或提供业务的某些模块,与业务共担目标,为业务赋能。

  • 业务模型层: 支持应用层建设和一定的实时分析能力,同时也作为业务某一个流程的功能模块接入使用,为外部业务和自身应用层建设,与业务共担目标,为业务赋能。

  • 业务工具层: 支持应用层和业务模型层的开发,提供通用的工具,面向降低应用层和业务模型层的建设成本,提升整体建设的工程效能,保证业务稳定和数据质量准确。

  • 基础设施: 技术中台提供的基础设施和云服务,提供稳定可用的基础功能,保证上层建筑的稳定性。

2、实时数据的数据架构选型

解决当前问题的数据架构,一般有 Lambda 架构和 Kappa 架构。针对当前业务特点,计算复杂、偶发的异常问题需要大数据量回溯等特性。当前实时数据的数据架构采用的是 Lambda 架构。由 Doris 承载分钟级的批处理,Flink 来承载秒级别简单逻辑的流处理。具体如下:

3、应用层建设经验分享

1)实时数据系统

①业务场景

实时数据系统主要有两个大方向:实时业务数据和实时算法特征。

  • 实时业务数据

  • 通过提供实时的业务指标,解决业务对热点、潜力的把控,助力生产、消费,提 升优质创作量及内容消费能力。

  • 提供实时的复杂计算的外显指标,加强用户体验,解决业务侧通过后端脚本计算的高维护成本和复杂性,节约成本,提升人效。

【好书推荐】《用户画像:平台构建与业务实践》 【好书推荐】从不了解用户画像,到用画像数据赋能业务看这一本书就够了丨《用户画像:平台构建与业务实践》 阅读详情

相关推荐

【数据应用案例】用户画像与实践案例

—————— 思考: 用户画像的最佳实践还是在互联网或者电信这种有用户各行动环节浏览记录的企业,对于线下B端企业,对于用户画像确实是难以做到的。即使是银行保险类企业,用户画像的数据源也需要与电信类企业合作。因此用户画像的能力需要平台赋能才能真正实现。 用户画像目前基本等同于用户标签,主要有两个作用: 作为上游数据源,为推荐、广告、搜索等下游产品线提供处理后的标签信息 ...

数据产品笔记 2万+

干货 | 实时数据架构与实践(用户画像篇)

一、前言知乎业务中,随着各业务线业务的发展,逐渐对用户画像和实时数据这两部分的诉求越来越多。对用户画像方面,期望有更快、更准、更方便的人群筛选工具和方便的用户群体分析能力。对于实时数据方面...

大数据星球-浪尖 1231

用户画像及项目实例:电商用户画像

用户画像 所谓用户画像就是标签的汇总,从用户不同方面信息中提取有价值特征来构建标签库,并从标签库中探索信息,从而构建用户画像。 用户画像建模: 第一步:统一用户唯一标识 用户唯一标识是整个用户画像的核心,方便跟踪和分析一个用户的特征。 设计唯一标识的选择:用户名、注册手机号、联系人手机号、邮箱、设备号、CookieID等。 第二步:给用户打标签,即用户画像 用户消费行为分析,可从4个维...

厚积薄发 6438

centos查看当前用户的命令

centos查看当前用户 users 列出用户 who 列出当前已登录用户 如果只希望累出用户使用该语句 who |cut -d ’ ’ -f1 |sort|uniq id -un 显示当前登入用户的用户名称,以及当前使用的tty信息,且包括用户名,tty名,当前时间日期,当前用户使用的链接地址 ...

weixin_45441727的博客 1663

用户画像设计与搭建(附金融行业用户画像案例)

什么是用户画像 用户画像这个理念是交互设计之父阿兰·库珀提出来的。他说用户画像是真实用户的虚拟代表,是建立在一系列真实数据之上的目标用户模型。是根据用户的属性及行为特征,抽象出相应的标签,拟合而成的虚拟的形象,主要包含基本属性、社会属性、行为属性及心理属性。需要注意的是,用户画像是将一类有共同特征的用户聚类分析后得出的,因而并非针对某个具像的特定个人。 例如: 女,3...

9282

实时数仓:知乎实时数仓的架构演进

“数据智能” (Data Intelligence) 有一个必须且基础的环节,就是数据仓库的建设,同时,数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速的获取数据反馈能够帮助公司更快的做出决策,更好的进行产品迭代,实时数仓在这一过程中起到了不可替代的作用。1.0 版本的实时数仓主要是对流量数据做实时 ETL,并不计算实时指标,也未建立起实时数仓体系,实时场景比较单一,对实时数据流的处理主要是为了提升数据平台的

GIS摆渡人 793

知乎案例分享: 万字详解用户画像与实时数仓的架构与实践

万字详解用户画像与实时数仓的架构与实践 关键词:数据仓库,Apache Doris,用户画像,实时数据

Pushkin.的博客 1277

【Doris】知乎用户画像与实时数据的架构与实践

用户画像与实时数据分析是互联网企业的数据核心。知乎数据赋能团队以 Apache Doris 为基础,基于云服务构建高响应、低成本、兼顾稳定性与灵活性的实时数据架构,同时支持实时业务分析、实时算法特征、用户画像三项核心业务流,显著提升对于时效性热点与潜力的感知力度与响应速度,大幅缩减运营、营销等业务场景中的人群定向成本,并对实时算法的准确率及业务核心指标带来明显增益。**关键词:**数据仓库,Apache Doris,用户画像,实时数据一、前言知乎业务中,随着各业务线业务的发展,逐渐对用户画像和实时数据这两部

m0_54252387的博客 2180

知乎用户画像与实时数仓的架构与实践

数据质量管理是测度、提高和验证质量,以及整合组织数据的方法等一套处理准则,而体量大、速度快和多样性的特点,决定了大数据质量所需的处理,有别于传统信息治理计划的质量管理方式。针对历史实时数据需求无承接方的现象,已有用户画像系统无法满足多样的人群定向的现状,及业务方进一步人群分析的业务诉求,提出基础设施层选用Apache Doris作为实时数据仓库技术选型,业务工具层建设实时数据集成、实时数据调度、实时数据质量中心等系统,应用层建设实时数据应用和用户画像应用的方案。数据属性不完整,例如:数据属性空值。

jane9872的博客 1998

知乎实时数仓实践及架构演进

“数据智能”(DataIntelligence)有一个必须且基础的环节,就是数据仓库的建设,同时,数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速的获取数据反馈能够帮助公司更快的做出决策,更好的进行产品迭代,实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实践以及架构的演进,这包括以下几个方面实时数仓1.0版本,主题:ETL逻辑实时化,技术方案:SparkStreaming。实时数仓2.0版本,主题:数据分层,指标计算实时化,技术方案:FlinkStreaming。实时数仓未

赛灵思Xilinx 7系列FPGA硬件设计知识总结

本文讲述了赛灵思7系列FPGA硬件设计的关键点,为使用该系列FPGA提供硬件设计参考。

csdn_dsw的博客 3625

【技术运营】用户画像:了解用户,助力企业成长

用户画像(Persona)是一种将真实用户数据进行归纳和简化的工具,它能够以更清晰、更有条理的方式,描绘出目标用户群体的具象化特征,以便产品设计者更好地理解用户需求,为设计决策提供依据。通过用户画像,企业可以更好地理解目标用户,进而为他们提供更精准的产品和服务。一般来说,用户画像包括以下信息:基本信息:如用户的年龄、性别、职业等。社交行为:用户的社交媒体使用习惯,比如他们常用的社交平台是什么,他们在这些平台上关注什么内容等。生活习惯:比如用户的作息时间、饮食习惯、休闲活动等。

程序边界 5607

华为IC岗笔试刷题含答案(2)

又做了几套题,记录了部分及答案,如有错误,欢迎评论指正。

Ingrid的博客 1万+

用户画像总结

        最近在工作之余,结合自己的理解和论坛上的一些帖子,整理了份用户画像的文章,个人觉得这篇文章在宏观上很好地描述了用户画像的主要内容。(文章内的图片来源于不同帖子,权当分享,侵删)一、 什么是用户画像        用户画像是指根据用户的属性、用户偏好、生活习惯、用户行为等信息而抽象出来的标签化用户模型。通俗说就是给用户打标签,而标签是通过对用户信息分析而来的高度精炼的特征标识。通过打...

zzhhoubin的博客 15万+

华为海思2026届数字IC秋招笔试高频考点解析与实战技巧(2025最新版)

本文深入解析华为海思2026届数字IC秋招笔试的高频考点与实战技巧,涵盖时序优化、低功耗设计、DFT规则等核心模块。针对2025年最新真题,提供详细的解题思路和工程经验,帮助考生高效备考。特别关注SystemVerilog约束随机测试等新增考点,助力考生在秋招笔试中脱颖而出。

m2n3o4p5的博客 419

Springboot + vue 实现导出word

Springboot + vue 实现导出word 后端代码 使用word先创建好已知的模板 使用word工具另存为.xml格式的文件 使用freemarker ftl模板 将修改后的xml文件复制到开发工具中,将文件后缀修改为ftl文件,并且将里面的动态值使用${}包裹例如:${zyjn} word工具类 /*** * * Project Name:maventest * <p>生成word工具类<br> * * @ClassName: WordUtil *

qq_45542373的博客 2896

实时数仓建设与实践

本文系统探讨了实时数仓建设的关键问题。首先分析了实时数仓的背景价值,指出其能突破T+1延迟瓶颈,降低开发成本,赋能实时决策。其次对比了实时与离线数仓的架构差异,实时数仓以Kappa架构为主流,强调时效性保障。随后详细阐述了实时数仓的分层架构设计(ODS/DWD/DWS/ADS)与技术选型建议,推荐Flink作为核心计算引擎,Kafka作为数据枢纽。最后通过菜鸟仓配和知乎两个实践案例,展示了实时数仓在电商和内容平台的落地路径与效果,验证了分层建模和Flink生态的可行性。文章为企业在数字化时代构建实时数据处理

. 2万+

【AUTOSAR实战】:CAN发送邮箱忙导致报文发送丢帧的问题调试

本文档主要讨论了CAN总线通信中可能出现的TC377传输错误的分析和解决方案。文章提供了如何通过检查CAN传输和接收过程、识别传输缓冲区的类型和状态以及选择适当的内存保护功能来检测和解决此类错误的见解。经过多次尝试和分析,得出的结论是,修改CANIF缓冲的尺寸并重新分配报文给各个buffer并不能解决问题。此外,发送中断被抢占可能导致报文无法发送,最终也将此因素排除。本文档还提到了一些可能导致发送流程调度出现问题的因素,例如CANIF中报文引用Buffer不合理。

weixin_46481662的博客 3141

万字长文,实时用户画像实践经验

作者:候容 来源:知乎 编辑:数据社全文共8471个字,建议15分钟阅读01前言 知乎业务中,随着各业务线业务的发展,逐渐对用户画像和实时数据这两部分的诉求越来越多。对用户画像方面,期望有更快、更准、更方便的人群筛选工具和方便的用户群体分析能力。对于实时数据方面,期望拥有可以实时响应的用户行为流,同时在算法特征、指标统计、业务外显等业务场景有愈来愈多的...

数据一哥,公众号:数据社 5816

PCL 将对象模板与点云对齐【2025最新版】

PCL模版匹配算法的使用案例,博客长期更新,本文最近更新时间为:2025年1月18日。

点云侠的博客 5380

基于OpenCV实现暗通道先验去雾算法及改进,效果惊人

深度技术文,前方高能

公号:一条coding 2万+

知乎用户画像与实时数据的架构与实践

知乎业务中,随着各业务线业务的发展,逐渐对用户画像和实时数据这两部分的诉求越来越多。对用户画像方面,期望有更快、更准、更方便的人群筛选工具和方便的用户群体分析能力。对于实时数据方面,期望拥有可以实时响应的用户行为流,同时在算法特征、指标统计、业务外显等业务场景有愈来愈多的数据实时化的诉求。在 2021 年 8 月,知乎平台团队成立数据赋能团队。

SmartSi 926

YOLO26科研优化:多损失函数(EIoU、SIoU等)融合,让边界框回归精度再上台阶

将原有损失函数替换为我们编写的MultiLoss。例如,在bbox_loss。

LXY_LOVE36的博客 173

【数据挖掘、数据分析】之用户画像平台构建与业务实践

通过本书将画像平台的构建过程以及赋能业务的方式讲清楚,帮助读者全面且深入地了解画像平台。通过用户画像平台构建与业务实践,融合数据挖掘、数据分析等。

Java 技术专栏,从入门到精通,熟悉企业级开发 1万+

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

10000字详解用户画像与实时数仓之架构与实践

用户画像与实时数据分析是互联网企业的数据核心。知乎数据赋能团队以 Apache Doris 为基础,基于云服务构建高响应、低成本、兼顾稳定性与灵活性的实时数据架构,同时支持实时业务分析、实时算法特征、用户画像三项核心业务流,显著提升对于时效性热点与潜力的感知力度与响应速度,大幅缩减运营、营销等业务场景中的人群定向成本,并对实时算法的准确率及业务核心指标带来明显增益。一、前...

大数据星球-浪尖 711

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

上一篇: Java 内存模型,或许应该这么理解
下一篇: 分布式锁用过没?都用到哪些命令?有没代码完整实例 ?
程序员职业指南
博客等级 码龄4年 2140粉丝 960原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值