用户画像实战：使用宽表存储画像标签

已于 2024-07-04 06:46:02 修改
阅读量1.2k 收藏 18
点赞数 18
分类专栏： # 用户画像 大数据开源生态 文章标签： 用户画像 标签存储
于 2024-06-30 21:56:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SunnyYoona/article/details/140087260
版权

在这里插入图片描述

1. 画像宽表

离线数仓模型中，画像标签数据被分隔成面向主题、维度的多张标签表，这样的组织形式便于体系化的构建标签系统及数据维护管理：

在这里插入图片描述

假设用户的性别标签存储在 dws_app_user_profile_attr_label_td 表中，品牌标签存储在 dws_app_user_profile_device_label_td 表中，其表结构如下图所示：

user_id gender
10001 男
10002 男
10003
了解本专栏 订阅专栏 解锁全文 超级会员免费看
数据仓库之【商品订单数据数仓】04：需求1：用户信息宽表
weixin_40612128的博客
03-12 991
一、用户信息宽表分析 宽表主要是便于使用，在使用的时候不至于每次都要关联很多张表。 用户信息宽表包括服务端中的user表、user_extend表。 如果有需求的话其实还可以把用户的一些其他维度的数据关联过来，例如：当日的下单数量、消费金额等等指标。 二、思路 对dwd_user表和dwd_user_extend表执行left join操作，通过user_id进行关联即可，将结果数据保存到dws_user_info_all表中。 三、dws层 1、 （1）源表 （2）建表语句 （3）映射关系 四、开发脚本
数仓建设实践——58用户画像数仓建设
爱吃辣条的博客
03-26 1608
数仓建设实践——58用户画像数仓建设
【用户画像】实现宽表合并，pivot概述，源码实现并发布任务
weixin_43923463的博客
10-28 775
当所有的单独标签任务都计算完成时，为了更加方便的查询及导出数据，要拼接出一张以用户ID为主键的宽表。宽表的每一列用**三级标签编号作为列名**，这张大宽表，包含了所有的标签，有多少个标签，就会有多少列。 实现思路草图：如何将高表转换为宽表 - 读取所有启动的标签任务中的标签列表 - 读取标签列表中的标签编码和标签值类型，获得字段名和字段值，拼接成建表语句 - 根据标签列表组合多表合并，同时进行行转列，组合成insert select 语句。
用户画像：用户画像表
u013250861的博客
05-04 880
用户画像表 ADM层 每天汇总出的用户画像表仅包含当天的数据，因此还需要和之前汇总好的用户画像表进行新的合并操作后，才算真正的最新数据的用户画像表 用户画像宽表 ADM层 adm.itcast_adm_personas（时间分区） 用户画像宽表 ADM层 = 用户基本属性表 GDM层 gdm.itcast_gdm_user_basic（时间分区）（第 1 张表） + 客户消费模型表 GDM层 gdm.itcast_gdm_user
客户画像模型宽表搭建
qq_41945142的博客
07-07 1368
2021-05-05
小蚂蚁的博客
05-05 462
DWS层做了哪些事？ 1 DWS层有3-5张宽表（处理100-200个指标 70%以上的需求） 具体宽表名称：用户行为宽表，用户购买商品明细行为宽表，商品宽表，购物车宽表，物流宽表、登录注册、售后等。 2 哪个宽表最宽？大概有多少个字段？ 最宽的是用户行为宽表。大概有60-100个字段 3 具体用户行为宽表字段名称 ​ 评论、打赏、收藏、关注–商品、关注–人、点赞、分享、好价爆料、文章发布、活跃、签到、补签卡、幸运屋、礼品、金币、电商点击、gmv CREATE TABLE `app_usr_i
标签数据的存储
litlit023的专栏
04-11 2366
目录 1. 基于hive数仓存储标签数据 1.1 不同维度的标签，分表存储 1.2 标签聚合处理：将同一用户的标签聚合成一个字段（map类型） 2. ID-MAPING（缓慢变化维-拉链表处理方式） 3. 参考资料 1. 基于hive数仓存储标签数据 1.1 不同维度的标签，分表存储 人口属性、行为属性、用户消费、风险控制、社交属性等维度分别建立对应的标签表进行分表存储对应的标签数据。 例如下面的基于人口属性的标签表dw.userprofile_attribute_all示例 1
用户画像实战：基于 ROW_NUMBER 的全局字典设计与实现
SmartSi
07-17 809
当业务标签越来越多时，宽表标签计算的方案将不再适合，因为当列越多时，更新效率将会越慢。一种优化方案是通过对标签表构建索引，将用户ID编码后以 Bitmap 格式保存(一般使用 RoaringBitmap 进行压缩存储)，将关系运算转化 Bitmap 的交并差运算，进而加速实时
用户画像实战：分布式全局字典设计与实现
最新发布
SmartSi
07-20 761
当业务标签越来越多时，将不再适合，因为当列越多时，更新效率将会越慢。一种优化方案是通过对标签表构建索引，将用户ID编码后以 Bitmap 格式保存(一般使用进行压缩存储)，将关系运算转化 Bitmap 的交并差运算，进而加速实时计算性能。如果用户 ID 是字符类型，需要先将用户ID进行整数编码才能使用 Bitmap 存储。
mysql用户画像表设计_用户画像：计算用户偏好标签及数据指标与表结构设计
weixin_39843986的博客
02-02 959
作者： 超人赵 ，人工智能爱好者社区专栏作者知乎：https://www.zhihu.com/people/chao-ji-sai-ya-ren/posts一、用户画像—计算用户偏好标签下面介绍如何计算用户的偏好标签。在上一篇写用户画像的文章 “用户画像—打用户行为标签”中，主要讲了如何对用户的每一次操作行为、业务行为进行记录打上相应的标签。在这篇博客中，主要讲如何对这些明细标签进行计算以及偏好...
《用户画像-方法论与化解决方案》(内部版）.pdf
11-19
- **标签数据存储**：如何设计存储标签的表结构，如使用Hive、MySQL、HBase或ES等不同数据存储工具。 - **作业流程调度**：确保用户画像系统的稳定运行，包括数据的抓取、处理、计算和更新的调度机制。 - **开发...
数据库选型十八摸 之 PostgreSQL - 致 架构师、开发者
weixin_33806509的博客
02-10 4190
标签 PostgreSQL , 数据库特性 , 数据库应用场景分析 , 数据库选型 背景 数据库对于一家企业来说，相比其他基础组件占据比较核心的位置。 有很多企业由于最初数据库选型问题，导致一错再错，甚至还有为此付出沉痛代价的。 数据库的选型一定要慎重，但是这么多数据库，该如何选择呢？ 我前段时间写过一篇关于数据库选型的文章，可以参考如下 《数...
用户画像系列第九篇：应用案例之表结构设计
王大卓的专栏
06-01 2297
本文摘自赵宏田老师的：“用户画像：方法论与工程化解决方案”。 表结构的设计也是画像开发过程中，需要解决的一个重要的问题。表结构设计的重点是要考虑：储存哪些信息、如何储存、如何应用这三个方面的问题。不同的业务背景有不同的设计方式，这里提供两个设计思路：一是每日全量数据的表结构；二是每日增量数据的表结构。 每日全量数据，即该表的日期分区中，记录这截止到当天的全量用户数据，日全量数据的优势是方便查询，缺点是不便与探查更细粒度的用户行为。每日增量数据，即该表日期分区中记录着当日的用户行为数据，日增量数据可视为OD.
用户画像2种数据存储的方式
春华秋实
04-08 1万+
目前，越来越多的企业，在大数据应用上，都会选择用户画像这一主题，为什么呢？因为用户画像相对于做推荐以及机器学习等简单容易的多，做画像，更多是就是对用户数据的整合，然后做一些用户聚类、用推荐算法，比如基于用户的推荐和基于商品的推荐，获取用户或者进行商品营销应用。而在我们的实际应用中，不仅有用户画像，而且有关于物的画像，比如设备画像。然而，大多数情况下有一种常见的错误想法是画像维度的数据越多越好，画像...
用户画像 用户画像表
あずにゃん梓喵的博客
03-12 5065
个人论坛：日萌社 用户画像 总文章 ================用户画像表 结构图================ 用户画像表 ADM层 每天汇总出的用户画像表仅包含当天的数据，因此还需要和之前汇总好的用户画像表进行新的合并操作后，才算真正的最新数据的用户画像表 用户画像宽表 ADM层 adm.itcast_adm_personas（时间分区...
用户画像：数据指标与表结构设计
hellozhxy的博客
09-07 1万+
本篇博客介绍一下画像中需要开发的数据指标与开发过程中表结构的设计。 首先介绍画像开发的数据指标，画像开发过程中通用类的指标体系包括用户属性类、用户行为标签类、用户活跃时间段类、用户消费能力类、用户偏好类等 数据指标体系 用户属性指标 用户属性指标根据业务数据来源，尽可能全面地描述用户基础属性，这些基础属性值是短期内不会有改变的。如年龄、性别、手机号归属地、身份证归属地等 用户...
用户画像（Persona ）简介
热门推荐
ifwinds的博客
01-08 14万+
用户画像是建立在一系列真实数据上的目标用户模型。个性化推荐、广告系统、活动营销、内容推荐、兴趣偏好都是基于用户画像的应用。
闲聊用户画像的存储
木东居士
03-01 2258
0x00 前言随便聊一下用户画像的存储。现在的用户画像，动不动就是几千几万个标签，标签一多就出现了一些需要克服的难题，比如下面两个：如何解决频繁新增和删除标签的场景如何解决不同标签更新时...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@SmartSi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值