亿级视频内容如何实时更新?

本文分享了阿里文娱在视频内容实时更新的实践,利用图谱技术应对亿级数据量的挑战。通过引入知识图谱,实现了数据的结构化组织和业务体系化管理,确保数据一致性,并利用Blink和Lindorm进行实时计算和储存,构建全增量特征计算平台。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

小叽导读:优酷视频内容数据天然呈现巨大的网络结构,各类数据实体连接形成了数十亿顶点和百亿条边的数据量,面对巨大的数据量,传统关系型数据库往往难以处理和管理,图数据结构更加贴合优酷的业务场景,图组织使用包括顶点和边及丰富属性图来展现,随着年轻化互动数据和内容数据结合,在更新场景形成单类型顶点达到日更新上亿的消息量。本文将分享阿里文娱开发专家遨翔、玄甫在视频内容实时更新上的实践,从图谱化的全新视角,重新组织内容数据的更新,诠释图谱化在业务更新场景的应用。

一 背景

搜索推荐系统作为在线服务,为满足在线查询性能要求,需要将预查询的数据构建为索引数据,推送到异构储存介质中提供在线查询。这个阶段主要通过 Offline/Nearline 把实时实体、离线预处理、算法加工数据进行处理更新。这里包含了算法对这些数据离线和在线的处理,不同业务域之间最终数据合并(召回、排序、相关性等)。在平台能力方面采用传统的数仓模式即围绕有共性资源、有共性能力方面建设,形成分层策略,将面向业务上层的数据独立出来,而这种模式在实现业务敏捷迭代、知识化、服务化特征方面已不能很好满足需求。

在这里插入图片描述
知识图谱作为对数据进行结构化组织与体系化管理的核心技术,实际面向业务侧应用过程中能很好的满足知识化、业务化、服务化方面的诉求,基于内容图谱体系的特征平台建设,以内容(视频、节目、用户、人物、元素等)为中心,构建一个实时知识融合数据更新平台。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值