爱奇艺技术产品团队

原创 实时数仓2.0：更低的成本获取更及时的数据

两条数据处理链路在逻辑上重复，尤其是数据清洗和处理过程中的重叠部分，需要分别在实时和离线链路中执行，造成了不必要的资源消耗和代码维护上的复杂性；播放时长的体现从结束播放切换到心跳流，有效支持用户播放数据的更快反馈，后续可以支持用户行为标签和模型的实时更新、特征和推荐模型的实时更新，以及支持更为广泛灵活的用户运营方式。这一转型不仅将日均PB级数据的处理成本削减60%，更通过分钟级近实时化改造，将原本小时级或天级更新的数据升级为分钟级近实时化数据，显著提升业务响应速度与决策效率。同时也能保证数据的安全性。

原创 服务性能防腐体系：基于自动化压测的熔断机制

01#背景在系统架构的演进过程中，项目初始阶段都会通过压力测试构建安全护城河，此时的服务性能与资源水位保持着黄金比例关系。然而在业务高速发展时期，每个冲刺周期都被切割成以业务需求为单位的开发单元，压力测试逐渐从必选项退化为奢侈品，使得系统在每一次需求迭代中都积累着架构熵增的风险。当技术债务突破系统弹性阈值时，系统可能会出现各种问题，最终威胁到商业价值的可持续转化(见下图业务增长和系统稳定性的关系...

原创 爱奇艺的接口治理与自动化测试一体化解决方案实践

01#背景随着云原生和微服务架构的普及，公司许多服务也转向了微服务模式，以满足业务的高速发展和高流量调用需求。然而，微服务的拆分导致API数量的爆发式增长，使得接口管理和接口质量保障的问题更加凸显，具体体现在以下几个方面：1.1 缺少低成本的接口管理方案查找成本高：由于没有统一的平台来管理接口，接口信息分散在不同的工具或平台上，如wiki、YAPI、Gitbook、Swagger等。跨团队项目时...

原创 奇智：生成式 AI 应用创建平台

01#引言奇智平台是为构建生成式AI原生应用而设计的生成式AI应用创建平台，通过奇智平台，我们可以将复杂的技术任务大幅简化，还能通过可视化编排构建各种类型的应用，让创意和创新更快、更好、更易实现。我们小时候都玩过积木，通过堆砌各种颜色和形状的积木，可以构建出城堡、飞机、甚至整个城市。现在，如果有一个数字世界的积木，我们就可以用这样的“积木”来构建智能程序，这些程序能够阅读、理解和撰写文本，甚至与我...

原创 TOP 100Summit 主题分享 | AI助力爱奇艺项目管理实践

12月5-7日，第13届 TOP 100全球软件案例研究峰会（简称TOP 100 Summit）顺利落幕。本届峰会以“面向未来的组织演进与创新管理”为主题，100位顶尖研发团队负责人及业界专家到场参与深度案例剖析，共同探讨在大模型时代下，组织如何适应时代发展趋势实现转型升级。爱奇艺项目管理团队分享了AI技术在项目管理中的应用，总结了实践经验，助力业务高效增长。01#引言随着业务的发展，项目经理...

原创 会员后台基于LiteFlow的低代码实践

01#背景随着会员业务的发展，基于商品、订单、权益的中台体系逐渐成形，可以快速支持业务的创新探索，如果业务模式可行，功能就会落地到配置后台。虽然业务模式多样化，但业务的配置后台都需要调用中台通用的配置接口，比如：商品、价格、库存、活动等配置，在规则的组装上就出现了重复定制开发的问题。为了解决这类问题，我们尝试了从传统瀑布流开发模式转变到流程引擎模式的探索，本文分享一下实践经验，希望能够给大家带...

原创 QECon主题分享 | 价值交付的进阶探索与实践之道

10月25-26日，第十二届QECon全球质量效能大会在北京站顺利落幕，本届大会适逢1024程序员节，以"AI赋能，驱动质量与效能共生进化"为核心主题，吸引了数千名技术从业者齐聚一堂，共同探讨AI如何塑造软件研发的未来。爱奇艺项目管理团队分享了《价值交付的进阶探索与实践之道》，介绍了聚焦价值交付的进阶探索与实践之道，助力业务高效增长。以下是主题分享的内容整理：01#引言在数字化高速发展的背景下...

原创 Alluxio 在爱奇艺大数据的实践

01#导言Alluxio 是一款开源分布式数据编排系统，它介于存储与计算之间，提供了分布式缓存、全局数据访问等能力，为跨集群大数据分析、AI 训练等场景提供数据加速服务。Alluxio 提供统一的客户端 API 和全局命名空间，使应用程序能够通过一个通用接口连接到多种存储系统，解决了数据访问延迟和存储系统兼容性的问题。图 1 Alluxio 架构在爱奇艺，我们主要利用 Alluxio 的分布式...

原创 爱奇艺基于多模态的台词说话人识别技术

01#背景影视剧剧本涵盖了整部剧的文本描述，包括台词及其说话人信息，对了解剧情有关键作用。然而，长视频平台上线的视频历经各种改版和剪辑处理，相应的剧本信息已缺失，台词说话人识别技术由此产生。台词说话人识别技术指的是从一集长视频里提取并识别不同说话人片段的技术，该技术能够实现对海量长视频内容的结构化管理，具备广泛的应用价值，例如在高光剧情检测业务中，台词说话人识别结果作为输入，送入多模态大模型...

原创 爱奇艺奇异果TV端基于营销位结构框架下的全链路营销位提效

01#背景营销位是精细化人群配置信息展示的位置，主要用于营销活动宣传和新功能推广，是TV触达用户的核心手段。以下是APK营销位示意：本项目启动之前，TV端营销位由各个页面的产品单独维护，并未形成统一的规范，导致营销位的配置、需求响应和验证低效，无法适配TV端业务飞速发展的业务诉求。因此，TV端从2024年Q1启动营销位优化专项，实现营销位在配置-开发-验收的全链路环节的效率提升。02#旧营...

原创 爱奇艺大数据多 AZ 统一调度架构

01#导语爱奇艺大数据技术广泛应用于运营决策、用户增长、广告分发、视频推荐、搜索、会员营销等场景，为公司的业务增长和用户体验提供了重要的数据驱动引擎。多年来，随着公司业务的发展，爱奇艺大数据平台已积累了海量数据，这些数据分散在多个AZ（AvailabilityZone，可用区）的多个大数据集群里，彼此割裂、不互通，存在数据孤岛，给数据使用带来了极大的不便。业务使用数据时，需要知道数据在哪个...

原创 在线深度学习：爱奇艺效果广告分钟级模型优化

01# 背景在效果广告投放场景中，媒体侧需要准确衡量每次请求的价值，模型预估值在广告竞价中扮演着核心角色。模型预估精度的提升，是改善媒体侧变现效率、提升广告收益的核心技术驱动力。此前，爱奇艺效果广告预估模型为小时级模型，从广告投放到效果反馈线上模型有数个小时的延迟。从23年下半年开始，我们致力于从模型时效性优化的方向提升模型能力，将小时级模型升级为分钟级在线深度学习（ODL），在爱奇艺流量取得了...

原创 AI技术在爱奇艺视频搜索中的应用

当前AI技术已经全面在爱奇艺搜索引擎中落地应用。与传统搜索仅能查找片名不同，爱奇艺的AI搜索功能让用户能够在搜索阶段使用更多模糊信息获得想找的影片。首次将生成式AI技术应用于角色搜索、剧情搜索、明星搜索、奖项搜索和语义搜索五大场景。通过对模糊搜索query的精准理解提供了多样化的内容推荐，使用户能够通过几个简单的关键词，快速找到与影视剧密切相关的热门角色、经典剧情场景和明星阵容等内容，标志着找片和...

原创 会员业务出口网关的设计与实现

01#背景介绍1.1 出口网关是什么出口网关（Egress Gateway）是一种部署在云或企业网络中的网络组件，它控制着从内部网络（如企业内网、内部微服务网络）流出到外部网络（如公共互联网或其他外部服务）的流量。一般来说，出口网关是内部服务与外界交互的一个流量出口，实现对外请求的协议转换、流控、监控等通用功能。相比于传统的入口网关（Ingress Gateway），出口网关侧重于对出站流...

原创 爱奇艺广告智能算力探索与实践

01#背景随着广告业务的发展，流量、订单、模型复杂度快速增长，算力消耗也愈加严重。同时我们也注意到，流量质量参差不齐，投入更多的计算资源呈现了边际效益递减的效应。如何平衡流量收益和计算资源成本成为了广告业务发展无法规避的挑战。爱奇艺广告引擎团队从22年开始探索并实践智能算力在广告场景中的应用，旨在实现一定算力约束下业务收益的最大化。目前我们在链路重要环节实现了包括流量价值预估、弹性淘汰、动...

原创 奇异果TV热修复实践

01背景奇异果TV作为在电视设备上用户活跃度最高的应用之一，为广大用户提供了丰富的内容播放服务。随着奇异果TV多年的发展，功能逐步增加，业务更加复杂，每次发版都需要经过功能测试、适配测试、线上灰度测试，但线上问题仍不能完全避免，需要及时对线上问题进行修复。同时，由于电视端特有的商业模式和合作生态，App更新覆盖速度较慢，且更新操作较为复杂，对于以老人和儿童居多的TV用户来说，需要更快速地使用无...

原创 低延时直播系统在欧洲杯的实践

欧洲杯作为全球关注的足球赛事之一，实时、清晰的观赛体验对球迷至关重要，当画质清晰度接近的情况下延时的权重就会被放大。随着新技术如5G、云计算等的发展，低延时直播技术得到提升，也引发了市场竞争。然而，其高昂的带宽成本成为大规模使用的主要阻碍，尤其是在全球性赛事如欧洲杯中，观众众多，对带宽需求大，从而进一步提高了成本。因此，在确保低延时直播质量的前提下，寻找经济高效的解决方案成为必要。 ...

原创 爱奇艺广告特征评估流程优化实践

01背景在搜广推系统中，特征质量是决定模型能力的关键因素。爱奇艺广告场景下，特征评估面临以下挑战：人力资源瓶颈：整个流程基本需要算法工程师完成，评估门槛高，效率低且评估标准不统一。流程复杂性：广告算法场景增多，每个场景下的特征评估流程有明显差别，流程变得越来越复杂。为了更高效地构建并筛选出优质特征，爱奇艺广告算法团队与大数据团队合作，基于 Opal 机器学习平台对广告特征评估流程进行改进，并借...

原创 新一代风控特征平台 RiskFactor ：让黑产对抗进入复兴号时代

01背景互联网风控是一个高对抗的领域，黑产为了攫取高额利益会持续不断尝试突破风控体系，而风控体系中，特征数据是核心要素。特征生产的速度，直接决定了黑产对抗的效果。风控特征通常是基于风险刻画沉淀的介质数据 (list) 或基于用户行为的累计数据 (velocity) 。举个例子，虚拟手机号名单，就是有「虚拟手机号」风险的手机号列表，而某个设备 ID 一小时内登录次数，就是基于用户登录行为的累计数据...

原创 爱奇艺 Opal 机器学习平台：特征中心建设实践

01综述Opal 是爱奇艺大数据团队研发的一站式机器学习平台，旨在提升特征迭代、模型训练效率，帮助业务提高收益。整个平台覆盖了机器学习生命周期中特征生产、样本构建、模型探索、模型训练、模型部署等在内的多个关键环节。其中特征作为模型训练的基石，其重要性不言而喻，如何让用户借助平台的能力，提升其业务侧特征迭代效率，从而达到预期的目标，是作为平台方需要思考的关键问题之一。在 Opal 中，特征生产、...

原创 春晚直播稳定性保障实践

每年的央视春晚直播，是对爱奇艺直播链路上所有技术团队的一次大考。央视春晚除了会引起服务接口QPS的暴涨，也会对CDN带宽和核心机房带宽带来瞬间的压力。此外，直播对线上故障处理时间的要求特别高，因此直播链路上的各个环节都要做好充分的高可用性保障。整个直播链路，大致可以分为信号编码与切片处理、CDN分发与回源、节目播放请求处理、视频切片下载与播放四个环节。本文分别介绍这四个环节在2024央视春晚中的稳...

转载 爱奇艺公有云对账标准化实践

01背景云成本系统化管理公有云作为基础架构部核心资源之一，其成本占比逐年上升，企业对于公有云成本实施精细化管理的需求越来越高。相较于私有化部署主要关注服务器、网设、带宽等资源的成本管理方式，使用公有云服务面临多厂家、多产品、多折扣、多套餐、多优惠方案、多账单格式等多个维度的问题，从部门、业务、项目、资源类别等不同维度实现成本可视化的难度指数级增大。简单列举当前阶段多云成本管理存在的问题：管理和...

转载 Opal 机器学习平台：爱奇艺数智一体化实践

01综述Opal 是爱奇艺大数据团队研发的机器学习平台，包含特征生产、样本构建、模型训练、模型部署在内的多环节 Bigdata + AI 开发服务，内置多种训练镜像、特征算子、效率工具，为用户提供低门槛、高性能的数智应用开发工程化能力，覆盖了推荐、广告、风控等多个业务场景，帮助业务提升特征迭代、模型训练效率，进而提升业务效果。背景近年来，机器学习、深度学习算法在推荐、广告、搜索、风控等业务场景...

原创 构建强韧：爱奇艺VRS系统可用性建设实践

导语：爱奇艺作为网络视频播放平台，其核心服务是播放用户选择的视频内容。VRS（Video Relay Service）是公司所有平台播放功能的入口服务，它的主要功能包括播放策略控制（播控）、码流选择和下发视频文件地址等。VRS 系统的正常运行直接关系到爱奇艺的正常使用，因此对故障发生和故障时长的容忍度极低。在业务迭代过程中，保障并不断提高VRS系统的高可用、容灾和故障恢复能力一直是VRS团队最重要...

转载 播放全链路压测实践之路

01背 景播放链路是爱奇艺最重要的业务，链路稳定性极其重要，随着爱奇艺用户的不断增长和热播剧集的推广，播放链路往往面临着难以预估的用户流量的突增，考验着链路中各个服务系统的稳定性和性能，这也直接影响着大量用户的观影体验，实施全链路压测已经成为重要且必要的课题。为什么要进行链路级的压测，单机、单系统压测为何不可达成目标？线上容量 ≠ 单机容量 * 数量：线上运行环境是复杂多变的，即使配置相同的机器...

转载 爱奇艺数据湖实战 - 实时湖仓一体化

01 概述数据是洞察用户、市场、运营决策的基础资料，在爱奇艺被广泛应用在推荐、广告、用户增长、营销等场景中。爱奇艺大数据业务之前采用 Lambda 架构，满足海量数据处理、时效性等方面需求，但开发维护及资源成本高，同时还存在数据孤岛问题。最近几年兴起的以 Iceberg、Hudi、Delta Lake 为代表的数据湖技术为构建统一的数据架构提供了基础。爱奇艺大数据团队在 2020 年引入 Ic...

原创 一次Redis访问超时的“捉虫”之旅

01引言作为后端开发人员，对Redis肯定不陌生，它是一款基于内存的数据库，读写速度非常快。在爱奇艺海外后端的项目中，我们也广泛使用Redis，主要用于缓存、消息队列和分布式锁等场景。最近在对一个老项目使用的docker镜像版本升级过程中碰到一个奇怪的问题，发现项目升级到高版本镜像后，访问Redis会出现很多超时错误，而降回之前的镜像版本后问题也随之消失。经过排查，最终定位问题元凶是一个涉及...

原创 爱奇艺APP Android低端机性能优化

01背景介绍在智能手机市场上，高端机型经常备受瞩目，但低端机型亦占据了不可忽视的份额。众多厂商为满足低端市场的需求，不断推出低配系列手机。另外过去几年的中高端机型，随着系统硬件的快速迭代，现已经被归类为低端机型。爱奇艺APP拥有庞大的用户基群，其中低端机型用户也占据了相当一部分。低端机优化能给这部分用户带来稳定、流畅、高效的使用体验。下面将从冷启动、流畅性、加载速度三个维度介绍爱奇艺APP对...

原创 爱奇艺 CTR 场景下的 GPU 推理性能优化

01背景介绍GPU 目前大量应用在了爱奇艺深度学习平台上。GPU 拥有成百上千个处理核心，能够并行的执行大量指令，非常适合用来做深度学习相关的计算。在 CV（计算机视觉），NLP（自然语言处理）的模型上，已经广泛的使用了 GPU，相比 CPU 通常能够更快、更经济的完成模型的训练和推理。CTR (Click Trough Rate) 模型广泛使用在推荐、广告、搜索等场景中，用来估算用户点击某...

转载 爱奇艺数据湖实战 - Hive数仓平滑入湖

爱奇艺基于 Hive 构建了传统的离线数据仓库，支持了公司运营决策、用户增长、视频推荐、会员、广告等业务需求。近几年，随着业务对数据实时性的更高要求。我们引入了基于 Iceberg 的数据湖技术，大幅提升数据查询性能及整体流通效率。从性能和成本角度考虑，将现有的Hive表迁移到数据湖是必要的。然而多年来，大数据平台上已经积累了数百 PB 的 Hive 数据，如何将 Hive 迁移到数据湖，成为我们...

原创 稀疏大模型在爱奇艺广告排序场景中的实践

01背景与现状1、广告领域数据特点广告领域数据可以分成：连续值特征和离散值特征。不同于 AI 图像、视频、语音等领域，广告领域内的原始数据大多以 ID 形式呈现，比如用户 ID、广告 ID、与用户交互的广告 ID 序列等，而且 ID 规模较大，形成了广告领域数据高维稀疏的鲜明特点。连续值特征既有静态的（比如用户的年龄），也有基于用户行为的动态特征（比如用户点击某行业广告的次数）。优点是具备良...

原创 爱奇艺图片格式演进

01 背景图片是爱奇艺APP页面的主要视觉元素，对整体用户体验有着至关重要的影响。同时，由大量启动带来的图片CDN峰值带宽成本也有待降低。因此，在努力提升用户体验的同时，优化图片CDN峰值带宽成本已成为一项关键任务。而决定图片显示质量和文件体积的编解码格式，就是优化的关键所在。1、图片格式简介爱奇艺APP中使用了各种各样的图片格式，具体对比如下：格式是否支持透明是否支持动图爱奇艺APP使用场景...

原创 奇异果投屏的进化之路

笔者按：奇异果投屏伴随奇异果TV一路发展至2022年，日活用户已达300多万，用户和我们都对投屏的功能和性能提出了更多的诉求和更高要求，因此2022开始系统地对投屏功能和性能做了扩展和优化。本文立足于TV端，为大家介绍爱奇艺站内投屏优化过程中面临的困难和解决方案，虚心以待您的指正和建议。01 优化历程回顾自2022年初接手投屏功能，先后开展了功能扩展、报障处理提效等工作，至2022年底仍深感投...

转载 工信部发布2023移动互联网应用服务能力优秀案例 爱奇艺两项目入选

2024年1月，工业和信息化部通信管理局公布2023年移动互联网应用服务能力提升优秀案例名单。“爱奇艺主动式合规风险处置平台——覆盖APP全业务流程的风险监测与处置”“爱奇艺全生命周期隐私保护方案”，分别入选“完善制度规程，加强全流程合规管理”和“研发部署技术手段，增强风险防范能力”领域优秀案例。同期获选优秀案例的公司包括华为、中国移动等。据悉，工信部本次评选旨在推荐企业先进经验和做法，推动提升移...

原创 微服务不死 — 共享变量在策略引擎项目的落地详解

01 背景1、共享变量的提出前段时间，来自亚马逊 Prime Video 团队的一个案例研究在开发者社区中掀起了轩然大波。大体是这样一件事，作为一个流媒体平台，Prime Video每天都会向客户提供成千上万的直播流。为了确保客户无缝接收内容，Prime Video需要构建一个监控工具来识别客户所查看的每个流中的质量问题，这提出了极高的可扩展性要求。对此，Prime Video团队优先考虑了微...

原创 TV端Web页面性能优化实践

01 背景随着互联网技术的持续创新和电视行业的高速发展，通过电视观看在线视频已经逐渐成为大众的重要娱乐方式。奇异果App作为在TV设备上用户活跃度最高的应用之一，为广大用户提供了丰富的内容播放服务，除此之外，同样有会员运营、专题活动等上线效率要求极高的服务提供给用户。为满足后者的诉求，我们调研了目前主流的动态化和跨端技术：H5、Flutter 和 React Native，最终从开发效率、人力...

原创 爱奇艺H5专题页打造原生体验优化实践

01 项目背景H5专题及活动页面一直是公司大剧热综宣传、App拉新促活的重要承载方式，其在各个业务领域中扮演着至关重要的角色。与此同时，也存在着一些弊端而广受诟病。比如页面打开速度慢，白屏现象、端内H5顶部标题栏与页面内容割裂等。我们针对这些问题与webview团队深入合作，沟通尝试各种解决方案，着重优化用户体验和页面性能，目前已经取得一定进展，现将一些实践经验分享给大家，以供参考。02 ...

原创 爱奇艺大数据离在线混部

混部作为一种提高资源利用率、降低成本的的方案，被业界普遍认可。爱奇艺在云原生化与降本增效的过程中，成功将大数据离线计算、音视频内容处理等工作负载与在线业务进行了混部，并且取得了阶段性收益。本文重点以大数据为例，介绍从 0 到 1 落地混部体系的实践过程。01 背景爱奇艺大数据支持了公司内运营决策、用户增长、广告分发、视频推荐、搜索、会员等重要场景，为业务提供数据驱动引擎。随着业务需求的增长，计...

转载 桃厂Hack Day，开启未来娱乐世界！

原创 爱奇艺效果广告双出价优化历程

01 项目背景效果广告的投放是一个博弈的场景：媒体平台希望流量卖出最高的价格，客户希望广告的投放成本和后端效果达标。随着效果广告行业的发展，客户不再满足于仅考核唤醒、激活等浅层转化的效果，越来越多的广告主向媒体平台表达优化后端效果的诉求。后端效果包括次留率、付费率、首日付费ROI等多种深层转化类型。这篇文章，我们将回顾讲述，效果广告在出价模式上的优化历程。广告媒体平台一般采用双出价模式来同时保...