阿里妈妈技术

原创 更真、更像、更美：阿里妈妈重磅升级淘宝星辰视频生成大模型 2.0

▐淘宝星辰·懂你，更懂电商【淘宝星辰】是由阿里妈妈基于自研的淘宝星辰视频生成大模型推出的视频AIGC工具。近日，淘宝星辰视频生成大模型重磅升级 2.0，同步升级并上线【淘宝星辰·图生视频 2.0】！通过对数据飞轮、3D VAE、淘宝星辰视频生成大模型等核心模块的全面升级，【淘宝星辰·图生视频 2.0】在AIGC的“真、像、美”核心三维度显著提升，抽卡成功率和过审率均达到了规模化的要求。...

原创 提效10倍：基于Paimon+Dolphin湖仓一体新架构在阿里妈妈品牌业务探索实践

1. 业务背景阿里妈妈品牌广告数据包括投放引擎、下发、曝光、点击等日志，面向运筹调控、算法特征、分析报表、诊断监控等应用场景，进行了品牌数仓能力建设。随着业务发展，基于Lambda架构的数仓开发模式，缺陷日益突出：数据开发效率低，面向一些业务场景，需要同时开发离线和实时两套任务，开发和运维成本增加。存储成本增加，需要维护离线和实时两份存储，存储代价大。即使实时数仓开发，也需要将存储在TT的各层数据...

原创 广告深度学习计算：阿里妈妈大模型服务框架HighService

一、背景HighService(High-Performance Pythonic AI Service) 是在支持阿里妈妈业务过程中，不断提炼抽象出的高性能Python AI服务框架，支持视频、图文、LLM等多种模型，能够显著加快模型的推理速度，提高集群的资源利用效率。随着SD (StableDiffusion)，LLM (Large Language Model) 等大模型在阿里妈妈各个业务场...

原创 算法&工程20+岗位，淘天集团研究型实习生新批次开启招聘！

原创 错过再等一年！《2024阿里妈妈技术年刊》开放下载~

新春将至，一年一度阿里妈妈技术年刊也如约到来啦~2021 年 5 月，我们开始通过「阿里妈妈技术」微信公众号持续分享我们的技术实践与经验，覆盖广告算法实践、AI 平台及工程引擎、智能创意、风控、数据科学等多个方向。每年此时，我们都会整理过去一年颇具表性和创新性的工作沉淀制作成册，作为“新年礼物”送给大家。《2024阿里妈妈技术年刊》收录了28篇文章，这些工作有的已为业务创造实际收益，有的是一些...

原创 Model-based RL自动出价算法的演进之路

▐导读近年来，强化学习自动出价算法已成为智能投放领域的标志性技术，然而其所存在的在离线不一致、线上数据覆盖空间受限等关键问题尚未被完全解决。在本文中，我们提出一种Model-based RL（MBRL）自动出价算法训练新范式，进一步缓解上述两点挑战。经过一年的迭代，MBRL自动出价算法已在阿里妈妈万相台无界版全站推场景、货品场景、关键词场景和精准人群推广场景中完成扩流，显著增强了投放效果。未来，...

原创 请查收 | 2024 阿里妈妈技术热门文章

新年伊始，万象更新！感谢读者朋友们一直以来的支持与关注~本期为大家带来2024年度阿里妈妈技术最受欢迎的10篇文章，欢迎阅读&收藏。愿大家常读常新，常有收获~新的一年，期待与大家以蓬勃向上的朝气共同进步，以精益求精的匠心稳健成长！01.重磅！阿里妈妈新一代反作弊平台「DNA」算法揭秘???? 本文介绍 DNA 平台 DeepString 算法框架的理念，并给出了一些实例示意便于理解。其核心是流...

原创 KDD'25 | 生成式拍卖：感知排列外部性的整页优化机制

从“先预估后分配”的判别式方法，到直接面向最终拍卖结果的生成式方法，生成式模型能否为在线广告的拍卖机制优化带来持续增量？本文介绍阿里妈妈展示广告机制策略团队在 AIGA（AI-Generated Auction）方向的前沿探索-生成式拍卖研究工作。1. 摘要广告拍卖机制设计作为在线广告系统的重要一环，在持续优化广告主和平台收益方面起着至关重要的作用。传统的广义二价拍卖（GSP）等拍卖机制依赖于点击...

原创 开源 | AuctionNet: 针对大规模博弈环境的出价决策Benchmark

▐ 摘要大规模博弈环境中的决策智能是人工智能领域内的重要研究方向，对实际应用具有深远影响。然而，由于缺乏全面且真实的博弈环境及相关数据集，这一领域的进展受到了限制。为了解决这一问题，本文提出了一种基于在线广告行业的自动出价决策问题的Benchmark，并命名为AuctionNet。AuctionNet包括一个大规模广告竞拍环境、基于该环境预生成的数据集以及几种基础出价决策算法的效果评估。广告竞拍...

原创 揭秘阿里妈妈『AI小万』背后的AI Native工程能力

1. 背景“AI小万”是阿里妈妈基于先进AI能力给广告商家打造的AI数字员工，作为个性化的推广管家帮助商家在淘宝平台更好地进行营销推广。它通过对话方式对客户的精准意图进行识别，辅助多轮会话及总结能力，在投放的各个环节给广告主带来个性化建议，比如依托全局营销知识库的知识问答功能，基于自然语言表达的数据快查功能，面向推广提效的诊断调优、AI巡检、早晚报、图表速成功能，面向投放过程辅助的AI选词及悉语文...

原创 NeurIPS'24 | FlowDCN：基于可变形卷积的任意分辨率图像生成模型

本文分享阿里妈妈智能创作与AI应用团队在任意分辨率图像生成模型的最新工作，基于该项工作整理的论文已被NeurIPS2024录用，欢迎阅读交流。论文：Exploring DCN-like Architectures for Fast Image Generation with Arbitrary Resolution作者：Shuai Wang, Zexian Li, Tianhui Song, Xu...

原创 重磅！阿里妈妈新一代反作弊平台「DNA」算法揭秘

▐摘要阿里妈妈风控团队支撑数十个产品线，能力覆盖站内、站外媒体相关的各种广告业务。面对层出不穷、频繁更迭的新业务场景、新风险类型，传统的领域经验驱动的治理效率是远远不够的。为了解决其中的各项问题，风控团队过去2年打造了新一代的阿里妈妈反作弊平台（Deepstring oN Alimama Defense Force，DNA）。其核心是流批一体的算法框架 DeepString，利用大模型去学习业务...

原创 视频解说生成算法及在电商广告中的应用

本文分享阿里妈妈智能创作与AI应用团队关于视频解说生成的探索与实践，相关工作已应用在多个核心广告场景。基于该项工作整理的论文已被 ACL 2024 录用，欢迎阅读交流。论 文：Synchronized Video Storytelling: Generating Video Narrations with Structured Storyline作 者：Dingyi Yang, Chunru Zh...

原创 阿里妈妈技术开源 FLUX 图像修复及蒸馏加速模型

1. 概述阿里妈妈智能创作与AI应用团队近期开源了两项 FLUX 文生图模型的的实用配套模型。Black Forest Lab 的 FLUX [1] 文生图模型具有更高的生成画面质量和指令遵循能力，一经推出便受到业界广泛关注，也有很多优秀的控制插件和 Lora 微调模型陆续跟进。但是，通过修复（Inpainting）进行可控生成的插件还未有公开可用的模型，另一方面 FLUX 12B 的参数量会带来...

原创 面向因果效应估计的耦合生成对抗模型

1. 背景营销的价值一直是一个困扰广告主的问题：广告费到底花的值不值？如果不投广告，我的店铺生意会有什么样的变化？在淘系场景中广告流量与自然流量共存的场景下，广告是否会挤占自然流量？这些问题归根结底是，广告主无法有效验证平行宇宙中的另一种对照行为。在淘系竞争的场景下，该问题归结为因果推断中的干预价值问题，主要体现为以下两点：如果竞得了本次曝光机会，是否有增量价值，引导消费者来店成交如果放弃参竞本次...

原创 KDD'24 | 合约广告中的双目标库存分配

▐ 摘要合约广告（GD）分为两个不同的阶段，即离线售卖阶段和在线投放阶段。前者进行合约库存分配，主要考虑库存利用率的提升从而提升收入；后者则针对合约进行广告投放展示，考虑履约完成率。现有的研究通常将这两个阶段分开处理，订单在离线售卖阶段时，并不考虑在线投放阶段的实际情况。本文提出一种用于合约广告的双目标库存分配方法，旨在最大化分配给新广告订单的展示次数（即库存分配）提升库存利用率的同时，优化库存分...

原创 ECCV2024 | SPLAM：基于子路径线性近似的扩散模型加速方法

▐ 导读阿里妈妈AI创意生产工具-万相实验室，已经广泛服务于电商多个业务场景，帮助商家快速制作创意图片，降低成本和提升投放效果。在此之前，公众号已经分享了其背后电商文生图基础模型和可控生成相关工作，随着使用客户的不断增多，以及平台对于规模化制作的诉求，如何加快图像扩散模型的生成速度是急需解决的问题。本文介绍了我们和南京大学王利民教授课题组合作完成的加速扩散模型生成速度上的新工作：SPLAM（基于子...

原创 展示广告预估技术最新突破：基于原生图文信息的多模态预估模型

一、摘要目前，搜索推荐及广告领域的预估模型主要基于大规模稀疏ID特征结合MLP构建。然而，ID特征难以刻画item的内容语义信息，因此业界一直在探索如何引入原生多模态内容信息以提升模型性能。为此，需要思考几个关键问题：多模态信息在预估模型中带来效果提升的关键，以及如何设计预训练任务以获取多模态表征；在基于ID体系的预估模型中如何释放多模态表征的效果。本文将介绍阿里妈妈展示广告团队在预估模型与多模态...

原创 AIGB：基于生成式模型的自动出价优化新范式

导读：去年，我们提出了AIGB的初步设想与方案（延展阅读：Bidding模型训练新范式：阿里妈妈生成式出价模型（AIGB）详解）。经过一年的深入探索，我们完成了AIGB的完整方案，并在实际在线广告平台大规模预算AB测试中取得了显著效果。值得一提的是，AIGB的研究成果已被KDD 2024大会接收。在本文中，我们将基于KDD公开发表的论文，详细分享这一全新的自动出价优化范式。论文：AIGB: Gen...

原创 25届秋招同学专属 | 妈妈技术&淘天算法技术OpenDay，欢迎报名入园交流

原创 KDD'24 | 合约广告中大规模多重线性约束库存分配问题的高效局部搜索算法

▐ 摘要合约广告（Guaranteed Delivery Advertising）是在线广告的重要组成部分，合理的合约库存分配机制直接提升客户需求和平台收入。随着广告客户需求的越来越多样化和精细化，在业务场景中经常出现媒体偏好需求，即适合投放在指定媒体的广告在该媒体上分配的比例应该大于另一些不适合在该媒体投放的广告。然而，这些需求涉及到非凸的多重线性约束，会给合约广告的库存分配带来挑战，而数学规划...

原创 CausalMMM：基于因果结构学习的营销组合建模

1. 摘要在线广告中，营销组合建模（Marketing Mix Modeling，MMM） 被用于预测广告商家的总商品交易量（GMV），并帮助决策者调整各种广告渠道的预算分配。传统的基于回归技术的MMM方法在复杂营销场景下效果不尽如人意。尽管一些研究尝试使用因果结构进行更好的预测，但它们有一个严格的限制，即因果结构是事先已知且不可改变的。在本文中，我们定义了一个新的因果MMM问题，以自动从数据中发...

原创 展示广告预估模型优势特征应用实践

1. 简介本文介绍阿里妈妈展示广告Rank团队对优势特征的应用实践。优势特征是指预估模型在线无法获取但离线能用于提升模型能力的特征。一种经典的优势特征使用方法是优势特征蒸馏（PFD）[1,2]：PFD方法使用全部特征（包括优势特征）来训练教师模型，然后利用以非优势特征（离在线均可得的常规特征）为输入的学生模型蒸馏教师模型能力，并用于在线打分。对于预估模型，我们通常会使用准度和排序能力来作为评价指标...

原创 展示广告多模态召回模型：混合模态专家模型

✍???? 本文作者：俊广、卓立、凌潼、青萤1. 背景随着在搜索、推荐、广告技术上多年的迭代积累，业界逐步形成了召回（匹配）、粗排、精排这一多阶段的系统架构。其中，召回作为链路的最前端，决定了业务效果的天花板。召回阶段的主要目的是从全量广告库中高效筛选高质量top-k集合给后链路进一步打分&排序。近年来，随着机器学习，尤其是深度学习技术的发展，学术界及工业界已经全面进入到了 model-base...

原创 阿里妈妈技术团队4篇论文入选 KDD 2024

近日，国际知识发现与数据挖掘大会 (ACM SIGKDD Conference on Knowledge Discovery and Data Mining，简称 KDD) 论文接收结果公布，阿里妈妈技术团队有4篇论文被录用。KDD 2024 是中国计算机学会（CCF）推荐的A类国际学术会议，也是数据挖掘领域的顶级会议，今年将于8月25-29日在西班牙巴塞罗那召开。本届会议 Research Tr...

原创 筑基砥柱：EcomXL-万相实验室AIGC电商基础模型

✍???? 本文作者：顾知、岁星、天扉、佳玏、允行一、背景随着生成式技术浪潮的兴起，Stable Diffusion结合Controlnet等控制能力在电商场景得到了广泛的应用，其中制作一张优秀的商品主图（亦或是广告的创意图，以下简称商品图）对商品的点击转化有着重要影响，商家往往需要投入不少时间和资金成本。如何通过AIGC能力来帮助商家节省成本、提高制作效率和投放效果是阿里妈妈万相实验室的初衷。随着20...

原创 百变背景：万相实验室AIGC电商图片可控生成技术

✍???? 本文作者：云芑、因尘、岁星、也鹿1. 背景随着AI生成内容（AIGC）技术如Diffusion的飞速进展，现如今，大家已能够轻易地使用Stable Diffusion（SD）[1]等文生图的模型或工具，将心中所想仅凭语言描述（prompt）即转化为具体图像。基于此，我们不禁思考：是否有可能进一步发展该技术，允许用户通过描述来为商品定制特定背景，从而协助商家快速且轻松地打造理想的商品图像？例如...

原创 乘风破浪，川流入海 —— LLM在阿里妈妈智能文案的应用

1.引言在现代广告系统中，文案是不可或缺的一部分，几乎参与了广告素材的各个地方。随着NLP技术的极速发展，广告主逐渐学会并习惯使用文案生成工具直接或者间接的参与到广告的制作中，这为NLP技术在广告场景的应用提供了巨大的潜力和机会。阿里妈妈智能创作与AI应用团队在广告文案方面做了长期的工作，并积累的一定的技术能力。图1：智能文案应用场景举例2022年底，ChatGPT的横空出世，为NLP技术的发展的...

原创 尺寸魔方：AIGC赋能下的视觉创意智能延展

1. 概述在当今数字化营销时代，适配各种展示平台的视觉内容呈现成为了一项挑战。随着扩散模型等生成式模型的革新，生成式AI技术在图像和视频领域取得了显著的进步。特别是 Stable Diffusion (SD) 模型的发展，使得能够创造出符合各种风格的高品质、逼真的视觉作品。在这个背景下，视觉延展 (Outpainting) 技术显得格外重要，它能够扩展图像或视频的边界，以匹配不同的显示比例和尺寸需...

原创 AI生成存储基座：自研超大规模向量数据库 Dolphin VectorDB

一、业务背景随着以OpenAI为代表的AI生成式技术不断突破，在万物皆可向量化的时代直接带动向量计算和存储需求大幅提升，让向量存储和计算技术关注度达到新高，业界涌现出各类向量数据库。阿里妈妈拥有丰富的AI应用场景，我们基于过去在向量引擎的积累和AI场景下需求，在近五年时间里不断迭代升级，沉淀出Dolphin VectorDB，具有大规模、高性能、低成本且易开发的优势，在妈妈内容风控、营销知识问答、...

原创 AtomoVideo：AIGC赋能下的电商视频动效生成

✍???? 本文作者：凌潼、依竹、桅桔、逾溪1. 概述当今电商领域，内容营销的形式正日趋多样化，视频内容以其生动鲜明的视觉体验和迅捷高效的信息传播能力，为商家创造了新的机遇。消费者对视频内容的偏好驱动了视频创意供给的持续增长，视觉内容作为连接消费者和商品的桥梁，在广告系统中正变得日益重要。然而，与传统的图文内容相比，视频内容的制作难度和成本都要高得多。制作一个高质量的视频需要专业的技能、设备以及时间，这...

原创 合约广告中基于风险约束的Pacing算法优化

摘要：本文提出一种适用于合约保量广告的预算平滑Pacing算法，该算法通过对偶出价因子的百分位位置联动调控Pacing，兼容保量分配机制的同时，有效控制了预算释放过快的风险，并且最大程度兼顾了投放效果的提升。基于该项工作整理的论文已发表在AAAI'24，欢迎阅读交流。论文：Percentile Risk-Constrained Budget Pacing for Guaranteed Displa...

原创 阿里妈妈营销隐私计算平台SDH：公用云应用案例分享

一、概览阿里妈妈营销隐私计算平台Secure Data Hub（以下简称“SDH”）是一个面向广告引擎、广告主、三方DSP/DMP等合作方，在隐私安全环境下进行数据融合、隐私计算、联合建模的 Data Clean Room 产品（延展阅读：阿里妈妈营销隐私计算平台SDH在公用云的落地实践）。SDH利用多方安全计算、联邦学习、差分隐私等隐私增强计算技术，解决广告营销场景中数据孤岛和跨域数据流通问题。...

原创 开放下载 | 2023 阿里妈妈技术年刊来啦！

新春将至，一年一度阿里妈妈技术年刊也如约到来啦~2021 年 5 月，我们开始通过「阿里妈妈技术」微信公众号持续分享我们的技术实践与经验，覆盖广告算法实践、AI 平台及工程引擎、智能创意、风控、数据科学等多个方向。每年此时，我们都会整理过去一年颇具表性和创新性的工作沉淀制作成册，作为“新年礼物”送给大家。《2023阿里妈妈技术年刊》收录38篇文章，涵盖机制策略、预估模型、召回匹配、智能创意、...

原创 视频尺寸魔方：分层遮掩3D扩散模型在视频尺寸延展的应用

▐ 摘要视频延展(Video Outpainting)是对视频的边界进行扩展的任务。与图像延展不同，视频延展需要考虑到填充区域的时序一致性，这使得问题更具挑战性。在本文中，我们介绍了一个新颖的基于扩散模型的视频尺寸延展方法——分层遮掩3D扩散模型(Hierarchical Masked 3D Diffusion Model, M3DDM)。通过遮掩建模的训练方法以及把全局视频片段引入交叉注意力层，...

原创 请查收 | 2023 阿里妈妈技术热门文章

新年伊始，万象更新！感谢过去一年每位读者朋友的支持与关注本期为大家带来2023年度阿里妈妈技术最受欢迎的10篇文章，欢迎阅读&收藏。愿大家常读常新，常有收获~新的一年，期待与大家以蓬勃向上的朝气共同进步，以精益求精的匠心稳健成长！01.阿里妈妈广告智能决策技术（自动出价&拍卖机制设计）的演进之路???? 随着智能化营销产品和机器学习的发展，阿里妈妈将深度学习和强化学习等AI技术越来越多...

原创 阿里妈妈营销隐私计算平台SDH在公用云的落地实践

一、概览如何在营销场景下安全合规的使用数据，维护在线广告商业模型的核心运作，成为当下广告生态中各企业亟需解决的问题。阿里妈妈一直注重对于隐私数据的安全合规使用，最大限度地保护用户隐私和数据安全。继上篇分享阿里妈妈营销隐私计算平台Secure Data Hub（以下简称“SDH”）在集团生产环境的技术方案后（延展阅读：广告营销场景下的隐私计算实践：阿里妈妈营销隐私计算平台SDH），本篇分享阿里妈妈营...

原创 大模型时代的阿里妈妈内容风控基础服务体系建设

???? 本文作者：御医、陌奈、列宁、陌瑶、加木、吉多一、内容风控业务背景及挑战1.1 业务背景内容作为营销的重要载体，能够促进信息的交流和传播。在营销场景中，广告高曝光的特性放大了风险外漏带来的一系列问题，少数用户为了引流获利，可能会发布一些涉嫌违规内容，也存在部分用户对广告法的理解存在偏差，误发布涉嫌违规内容。对于发布平台而言，如果这些内容确实违反法律法规，将会影响用户对平台的正面评价。因此，阿里妈...

原创 NeurIPS 2023 | RGIB：对抗双边图噪声的鲁棒图学习

▐ 摘要链接预测[1,2]是图学习的一种基础任务，用于判断图中的两个节点是否可能相连，被广泛应用于药物发现、知识图谱补全和在线问答等实际场景。尽管图神经网络（Graph Neural Network，GNN）在该问题的性能上取得了显著进步，但在图结构噪声下的差强人意的鲁棒性仍是当前深度图模型的实际瓶颈。在鲁棒图学习方面，早期工作探索了通过邻近节点的平滑效果来提高GNN在节点标签噪声下的鲁棒性，其他...

原创 HC^2：基于混合对比学习的多场景广告预估建模

1. 摘要多场景广告预估建模旨在利用多场景的数据来训练统一的预估模型，以提高各个场景的效果。尽管现有研究方法在推荐/广告领域已取得了不错的提效，但现有的建模方式仍然缺乏跨场景关系的考虑，从而导致模型学习能力的限制和场景间相互关系建模的困难。在本文中，我们提出了一种用于多场景广告预估建模的混合对比学习方法HC^2。为增强跨场景数据相互关系的建模，我们精心设计了一种混合对比学习方法来协助模型捕获多个场...