当搭配遇上个性化推荐

当算力遇上端午节,粽子都能智能推荐了? 锣鼓声响、龙舟破浪、粽叶飘香……这是我们熟悉的端午节。但在未来,节日的“打开方式”彻底变了样:龙舟可以自动划、水上竞技靠AI指导、粽子口味是AI定制、直播能360°云看比赛……科技这股“算力风暴”,直接把端午节玩出了“元宇宙”的感觉! 阅读详情

今天介绍的是一篇个性化搭配推荐的论文,是 2017 年时候的论文,这也是比较早的开始结合搭配和个性化推荐的一个工作,基于度量学习和排序学习的方法。

论文题目:FashionNet: Personalized Outfit Recommendation with Deep Neural Network

论文地址:https://www.ijcai.org/proceedings/2017/0239.pdf

概览

将推荐加入到搭配中,实现个性化搭配的推荐。采用的也是深度学习的算法-- CNN 模型,具体实现就是用 VGG-16 网络模型作为基础,实现 FashionNet 模型,一个 FashionNet 模型包括两个网络,特征提取网络和实现搭配的匹配网络,这部分作者设计了 3 种网络结构,并做了对比实验,而在训练上采用的两阶段训练策略,即先训练一个通用的搭配模型,然后加入用户信息来微调网络模型,此外网络的最终结构如下所示,输入两套搭配,正样本是训练集 polyvore ,也就是用户自己上传的搭配,负样本就是随机选择衣服的搭配,分别通过 FashionNet,然后计算 RankLoss。


研究方法

本文研究的问题类似于度量学习,度量学习需要学习的是物体间的距离,或者说是相似性,而搭配需要学会的是衣服之间的匹配性;

网络结构

设计了三种网络结构,如下图所示。

FashionNet A

第一种网络结构,输入的时候将一套搭配里的衣服图片在颜色通道上进行concat,得到的就是一个 w*h*9 的输入图片,然后输入 VGGNet 网络,提取特征,接着是 1 个 FC(全连接)层+ softmax,输出两个数值,表示喜欢和不喜欢的概率;

这个网络的特点就是将特征学习和匹配性衡量都集成在一起;

FashionNet B

第二种网络结构,输入的时候并不会将搭配中的衣服图片 concat 起来,而是分别传入单独的 VGGNet 中,但每种衣服经过的网络都是相同的,也就是都被影射到共同的隐空间中,然后提取到的特征 concat 起来,后面跟着 3 个 FC 层 + softmax。

FashionNet C

前两个网络的问题:

  1. 在获取高阶关系的时候会有困难;

  2. 造成数据空间的扩大(原始数据或者特征空间),这要求大量的训练样本,但实际上并没有足够数量的训练样本;

因此,第三种网络结构,特征提取部分和 FashionNet B 是一样的,但是之后则是将任意的两个衣服提取到的特征 concat,经过各自的匹配网络(3FC+softmax),匹配网络的数量就和搭配数量有关系了;不同的匹配网络应用于不同类型衣服对,比如上装-鞋子,上装-下装对等,匹配网络的结果会累加起来得到搭配的最终得分 s。

训练网络模型

最终训练的网络结构如下图所示,

个性化搭配推荐不仅仅涉及到度量学习,还是是一个排序学习(learning-to-rank )问题,输入是正负样本对,分别输入一个 FashionNet ,网络输出的评分 s ,再采用 rank loss 计算 Loss。公式如下图所示:

训练

采用两阶段训练策略的原因有:

  • 每个用户的搭配数量是比较少的,特别是如果需要训练一个性能很好的神经网络;

  • 很多用户的搭配都比较相似,这些相似的搭配数量并不少;

  • 尽管每个用户的搭配审美都不完全相同,但还是存在很多通用的搭配尝试,比如衬衫通常都会搭配牛仔裤

基于以上的原因,选择两阶段训练网络的策略。

第一阶段的训练是学习一个通用的搭配网络模型,在这一步,会丢弃用户信息,将所有的搭配都混合在一起,然后训练网络。一个训练样本是正样本和负样本的搭配对,采用在 ImageNet 上预训练好的参数初始化 VGGNet,其他的网络层参数则是通过高斯分布进行初始化;

第二阶段是训练用户特定的模型(user-specific model)来进行个性化推荐。初始化是用第一步训练好的网络模型参数,接着使用每个用户的数据来微调网络。

对于上述的 3 种网络结构在第二阶段的微调,是这样设置的:

  1. FashionNet A 的微调是对整个网络都微调(特征提取和匹配网络);

  2. 对于 B 和 C 两个网络,有两种策略:

  • 微调整个网络,特征提取网络和匹配网络都会有个性化的参数,也就是对不同的用户,同样的衣服会有不同的特征表示;

  • 固定特征提取网络,仅微调匹配网络。这种做法会加快训练速度,实际应用中更多的微调都是这种做法。

三种网络结构的参数设置情况如下所示:


实验

数据集

采用的 Polyvore 数据集,包含来自 800 个用户上传的搭配数据,每套搭配是三件衣服--上装、下装和鞋子,将 polyvore 作为正样本,负样本则是随机选择上装、下装和鞋子得到的搭配。

数据集分为训练集、验证集和测试集,在每个集合中,每个用户的正样本数量分别是 202,46 和 62,而负样本则是正样本的 6 倍,也就是 1212,276 和 372。

指标

NDCG 评价标准,用来评价一个排序的列表,其公式如下所示,第 m 个位置的 NDCG 是:

 表示一个理想排序的得分,对于正样本, 是 1,负样本是 0;

NDCG 的最优数值是 1;

Mean NDCG 是 NDCG@m (m=1,....M,表示排序的长度)的均值;

最终采用的指标:

  • mean NDCG:所有用户的 mean NDCG@m,也就是先计算不同m数值的NDCG,然后求平均,再除以用户数量;

  • average of NDCG @m:所有用户的NDCG@m,不同m值的均值(仅除以用户数量)

  • top-k 结果中正样本的数量(特定的 k 数量)

参数设置

使用的框架是 Caffe,batch 为 30,epoch 是 18。

学习率的策略参考论文《Return of the devil in the details: Delving deep into convolutional nets》。

实验结果

实验结果如下图所示:

上图中,Initial 是采用初始化参数的结果,也就是预训练模型的结果,Stage one 就是训练好第一阶段的模型,Stage two (partial)  和 Stage two(whole) 就是第二阶段的微调的两种策略,前者就是固定特征提取网络,微调匹配网络,后者就是整个网络都微调;Stage two(direct) 是不经过第一阶段的训练,直接微调网络的结果,应该就是直接用每个用户的数据来训练一个网络模型的结果。

通过实验结果的对比,可以得到这四个结论:

  1. FashionNet A vs B、C 前者是将特征提取和匹配计算都放在一个网络中,而后面两种网络是分开这两种功能,实验结果表明采用不同网络实现不同的功能,可以取得更好的性能;

  2. FashionNet B vs C 两个网络的区别是在匹配网络的设计,前者是仅设计了一个匹配网络,后者是任何两种不同类别的衣服的特征进行 concat 后,输入一个单独的匹配网络,实验结果是后者的效果更好,这表明将高阶关系分开成一系列成对组合是更佳的解决办法;

  3. 两阶段训练策略 对比第一阶段和第二阶段的结果,后者效果更好,这也说明微调是非常有用的技术;

  4. Stage two (partial)  vs Stage two(whole) 实验结果表明后者的效果更好,这表明学习一个特定用户的特征表示对于推荐任务很有帮助,但这种策略的训练时间会更久,它需要重新计算所有衣服的特征,因此,实际应用会采用效果稍差的第一种方法,仅仅微调匹配网络。


小结

这篇论文的思路是结合了度量学习和排序学习的方法,并且应用了 CNN 来进行特征提取,然后计算衣服之间的匹配性,训练策略上也是从训练通用的搭配模型到训练个性化搭配模型。

不过,这里我也还是存在一个小小的疑问的:按照论文的介绍,第二步采用用户的搭配来训练个性化推荐模型,那最终就是每个用户都会训练得到一个模型,也就是用户越多,训练得到的模型数量也就越多了?

当然,这可能也是我的理解不到位,如果看过这篇论文的,也欢迎和我讨论一下。

完)


基于多智能体辩论的个性化自适应学习框架设计与实现 自适应学习系统通过动态调整学习内容和路径,旨在为每位学习者提供定制化的教育体验。其核心原理在于持续评估学习者状态并优化教学策略,技术价值在于提升学习效率与参与度,广泛应用于语言学习、技能培训等场景。本文聚焦于融合多智能体辩论机制与CEFR标准的框架,通过引入具备语法分析、词汇评估等专长的智能体进行协同辩论,生成细粒度的学习者画像,从而驱动精准的个性化内容推荐。该设计有效解决了传统系统评估维度单一、反馈滞后等痛点,为构建下一代智能化学习工具提供了工程实践参考。 阅读详情

相关推荐

NGNN:[WWW 2019]“整体着装”的代码和数据集

神经网络 WebConf2019中论文的代码和数据集:整体着装:基于节点图神经网络的服装兼容性学习 纸质数据和代码 这是WWW-2019论文:的代码。 我们已经在Tensorflow中实现了我们的方法。 我们首先在本文中提出我们在论文中使用的原始Polyvore数据集。 下载数据集后,您可以将它们放在文件夹NGNN/data/ : 您可以在这里下载预处理的数据,并将它们放在NGNN/data/文件夹中。 文件夹NGNN/data/包含一个小的数据集sample ,可用于测试代码的正确性。 用法 数据预处理被写入./data/README.md 然后,您可以运行文件NGNN/main_score.py来训练模型。 您可以根据NGNN/Config.py的用法更改参数: parameters arguments in ` NGNN/Config.py ` : epoch_n

【亲测免费】 Polyvore 数据集使用教程

Polyvore 数据集是一个用于时尚兼容性学习的开源数据集,由 Xintong Han 等人创建。该数据集包含从 Polyvore.com 网站爬取的 21,889 套服装搭配,适用于训练、验证和测试。数据集中的每个搭配包含多个时尚单品及其相关信息,如名称、价格和类别等。该数据集主要用于研究时尚搭配的兼容性,特别是在使用双向长短期记忆网络(Bidirectional LSTMs)进行学习时。 ...

gitblog_00232的博客 1257

FashionAI-MultiTask:这是天池FashionAI复赛用的多任务部分代码

FashionAI-MultiTask 这是天池FashionAI复赛用的多任务部分代码,基本模型是DenseNet 169,底下接了8个分类器,但是效果不好,才50多,复赛排名垫底了,打算继续研究这个数据的多任务实现,希望可以攻克

Polyvore

Polyvore

weixin_34082854的博客 389

fashion_compatibility_mcn:多层比较网络的装备兼容性预测与诊断

多层比较网络的装备兼容性预测与诊断 论文:多层比较网络的装备兼容性预测与诊断 王鑫,吴波,钟岳琪。 在法国尼斯的ACM MM 2019上发布。 [] [ ] [] 该存储库的内容 :主程序源代码 :基于Polyvore-T数据集。 :我们实验中的比较基准 :实验详细信息,脚本和结果等。 要求 Ubuntu 16.04,NVIDIA GTX 1080Ti(批处理大小为16),python> = 3.5.2 torch==1.0.1 torchvision==0.2.1 networkx==2.4 opencv-python==4.2.0.32 matplotlib==2.2.2 scikit-learn==0.21.2 用法 下载原始的数据集,然后解压缩文件并将image目录放入data文件夹(或者您可以为其创建软链接)。 火车 cd mcn python train.py

creating Capsule Wardrobes from Fashion Images

2018深度学习顶会论文,关于胶囊神经网络在服装搭配上的应用

精读 Recommending Outfits from Personal Closet

精读 Recommending Outfits from Personal Closet研究成果1. 研究背景与意义2. 国内外研究现状3. 本文研究过程3.1 数据收集3.2 数据清洗3.3 P/N样本创建3.4 Train/Test数据集划分3.5 服装分类流程3.6 模型设置4. 研究结果 论文链接:Recommending Outfits from Personal Closet 研究成果 本文可以对任意item组成的一套服装进行打分,并基于测试用例可以达到84%的准确率; 基于人为评估也可以达到

一扣解千愁的博客 985

DeepLearning_Notes

DeepLearning_Notes 联系方式: Github: 知乎专栏:, 微信公众号:AI 算法笔记 机器学习、深度学习的学习笔记、代码,包括教程、实战,以及论文阅读笔记和代码。 目录 论文笔记 学习笔记 数学 论文笔记 记录平时阅读的论文笔记 Fashion Title Paper Code My note Discuss FashionNet:"FashionNet: Personalized Outfit Recommendation with Deep Neural Network" / https://github.com/ccc013/paper_reading/blob/master/fashion/FashionNet 论文笔记.md issue Learning Fashion Compatibil

Polyvore 数据集使用教程

``` polyvore-dataset/ ├── LICENSE ├── README.md ├── category_id.txt ├── polyvore.tar.gz └── ... ``` - `LICENSE`: 项目许可证文件,采用 Apache-2.0 许可证。 - `README.md`: 项目说明文档,包含项目的基本信息和使用方法。 - `category_id.txt`: ...

gitblog_00788的博客 475

gRPC之gRPC开发流程与入门案例

gRPC之gRPC开发流程与入门案例

YIYIYI 3760

别再手动算K值了!ZEMAX中两种锥透镜建模方法详解(标准面 vs. 轴锥面)

本文详细解析了ZEMAX中锥透镜的两种建模方法:标准面与轴锥面。通过对比两者的精度、计算效率和适用场景,帮助工程师在激光整形、光束匀化等应用中做出最优选择,并提供了参数设置和异常排查的实用技巧。

weixin_42548874的博客 324

Polyvore数据集完整使用指南

Polyvore数据集是时尚搭配研究领域的标杆性资源,为AI时尚推荐系统提供了丰富的训练素材。这个开源数据集包含了数十万套精心设计的服装搭配组合,是研究计算机视觉、推荐算法和时尚AI的必备工具。 ## 数据集概述 Polyvore数据集来源于流行的时尚网站Polyvore.com,用户可以在该网站上创建和上传服装搭配数据。该数据集包含21,889套服装搭配,其中17,316套用于训练,1,49

gitblog_01005的博客 1268

ldpc编解码器设计与仿真

计算校验节点到变量节点的消息 m_{c \to v}=2 \cdot atanh(\prod_{v’ \in N©\setminus v}tanh(\frac{m_{v’ \to c}}{2}))。计算变量节点到校验节点的消息 m_{v \to c}=L_{v,0}+\sum_{c’ \in M(v)\setminus c}m_{c’ \to v}。◦ 对于每个变量节点 v,计算最终 LLR 值 L_{v,f}=L_{v,0}+\sum_{c \in M(v)}m_{c \to v}。

youngerwang的博客 813

当AI遇上时尚:未来的衣橱会由机器人来打理吗?

随着人工智能技术的迅猛发展,时尚界也在发生变化。本文探讨了AI如何改变我们的衣橱管理,从智能推荐服饰、自动搭配到个性化定制,机器人在时尚领域的角色日益重要。未来,或许我们可以依赖AI打理衣物、优化搭配,实现更高效、更环保的时尚生活。

weixin_41751830的博客 1701

华为OD机试E卷 -猜字谜(Java & Python& JS & C++ & C )

小王设计了一个简单的猜字谜游戏,游戏的谜面是一个错误的单词,比如nesw,玩家需要猜出谜底库中正确的单词。猜中的要求如下:请你写一个程序帮忙在谜底库中找到正确的谜底。谜面是多个单词,都需要找到对应的谜底,如果找不到的话,返回”not found”

算法大师! 3488

备战2025数学建模国赛(算法46):多目标优化

本篇博客将深入浅出地介绍多目标优化的核心概念、主流算法,并重点结合一个数学建模竞赛的经典案例,提供完整的Python代码实现,助你在未来的竞赛中游刃有余。它通过寻找帕累托最优解集,完美地诠释了“鱼与熊掌不可兼得”的权衡思想,为最终决策提供科学依据。这些问题都包含多个相互冲突的目标,传统的单目标优化方法(如梯度下降、单纯形法)对此无能为力,因为它们无法同时优化多个目标。在数学建模竞赛中,我们面临的绝大多数问题都不是单一的“最好”,而是充满权衡与妥协的“最优”。记住,成功的建模不仅在于解出问题,更在于清晰地。

YOLO 286

通义千问3-VL-Reranker-8B在时尚搭配中的惊艳应用

本文介绍了如何在星图GPU平台自动化部署通义千问3-VL-Reranker-8B镜像,实现智能时尚搭配推荐。该多模态AI模型能分析服装视觉特征与文本风格,为用户生成个性化的日常、职场及特殊场合穿搭方案,提升时尚决策效率与体验。

weixin_42611177的博客 390

Microsoft Forms功能深度解析:企业数据收集与协作的智能利器

Microsoft Forms是微软365生态中的在线表单工具,支持问卷调查、测验和投票创建,具备拖拽式界面、多题型设计和实时数据分析功能。其核心价值在于易用性、跨平台兼容性以及与Teams、SharePoint等微软服务的深度集成,满足GDPR/HIPAA等合规要求。提供表单创建、权限管理、自动化流程(通过Power Automate)和审计日志等功能,适用于金融、医疗、教育等多行业场景。虽然存在逻辑分支有限等约束,但通过案例证明能显著提升数据收集效率(达70-85%)。使用时需注意许可证配置(Busin

xueyunshengling的博客 9126

Qwen3.5-27B惊艳案例:用手机拍菜单图→识别菜品→生成营养分析+推荐搭配

本文介绍了如何在星图GPU平台上自动化部署千问3.5-27B镜像,实现菜单图片识别与营养分析功能。该镜像通过多模态理解技术,可自动识别菜品并生成详细的营养成分报告及健康搭配建议,适用于餐饮、健身等场景,显著提升饮食管理效率。

weixin_31620365的博客 810

ardupilot 为什么要采样四元数姿态控制

本节主要说明清楚ardupilot姿态控制为什么要用到四元数,欢迎批评指正!!!

陌城烟雨 1119

SWC_RTE01-AutoSAR架构【AutoSAR架构设计概述】

1 基于AutoSAR架构的概述 1.1架构层面:功能可以细分子功能,各个子功能需要交互。 -大功能可以通过Autosar组件Composition去表示; -各个子功能一般具有不可分割性,可以通过Autosar原子组件Component去表示; -各个子功能的交互可以通过接口去通信和交互; -各个子功能的行为可以通过内部行为去表示;具体表现为Runnable的设计;架构设计的时候不考虑具体的逻辑实现;只会关注Ruannble的触发事件或周期;数据访问的一致性问题;具体逻辑设计可通过模版c文件实现或通过基于

8455

Intv_AI_MK11在Web开发中的创新应用:动态内容生成与个性化推荐

本文介绍了如何在星图GPU平台上自动化部署intv_ai_mk11镜像,实现Web开发中的动态内容生成与个性化推荐功能。该镜像可应用于电商平台,根据用户画像实时生成个性化商品描述,显著提升用户体验和转化率。通过简洁的API集成,开发者能快速构建智能化的Web应用。

weixin_42522857的博客 338

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

DeerFlow教育行业应用:个性化学习路径规划系统开发

本文介绍了如何利用星图GPU平台自动化部署DeerFlow多智能体框架,快速构建个性化学习路径规划系统。该系统能够根据学生的知识掌握情况和学习风格,动态生成并调整专属学习计划,有效提升教学效率与学习效果。

weixin_35459464的博客 103

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

7月5日云栖精选夜读丨阿里“AI搭配师”一秒给你100种穿搭建议,程序员进军女性时尚靠什么?...

谁说程序员不care时尚?阿里巴巴最新推出AI技术,就非常关心女性穿搭——这项名叫Fashion AI的新技术,要帮你搭配衣服。 热点热议 阿里“AI搭配师”一秒给你100种穿搭建议,程序员进军女性时尚靠什么? 作者:技术小能手 阿里巴巴推动时尚零售智能化 FashionAI展示数字化零售新模式 作者:技术小能手 外媒称北京有望超越硅谷成全球最大的创业中...

weixin_34409357的博客 399

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

技术赋能古诗学习:当经典诗词遇上现代科技

本文介绍了诗词学习平台的技术实现方案,主要包含五大创新功能:1)智能推荐算法匹配个性化学习内容;2)AR/VR构建沉浸式诗词场景;3)语音交互实现背诵评测;4)区块链存证学习成果;5)数据分析优化学习路径。同时提出网站内容扩展方向,包括增设分类导航、互动功能、多媒体资源和历史背景延伸等。技术实现建议采用响应式设计,接入权威古籍库API,并针对移动端进行优化。推广策略包括举办线上诗词大赛和社交媒体营销。这些创新方案将传统诗词学习与现代技术相结合,提升用户体验。

weixin_56285309的博客 480
上一篇: 【目标检测Anchor-Free】CVPR 2019 Object as Points(CenterNet)
下一篇: 口罩不够用咋办?这些办法或许可以帮得上你
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值