经过 8 万画作+人工注释训练,算法学会了赏析名画

ART艺术作品相关公开数据集 艺术相关公开数据集 阅读详情

列夫·托尔斯泰说过:「艺术是一种人类活动,一个人通过某种外在符号,有意识地把自己经历过的感受传达给别人,而别人也会被这些感受所感染,真切地体验到这些感受。」

以艺术画作为例,每一幅作品的背后,都蕴藏着画家的某种情感。梵高、毕加索等著名画家,都曾在不同创作时期,通过不同色彩、构图等,表达自己当时所特有的心境与情绪。

梵高的《向日葵》与毕加索的《老吉他手》

 

计算机能否理解这些艺术画作中所蕴含的感情色彩呢?斯坦福大学的计算机科学研究团队,收集了一个名为 ArtEmis 的新数据集,包含大量的艺术画作及人工标注的相应情感体验,并训练出能够对视觉艺术产生情感反应的计算机模型。

 

理解画作,从情感标记数据集开始

 

WikiArt:线上名画博物馆 

非营利性的志愿项目 WikiArt,自 2010 年上线至今,收录了来自世界各地的视觉艺术作品,堪称大型线上名画博物馆。

据该网站数据显示,截至 2020 年 1 月,该网站共收录来自 3293 位艺术家的 169057 件画作,包括 61 个流派。

WikiArt 主页展示,作品可按流派、风格、或艺术家国籍、所处年代等分类检索

 

WikiArt 上面画作数量庞大、分类清晰,因此也成为许多 AI 领域研究者用来训练算法的数据集。

2015 年,罗格斯大学与 Facebook AI 实验室的研究人员,合作开发了 GAN(生成对抗网络),就在 WikiArt 数据上对其进行了训练,让 GAN 能够区分不同风格的艺术。

 

ArtEmis:诞生于 WikiArt 的新数据集 

斯坦福大学团队则基于 WikiArt 上的作品,创建了一个新的视觉艺术标注数据集 ArtEmis。

他们对 WikiArt 上 1119 位艺术家的 81446 件艺术作品,一一进行了标注。这些作品包括从 15 世纪创作的艺术作品,到 21 世纪创作的现代美术画,涵盖了 27 种艺术风格(抽象、巴洛克、立体主义、印象主义等)和 45 种流派(城市景观、风景、肖像、静物等),给观众带来非常多样化的视觉冲击。

其中,每个作品要求至少 5 个标注者,写出他们看到这幅画作时的主导情绪,并解释产生这种情绪的原因。

具体来说,要求标注者在观察一件艺术品后,先从 8 种基本情绪状态(愤怒、厌恶、恐惧、悲伤、娱乐、敬畏、满足和兴奋)中,选一种自己所感受到的主要情绪,如果以上 8 种情绪都不是,也可以标注「其它」。

标注了情绪感受之后,标注者需要再用文字,进一步解释自己为什么产生这种感觉,或者为什么没有任何强烈的情绪反应。

以下为人工标注者为画作标注的情感标签,以及详细解释:

这份标注工作最终由亚马逊众包平台的 6377 名标注者完成,总共耗时 10220 个小时。

团队表示,与其他现有同类数据集相比,ArtEmis 的标注使用了更加丰富、感性且多样化的语言,这些标注形成的语料库,共包含了 36347 个不同的词语。

ArtEmis 数据集视觉艺术的情感标记数据集

发布机构:斯坦福大学,巴黎综合理工学院以及阿卜杜拉国王科技大学

包含数量:共 439121 条画作标注

数据格式:csv

数据大小:21.8 MB

地址:点此访问

 

一个可感知情感的算法,是怎样炼成的

为了让计算机也能够像人类一样,对视觉艺术产生情感反应,并用语言证明产生这些情感的原因,团队基于这一大规模数据集,训练了一个 Neural Speaker(神经表达者)。

斯坦福大学 HAI 学院的教授 Guibas 表示,这是计算机视觉领域中一项新的探索。此前经典的计算机视觉方法,往往是指出图像中有哪些内容,比如:有三只狗;有人正在喝咖啡……而他们的这项工作,则是定义视觉艺术中的情感。

经过 ArtEmis 数据集训练之后,算法识别出不同的画作中蕴含的情感,并自动生成了这样判断的依据,示例结果如下:

论文中介绍了具体训练思路。首先,用 ArtEmis 来训练模型,实现艺术画作的情感解释问题。这属于经典的 9 路文本分类问题,团队使用基于交叉熵的优化,应用于从头开始训练的 LSTM 文本分类器,同时也考虑对为这个任务预训练的 BERT 模型进行微调。

另外,让计算机对人类通常会对作品产生的情绪反应进行预测。

为了解决这个问题,团队将输出和 ArtEmis 用户标注之间的 KL-分歧最小化,以此对基于 ImageNet 的预训练 ResNet32 编码器进行微调。

对于给定的一幅画作,分类器先判断其传达的情感是积极还是消极,再进一步判断具体是哪种情感。

团队介绍,对于一幅画作,算法不仅能够感知整体的情感色彩,还能区分画中不同人物的感情。以这幅伦勃朗的《被斩首的圣施洗者约翰》为例,AI 算法不仅捕捉到了被斩首的约翰的痛苦,还感知到了画中被献首的女性莎乐美的「满足」。

算法对《被斩首的圣施洗者约翰》生成的情感标注

 

当算法拥有了共情能力

人类的情感非常丰富且复杂微妙,即使是我们人类自己,也并不能百分之百理解某些艺术家想要表达的心情,所以,要让 AI 精准地理解艺术家的意图,目前必然还存在一定挑战。

不过,此次 ArtEmis 数据集的发布,已经让 AI 在处理图像情感属性方面,迈出了第一步。

团队表示,待进一步研究与改进之后,算法或许能够感知人类的悲欢,艺术家便可借助算法,评估自己的作品是否能达到预期的情感表达效果。另外,一旦算法能通人性,人机交互的过程也将更加自然、和谐。

新闻来源:

https://techxplore.com/news/2021-03-artist-intent-ai-emotions-visual.html

数据集论文:https://arxiv.org/pdf/2101.07396.pdf

项目主页:https://www.artemisdataset.org/#videos

 

 

 

 

colab使用教程 cocolab使用教程 1 准备数据集 切换路径并用wget 下载coco和wikiart数据集,并用unzip解压数据集 %cd /content/drive/Shared\ drives/MySharedDrive/dataset !pwd !ls !wget http://images.cocodataset.org/zips/train2017.zip !wget http://web.fsktm.um.edu.my/~cschan/source/ICIP2017/wikiart.zip !unzi 阅读详情

相关推荐

25个深度学习相关公开数据集

作者:磐石 目录 介绍 图像处理相关 自然语言处理相关 语音处理相关 Supplement 一.介绍 通常来说,深度学习的关键在于实践。从图像处理到语音识别,每一个细分领域都有着独特的细微差别和解决方法。 然而,你可以从哪里获得这些数据呢?现在大家所看到的大部分研究论文都用的是专有数据集,这些专有数据集又通常不会公开。那么,想实践那些最新...

TensorFlowNews 2万+

【计算机视觉 | 图像分类】图像分类常用数据集及其介绍(十四)

【计算机视觉 | 图像分类】图像分类常用数据集及其介绍(十四)

wzk4869的博客 1735

【深度学习新浪潮】遥感图像风格化迁移研究工作介绍

遥感图像风格化迁移是将艺术风格(如油画、素描、赛博朋克等)迁移到遥感图像中,同时保留其地理结构和关键地物信息的技术。由于遥感图像具有分辨率高、地物结构复杂(如建筑、道路、植被等)、可能包含多光谱信息等特点,其风格化迁移与自然图像相比存在特殊挑战(如需避免破坏地理特征的可识别性)。以下从方法、研究进展、代码与数据三个方面进行说明。

专注:太空算力、AI infra、异构调度、大模型成本工程 480

【亲测免费】 开源项目 pytorch-AdaIN 使用教程

pytorch-AdaIN 是一个非官方的 PyTorch 实现,用于实现论文《Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization》中提出的实时任意风格迁移技术。该项目由 naoto0804 开发,基于 MIT 许可证发布。该实现允许用户在保持内容图像结构的同时,将任意风格图像的风格应用到内容图像上。...

gitblog_00393的博客 929

WikiMovies 数据集

WikiMovies, a QA dataset that contains raw text alongside a preprocessed KB, in the domain of movies.

ADFA-LD数据集

ADFA官网链接挂了,资源找了好久,上传上来水点积分。只有ADFA—LD,找不到WD的,仅供学习参考。

艺术创作辅助:基于YOLOv8的画作物体识别与动态效果生成

YOLO(You Only Look Once)是单阶段目标检测算法的代表,v8版本在模型架构、训练策略和推理速度上均有显著提升,适合实时应用。YOLOv8支持多种自定义训练,且有丰富的开源生态,便于二次开发。本文介绍了基于YOLOv8的艺术画作物体识别与动态效果生成方案,从数据集准备、模型训练到UI实现,详尽呈现了完整流程及代码。更丰富的动态视觉效果(光影、粒子系统、3D动画)。融合风格迁移实现艺术风格动态渲染。支持更多类别、多模态交互。

YOLO 1270

爬蟲 wikiart

爬蟲 從wikiart上爬圖片下來 希望幫助到有需要的人爬蟲 從wikiart上爬圖片下來 希望幫助到有需要的人爬蟲 從wikiart上爬圖片下來 希望幫助到有需要的人

Wikidata数据集下载问题

数据集下载问题集合

祈熙霖的博客 3748

本地AI代码助手:智能解析大型代码库,实现自动化重构与理解

在软件开发中,大型代码库的理解与维护是常见挑战。传统方法依赖人工阅读和有限上下文工具,效率低下。通过结合检索增强生成(RAG)和多智能体(Multi-Agent)架构,现代AI工具能够智能解析代码结构,理解模块关系,并精准定位相关代码片段。这种技术不仅能提升代码探索效率,还能自动化执行重构、文档生成等任务,在遗留系统维护、快速上手新项目等场景中发挥关键作用。本文以blackboxaicode/cli为例,展示了如何利用其代码感知和Workflow Automation能力,高效处理复杂代码库。

weixin_30240349的博客 372

基于微信小程序的智能门禁管理系统的设计与实现(文章+源码)

基于微信小程序门禁管理小程序,该系统支持用户注册登录、查阅新闻动态、提交开门申请和发布留言等功能,同时管理员可以进行用户管理、新闻信息管理、门禁审批管理和留言管理等操作。该系统将采用IDEA开发工具、SSM框架和MYSQL数据库等相关技术,实现用户登录注册、个人信息管理、门禁申请提交、管理员审核等功能。该系统的实现,可以有效提高门禁管理的效率和便利性,同时也具有较强的可扩展性和可维护性。本研究对于智能门禁管理系统的设计和实现具有一定的参考价值。

u011779145的博客 1402

【神经网络】(5) 卷积神经网络(ResNet50),案例:艺术画作10分类,附数据集

各位同学好,今天和大家分享一下TensorFlow2.0中如何构建卷积神经网络ResNet-50,案例内容:现在收集了10位艺术大师的画作,采用卷积神经网络判断某一幅画是哪位大师画的。 数据集:https://pan.baidu.com/share/init?surl=cWMvsl37MOZdxnoOjSGoNQ 提取码: 2h5x 1. 数据加载 在文件夹中将图片按照训练集、验证集、测试集划分好之后,使用tf.keras.preprocessing.image_dataset_from_direc

博观而约取,厚积而薄发 6817

避开STM32H7的‘保护陷阱’:从Option Byte机制深度解析读写保护原理与预防

本文深度解析STM32H723VGT6的Option Byte保护机制,详细讲解RDP读保护和WRP写保护的工作原理及配置方法,并提供硬件设计防御策略和软件预防性编程技巧,帮助开发者避免误触发保护机制导致芯片锁定的问题。

weixin_33686714的博客 443

Python基于The Paintings Dataset实现绘画主题识别

The Paintings Dataset数据集主要是Visual Geometry Group官方开源出来的以绘画为主题的数据集,不同的绘画数据有着不同的主题,可以是一个单独的主题也可以是多个混合的主题组成的,所以这个数据集用来做图像识别任务的话就是一个比较经典的多任务学习模型了,这个在我之前的云状识别一文里面也有提到,这里就不再多赘述了。首先看下官方数据集介绍,截图如下所示:数据详情统计如下所示:这里官方提供的数据集形式有别于VOC这类的数据集,他不是直接的图像形式的数据集,而是一堆链接,需要自己下载下

Together_CZ的博客 785

GEO生信数据挖掘实战:从临床信息提取到多维分组可视化(聚类与PCA)

本文以GSE1297数据集为例,详细讲解了GEO生信数据挖掘中临床信息提取与分组构建的实战流程。通过R语言解析样本元数据,利用字符串处理技术从文本中精准构建疾病与对照分组,并强调使用层次聚类图和PCA图进行可视化验证,确保分组合理性与分析可靠性,为后续差异表达等高级分析奠定坚实基础。

cheese的博客 361

小米路由器安装Misstar tools 和MIXBOX

1.该教程适用于如下路由器: 小米路由器1代硬盘版(R1D) 小米路由器mini(R1CM) 全新小米路由器硬盘版(R2D) 小米路由器3(R3) 小米路由器3G(R3G) 小米路由器Pro(R3P) 小米路由器HD(R3D) 2.Misstar2.0在线安装 方法如下: 1.根据路由器对应文件解压文件,把解压目录(比如小米3路由器为R3)和offline_install.sh到U盘根目录,并插入路由器 2.ssh登录后,cd到U盘的目录,比如小米3路...

wybarcelona的博客 2万+

公开的数据集汇总(持续更新中...)

合适的数据集对于深层神经网络的训练至关重要,今天我们一起来看看现在已经公开的数据集下载汇总,本文中的内容来源于网络。主要是方便自己以后学习工作中使用,本数据集定期更新。 Table of Contents Agriculture Biology Climate+Weather ComplexNetworks ComputerNetworks DataChallenges EarthScienc...

liinux-Talk is cheap,show me the code. 8442

ldpc编解码器设计与仿真

计算校验节点到变量节点的消息 m_{c \to v}=2 \cdot atanh(\prod_{v’ \in N©\setminus v}tanh(\frac{m_{v’ \to c}}{2}))。计算变量节点到校验节点的消息 m_{v \to c}=L_{v,0}+\sum_{c’ \in M(v)\setminus c}m_{c’ \to v}。◦ 对于每个变量节点 v,计算最终 LLR 值 L_{v,f}=L_{v,0}+\sum_{c \in M(v)}m_{c \to v}。

youngerwang的博客 811

爬虫 + CNN(卷积神经网络)实现名家画作识别与分类

例子描述: 通过用CNN网络对 梵高,莫奈,毕加索,达芬奇 四位画家的作品进行学习,学出一个模型,这个模型具有识别这个四位画家作品的能力。 所需环境:Python3.6 + Tensorflow 如果使用cpu版本,可以参考:https://www.jianshu.com/p/da141c730180 如果使用gpu版本,可以参考:https://www.jianshu.com/p/62d4...

2611

维护测试监控LLM应用

LangFuse: 开源 + SaaS(免费/付费),LangSmith 平替,可集成 LangChain 也可直接对接 OpenAI API;LangSmith: LangChain 的官方平台,SaaS 服务(免费/付费),非开源,企业版支持私有部署;调试 Prompt 的 Playground测试/验证系统的相关指标数据集管理各种指标监控与统计:访问量、响应时长、Token 费等等。

SunnyRivers 1785

AI产品经理面试宝典第94天:RAG知识库构建与预处理策略面试指南

本文深入解析RAG知识库构建的核心挑战与预处理策略,涵盖文档格式转换、问答对生成及自动化测试全流程,为AI产品经理提供面试必备的实战方法论与避坑指南,助你精准应对技术深度类问题。

打造全国最全的AI Agent开发知识领域的博客 314

Atitit famous paint著名绘画 油画 作品数据库资料

Atitit famous paint著名绘画 油画 作品   绘画流派  现实主义 超现实主义 印象派 野兽派 抽象派     Atitit 我喜欢的绘画与摄影作品   麦田乌鸦,星空,向日葵, 创世纪(上帝与亚当),大力的钟表 蒙克呐喊   纳米比亚沙漠             派别

attilax的专栏 2066

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

爬下artstation关注的画师信息制作为json文件

原始网站 https://www.artstation.com/ Author:xiaozhu_sai 本文章仅供学习交流,请勿交流梯子以及版权问题 1、爬取数据目的&后续处理 方便后续对各个画师作品的个人下载 个人练习‘用户关注’的推荐算法与其大数据 处理后数据: 2、使用who-you-konw提供的端口位置以及加载时候的访问API即可获取所有画师的json信息https://www.artstation.com/users/个人ID/following.json?page=1 一个pa.

weixin_42375356的博客 1123

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

上一篇: 台湾省 AI 独角兽 Appier 日本上市,17.7 亿市值领跑岛内
下一篇: 西安殡仪馆引入 3D 打印技术,修复逝者遗容
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论 11
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值