杜克大学提出 AI 算法,拯救渣画质马赛克秒变高清

新AI算法拯救渣画质马赛克秒变高清 简介:在这个追求高清画质的时代,我们对渣画质的容忍度越来越低。在知乎上搜索「低分辨率」、「渣画质」,会看到一大片诸如「如何补救清晰度低的照片」、「如何拯救渣画质」之类的问题。那么,将渣到马赛克级别的画面秒变高清,是一种怎样的体验?新AI 算法告诉你。在这个追求高清画质的时代,我们对渣画质的容忍度越来越低。在知乎上搜索「低分辨率」、「渣画质」,会看到一大片诸如「如何补救清晰度低的照片」、「如何拯救渣画质」之类的问题。那么,将渣到马赛克级别的画面秒变高清,是一种怎样的体验?新AI 算法告诉你。前所未有,「马赛克 阅读详情

By 超神经

场景描述:将「马赛克」像素级别的大头照转换成高清照片,是一种怎样的体验?杜克大学提出的 AI 算法,不仅可以「去掉马赛克」,还能精细到每一道皱纹、每一根头发。你要试试吗?

关键词:低分辨率 高分辨率 GAN 

在这个追求高清画质的时代,我们对渣画质的容忍度越来越低。

在知乎上搜索「低分辨率」、「渣画质」,会看到一大片诸如「如何补救清晰度低的照片」、「如何拯救渣画质」之类的问题。

那么,将渣到马赛克级别的画面秒变高清,是一种怎样的体验?杜克大学的研究人员用 AI 算法告诉你。

GitHub 链接:https://github.com/adamian98/pulse

 前所未有,「马赛克」瞬间变高清

杜克大学的研究人员提出了一种 AI 算法,称之为 PULSE(Photo Upsampling via Latent Space Exploration,通过潜在空间探索的照片上采样)。

该算法可以将模糊、无法识别的人脸图像转换成计算机生成的图像,其细节比之前任何时候都更加精细、逼真。

根据输入的低分辨率图片,系统会生成一系列高清图像

如果用以前的方法,想要把一张模糊的「大头照」变清晰,最多只能将这张照片缩放到原始分辨率的八倍。

但是杜克大学的团队提出了一种新的方法,仅在几秒钟内,就可以把 16x16 像素的低分辨率(Low Resolution,以下简称 LR)小图,放大 64 倍,变成 1024 x 1024 像素的高分辨率(High Resolution,以下简称 HR)图像。

他们的 AI 工具会「想象」出一些原本不存在的特征,即使是原本 LR 照片中无法看到的细节,比如毛孔、细纹、睫毛、头发和胡茬等,经过其算法处理后,都能看得一清二楚。

来看一个具体示例:

左图为原始低分辨率图像,右图为系统创建的高清图像

领导该团队的杜克大学计算机科学家辛西娅·鲁丁(Cynthia Rudin)说:「以前从来没有像现在这样,能用这么少的像素,就创造出拥有大量细节的超分辨率图像。」

在实际应用方向上,论文的共同作者 Sachit Menon 介绍称:「在这些研究中,我们只是用面部作为概念验证。

但从理论上讲,该技术是通用的,从医学、显微镜学到天文学和卫星图像,都可以通过该技术改善画质。」

 打破传统操作,实现最佳效果

虽说此前已经有很多类似的低清变高清的方法,但能够达到像素放大 64 倍级别的,还是业界首次。

 传统方法:像素匹配,易出 bug

传统方法处理此类问题时,一般拿到 LR 图像后,会「猜测」需要多少额外的像素,然后试着将此前处理过的 HR 图像中相应的像素,匹配给 LR 图像。

而这种单纯匹配像素的结果是,像头发和皮肤的纹理这种区域,会出现像素匹配错位的现象。

而且该方法还会忽略了 HR 图像中,感光性等感知细节。所以最终在平滑度、感光度上出现问题,结果依然会显得模糊或者不真实。

之前的一些方法,部分生成结果有点诡异

 新方法:低清图像「连连看」 

杜克大学的团队则提出的新方法,可以说是开辟了新的思路。

在拿到一张 LR 图像后,PULSE 系统不会慢慢添加新的细节,而是遍历 AI 生成的 HR 图像,将这些 HR 图像对应的 LR 图像与原图对比,找到最接近的那张。

打个比方,相当于拿 LR 图片做个「连连看」,找到最相似的 LR 版本,那么再反推回去,这张 LR 图像所对应的 HR 图像,就是最终要输出的结果。

原始 LR 图片(上),PULSE 输出的 HR 图片(中)

HR 图片对应的 LR 图(下)

团队使用了生成对抗网络(简称 GAN ),它包括对同一张照片数据集进行训练的两个神经网络,即生成器与鉴别器。

其中,生成器模拟它所受过训练的人脸,提供 AI 创建的人脸,而鉴别器则获得了该输出,并确定它是否足以以假乱真。

随着经验的积累,生成器的经验会越来越好,直到鉴别器无法分辨出差异。

他们用一些真实图像进行试验,效果对比如下图所示:

上排为真实图片,中排为将真实图片下采样而来 LR 图像

下排为 PULSE 根据 LR 图像生成的 HR 图像

虽然生成的高分辨率图与原图仍有一些差距,但是这比以前的方法要清晰很多。

 评估:优于其它方法,得分接近真实照片

团队在著名的高分辨率人脸数据集 CelebA HQ 上评估了其算法,用 64×,32× 和 8× 的比例因子进行了这些实验。

研究人员要求 40 个人对通过 PULSE 和其他五种缩放方法生成的 1440 张图像进行 1 到 5 的评分,而 PULSE 的效果最佳,得分几乎与真实的高质量照片一样高。

HR 为实际的高清人像数据集,得分仅比 PULSE 高 0.14

团队成员表示,PULSE 可以从嘈杂、低质量的输入中,创建逼真的图像,即使原图连眼睛、嘴巴都无法辨认。这是其他方法无法做到的。

与其它方法对比,PULSE 将细节处理得更为逼真

不过,该系统还不能用于识别身份,研究人员表示:「它无法将安全摄像头拍摄的失焦、不能识别的照片,变成真人的清晰图像。它仅会生成不存在但看上去很真实的新面孔。」

在具体应用场景上,除了上文提到的,该技术未来可能应用在医学、天文学之外,对于大众来说,拥有这项黑科技之后,就可以把 N 年前的老照片变高清。对于编辑同志们来说,更是一大福音,再也不用为找高清配图而头大了。

从此告别「画质感人」

温馨提示:研究人员还会在正在举行的 CVPR 2020(计算机视觉和模式识别会议)上介绍他们的方法,大家可以关注一下:

http://cvpr2020.thecvf.com/program/tutorials

论文地址:

https://arxiv.org/pdf/2003.03808.pdf

参考资料:

https://www.sciencedaily.com/releases/2020/06/200612111409.htm

—— 完 ——

扫描二维码,加入讨论群

获得更多优质数据集

了解人工智能落地应用

关注顶会&论文

回复「读者」了解详情

更多精彩内容(点击图片阅读)

CentOS7 内核升级 可在http://ftp.sjtu.edu.cn/sites/elrepo.org/linux/kernel/el7/x86_64/RPMS选择对应架构平台不受影响的内核版本文件下载,然后离线安装,也可通过yum下载包后进行安装。通过 #uname -sr ,可以看到当前的内核版本 Linux 3.10.0-1160.el7.x86_64。首先找台能访问互联网的机器,通过联网的机器进行内核包下载。lt:longterm的缩写:长期维护版;ml:mainline的缩写:最新稳定版; 阅读详情

相关推荐

病理图像处理个人手札(三)WSI & MIL

1.什么是WSI? WSI全称是Whole Slide Image,也就是全视野数字切片,主要应用在病理学细胞图像领域。WSI 是利用数字扫描仪对传统的病理切片进行扫描,采集具有高分辨率的数字图像,再通过计算机将得到的碎片化图像进行无缝拼接整合,制作可视化数字图像的一项技术。与传统载玻片相比,很好地解决了传统的玻璃切片易损坏、易褪色、易丢片、检索困难的问题。 一言以蔽之,WSI是对传统载玻片进行数字化。 由于是全视野,因此它将包含多尺度的切片在一个文件上面。因此WSI将使用到金字塔模型满足其支持不同分辨率的

baiweizeng的博客 1万+

Pulse: Self-supervised Photo Upsampling via Latent Space Exploration of Generative Models

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 前言 提示:这里可以添加本文要记录的大概内容: 本文来自2020的CVPR,是使用GAN来SR比较有意思并且引用量很多的一篇论文。 图像超分辨率的目的是从相应的低分辨率(low-resolution,LR)输入构建高分辨率(high-resolution,HR)图像。 提示:以下是本篇文章正文内容,下面案例可供参考 一、摘要 作者指出:以往的SR方法是有监督的,往往是将SR到HR图像之间的平均距离作为训练目标,但是这样做会导致图片细节.

weixin_45079057的博客 1545

当交警手势遇见边缘计算:轻量化手势识别系统的落地挑战

本文探讨了边缘计算环境下交警手势识别系统的技术挑战与解决方案,结合OpenPose和LSTM算法优化,实现轻量化部署。通过深度可分离卷积、量化感知训练等技术创新,在算力受限的边缘设备上达到高效实时识别,为智能交通系统提供可靠支持。

weixin_29079671的博客 637

PULSE:Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models

Paper adamian98/pulse krantirk/Self-Supervised-Photo b5071/pulse-rev yrsolo/pulse deeplearningnapratica/pulse 《通过探索生成模型的潜在空间探索自我监督的照片上采样》 PUSLE:Photo Upsampling via Latent Space Exploration简称。 单张图像超分辨率的目的是从相应的低分辨率(low-resolution,LR)输入构建高分辨率(high-resolu

studyeboy的专栏 2352

HTB Attacking GraphQL Skills Assessment

通过枚举应用,利用GraphQL API,发现sql注入点,然后利用找到flag。

qq_33522010的博客 455

人工智能渗透测试:自动化安全评估

渗透测试认证的价值包括提高可信度和技能水平,并帮助客户确保由经过认证的个人对其系统进行全面的手动调查。B2B 交互变得越来越复杂,特别是功能丰富的超级应用程序,需要采取强有力的安全预防措施,而自动化渗透测试应用程序则是一种未被发现的武器。渗透测试中的人工智能通过提高效率、自动收集信息、发现隐藏的漏洞、开发个性化攻击和减少误报来提高 B2B 集成的安全性。这包括风险简报、补救建议和战略建议。渗透测试由五个阶段组成,是网络安全中的关键防御措施,它模拟现实世界的攻击,以识别系统缺陷并在漏洞被利用之前解决它们。

weixin_48967543的博客 2368

论文学习笔记(5):PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models

目录一、摘要 一、摘要 主要思想:区别于现有方法中大多在LR图像上一点点增加细节,PULSE(Photo Upsampling via Latent Space Exploration)遍历HR自然图像的流形空间,找到下采样后为原始LR图像的HR自然图像。 ...

一只鱿鱼圈 1213

全国30米分辨率逐年植被覆盖度(FVC)数据集

植被覆盖度是描述地表植被的重要参数与生态环境的基本指标,在大气圈、土壤圈、水圈和生物圈中都占据着重要的地位,区域及全球范围的植被覆盖度估算对植被及相关领域的研究具有重要意义。往往参照《土壤侵蚀分类分级标准》,将植被覆盖度划分为4个等级:<30%为低覆盖度、30%—45%为中低覆盖度、45%—60%为中覆盖度、>60%为高覆盖度。本数据集包括1986至2022年间,全国植被覆盖度数据,FVC范围值为0-1,数据为浮点型,GeoTIFF格式。NDVImax 和NDVImin分别为区域内最大和最小的NDVI值。

地球资源数据云的官方博客 1968

【GitHub项目推荐--AI修图/绘图工具】【转载】

通过以上步骤,您可以使用 Lama-Cleaner 擦除照片中的不需要的物体、缺陷、人物等,得到干净整洁的图像。Lama-Cleaner 是一款基于 SOTA AI 模型的图像修复工具,它能够帮助您轻松地从照片中删除不需要的物体、缺陷、人物等,实现高质量的图像修复。Lama-Cleaner 是一款基于 SOTA AI 模型的图像修复工具,它能够帮助您轻松地从照片中删除不需要的物体、缺陷、人物等,实现高质量的图像修复。5. 选择模型:在 Web 界面中,选择适用于您的图像修复任务的模型。

j8267643的博客 8279

手把手教你学Simulink——基于经典PID控制的电机系统场景实例:BLDC电机PID电流控制策略仿真

*无刷直流电机(Brushless DC Motor, BLDC)**因其高效率、长寿命和低维护成本,在众多领域如家用电器、工业自动化、电动汽车等得到了广泛应用。为了实现对BLDC电机的有效控制,通常采用基于霍尔传感器或反电动势检测的换相技术,并结合电流闭环控制以提高系统的动态响应和稳定性。本教程将带你使用构建一个基于PID控制的BLDC电机电流控制策略仿真模型BLDC电机建模PID控制器设计与应用系统仿真与调试控制效果分析本文介绍了如何使用构建一个。

MHD0815的博客 198

BMS控制板硬件设计核心要点与工程避坑指南

电池管理系统(BMS)硬件设计是保障锂电安全与寿命的关键环节,其本质是模拟前端精度、数字控制可靠性、电源完整性及电磁兼容性四大要素的系统协同。理解AFE芯片(如BQ76920)的物理层约束、MCU与专用监控IC的异构分工逻辑,是构建高鲁棒BMS的基础;而晶振布局、I²C总线匹配、MOSFET体二极管方向、开尔文采样等细节,直接决定量产良率与EMC合规性。在电动工具、储能系统、两轮电动车等中低功耗BMS应用中,成本敏感型方案常采用STM32F0+AFE架构,此时电源滤波电容选型、复位电路ESR控制、TVS/齐

weixin_30591519的博客 263

最近爆火的AI修图工具DragGAN ,已开源,star数已超30k

这是通过使用两个主要步骤来实现的:一是 latent code 的优化,它可以进行运动监督,将 handle 点移向其目标位置,二是一个点跟踪方法,它有效地跟踪 handle 点的轨迹。图中红 patch 后加了".detach()",意思就是它是原图,是不变的,而蓝 patch 是通过新 latent code 出来的可变量,所以是通过它反传梯度。交互式操作,自由自在!这么做的原理是,GAN 的特征具有判别性,能很好地捕获了密集的对应关系,因此可以通过特征块中的最近邻搜索有效地执行跟踪。

Dc253061007的博客 730

【异常】OpenAI提示内容有误 Invalid prompt: your prompt was flagged as potentially violating our usage policy.

用户需优先调整提示内容,确保符合OpenAI的使用政策。若问题持续,建议结合请求ID和具体代码示例联系官方支持。同时,可参考腾讯云、Microsoft Q&A等平台提供的错误处理实践(如重试机制、日志记录)优化代码健壮性。

奶爸的编程之路,也就一周冷个三天 2087

拯救渣画质,马赛克图秒变高清,杜克大学提出AI新算法

作者 |神经小兮来源 |HyperAI超神经(ID: HyperAI)导语:将「马赛克」像素级别的大头照转换成高清照片,是一种怎样的体验?杜克大学提出的 AI 算法,不仅可以「去掉马...

AI科技大本营 5697

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

杜克大学开源 AI 算法,让马赛克图片秒变高清!

公众号关注“GitHubDaily”设为 “星标”,每天带你逛 GitHub!大家好,我是小 G。在这个追求高清画质的时代,我们对渣画质的容忍度越来越低。在知乎上搜索「低分辨率」、「渣...

GitHubDaily 3696

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

不同分辨率图片匹配_杜克大学开源 AI 算法,让马赛克图片秒变高清!

公众号关注“GitHubDaily”设为 “星标”,每天带你逛 GitHub!大家好,我是小 G。在这个追求高清画质的时代,我们对渣画质的容忍度越来越低。在知乎上搜索「低分辨率」、「渣画质」,会看到一大片诸如「如何补救清晰度低的照片」、「如何拯救渣画质」之类的问题。那么,将渣到马赛克级别的画面秒变高清,是一种怎样的体验?杜克大学的研究人员用 AI 算法告诉你。GitHub 链接:htt...

weixin_39882271的博客 802

AI算法:马赛克照片都能还原成高清照

在这个追求高清画质的时代,我们对渣画质的容忍度越来越低。在网络上搜索「低分辨率」、「渣画质」,会看到一大片诸如「如何补救清晰度低的照片」、「如何拯救渣画质」之类的问题。那么,将渣到马赛克级别的画面秒变高清,是一种怎样的体验?新AI 算法告诉你。 杜克大学研究人员开发了一种新的人工智能工具,称之为 PULSE(Photo Upsampling via Latent Space Exploration,通过潜在空间探索的照片上采样),这款工具可以将模糊的、无法识别的人脸图像经由计算机生成高清晰度肖像,细节更加

haisendashuju的博客 4433

你以为的人工智能是人工智能吗?-一起乐学AI

这里不是正文,这是目录,爱学习的小鹏与只不过是想通过拜读有意思的文章的形式,一步步接近AI,体验程序带来的快感与乐趣。 《让图片变,使用无门槛,这个软件比XXX杀伤力更大》 《刷新记录,算法开源!字节跳动获人体姿态估计竞赛双冠 CVPR 2019》 《RetinaFace,最强开源人脸检测算法》 《又一AI神器!3行代码5秒抠图,根本无需PS》 《史上最简单的人脸识别项目登上GitHub趋势榜》 《万圣节恐怖表演、内衣检测器......2019 年二十大有趣的机器学习项目盘...

爱学习的小鹏友 1052

盘点庚子年里,火到出圈的人工智能应用

来源 |HyperAI超神经封图 | 优快云付费下载自视觉中国2020 年,AI 的落地应用更加广泛,它一边探索前沿的新兴产业,一边也深入传统行业,助其转型。它正在蓬勃成长,逐渐成为...

优快云资讯 1428

【CVPR2020】文章、代码和数据链接

Awesome-CVPR2020-Low-Level-Vision[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FyX9YiTI-1650081252263)(https://camo.githubusercontent.com/13c4e50d88df7178ae1882a203ed57b641674f94/68747470733a2f2f63646e2e7261776769742e636f6d2f73696e647265736f726875732f617765736f6d

qq_36717487的博客 1768
上一篇: CVPR 2020 六小时教程上线!新视角生成的前沿方法
下一篇: 甲骨文本财年四季度财报披露,盘后股价应声下跌 4.5%
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值