【AI产品】产品小姐姐分析抖音背后的计算机视觉技术

人工智能机器学习从入门到高级学习资料(含资料下载地址) 机器学习是一个技术含量较高的领域,高效学习需要多种途径相结合.以下是一些推荐的学习资源。首先介绍几个比较有用的社区,包含了丰富的学习资料 阅读详情

大家好,今天开设新的专栏《AI产品》,在这个专栏中,我们将以产品体验为主,简单剖析背后的核心技术,这是一个更加贴近工业实践的专栏。

今天就体验抖音基于计算机视觉技术实现的几项高大上的功能,希望可以加深大众对计算机视觉技术及人工智能产品进程的认知。

作者 | Luna

编辑 | Luna

640?wx_fmt=gif

抖音提供的功能很多,照片视频处理都不在话下,搞笑如各式贴纸、妆容术、换头换脸、图像风格迁移等,浪漫如“吹蒲公英”,严肃如后台的“鉴黄”,以下对抖音里与计算机视觉相关的产品功能点进行体验与分析。


1 美丑胖瘦收放自如

不管有没有玩过抖音,大家或多或少都在朋友圈或微博看见过如下类似的搞笑照片。

640?wx_fmt=jpeg

所以,大家应该就更加能理解,为什么这么多人每天活在抖音里“醉生梦死”,因为比起苦难的生活,这里真的比较轻松有趣对吧?


这些看似搞怪的图片,在抖音里实现起来其实很简单。其基本流程如下:打开抖音app,点击屏幕正中间的“+”按钮,进入照片/视频模块,选择道具图标,然后在图标工具库中选中自己想要的效果,则人在画面中的成像,就可以开始各种作妖,尤其是眼睛、眉毛、嘴巴、鼻子等脸部主要关键部位,可发生明显变形,打造出各种连亲妈都难以辨认的形象。

640?wx_fmt=jpeg

如图,是抖音道具图标的极小部分截图,从中也可以感受到整体功能设计呈现出多样性、娱乐性、趣味性的效果。

任何产品的功能设计,其定调都紧紧围绕着产品的目标用户,抖音主要的目标用户群体定位为90后追求潮流个性的年轻人,而这类人群喜欢刺激、渴望表达,但又相对情绪化,所以他们具有观看或发布新鲜内容以打发无聊时光及获得表达自我价值的需求。

为了更好地满足用户的上述需求,抖音提供变美、变丑、变瘦、变胖等功能,使得年轻人的互动被极大地多元化,且整个操作的过程成本极其低廉、步骤也十分简单。

点击边框调出视频工具条

小视频里的人,不仅脸部发生了变形,同时头顶灵活的“蝴蝶结小辫儿”也很生动、形象,体验的过程充满乐趣,对于很多抖音用户而言,他们十分乐意去探索这样多面搞怪的自己。

同时,由于抖音平台本身的算法优势,功能的实时响应性能也很优秀,基本只要脸一进入画面,立马就能实现拉伸和变形,用户基本感受不到延时,体验十分流畅。

这进一步体现,抖音的成功,更多的是因为他们擅长于结合技术,以更轻松的方式解决年轻人的需求痛点,抓住大部分用户的心。

上述脸部变换的功能主要基于人脸关键点检测技术实现,该技术通过定位脸部关键部位,并在关键部位上对像素点进行变换,达成各种不同的效果。人脸关键点检测技术也被广泛地应用于直播及短视频,如网易的游戏直播、YY直播等,基于该技术衍生出了很多有趣的功能,带给用户越来越新奇刺激的体验。


技术关键词:人脸关键点检测。

2 换头不是梦

上一项功能只是变形,抖音里还有更神奇的技能。

640?wx_fmt=jpeg

为了实现如上“换头”效果,同样地其制作流程为:启动抖音来到拍摄页面,选中“狗头”或“猪头”图标,则画面中自己的脸部就会被完全遮蔽。同时,如果用户眨眼或张嘴,会看到画面中的相同部位同步变换,体验还是挺新奇的。

该项功能进一步提升了对年轻用户的刺激感,因为对某些用户而言,他们一方面想要寻求刺激、内心具有有强烈的表达自我的意愿,但同时又不可避免地想要制造一定的神秘感,或用户本身略带羞涩感,而这一功能正好满足了这部分的需求。

点击边框调出视频工具条

小视频里眨眼的猪头十分憨萌,用来撒娇应该百试百灵吧。


那么,到底是什么样的技术,可以如此精准地定位并恰到好处地实现“偷梁换柱”呢?


实质上,该项功能的实现主要应用了图像语义分割技术。具体地,抖音通过对人体进行语义分割,获得人体各个部位如头、脸、手、脚的位置及标签,并通过用户选定的工具模板,将对应部位替换,实现最终的“换头”。相比目标检测而言,图像语义分割是精确到像素点的分类,因而替换的过程看起来也更加地智能和精准,用户体验更佳。


但体验中发现不足的是,或许是算法分割准确率的问题,尝试张开嘴巴时,随之张开的却不是头像里狗的嘴巴,而是自己的血盆大口,而有些道具在使用中就不会出现类似情况,这可能也是当前产品的一个小Bug。

技术关键词:图像语义分割。


3 想要的风格全都有

计算机视觉里比较热门的图像风格迁移技术,在抖音里也有所体现。

640?wx_fmt=jpeg

如图所示,上述功能实现的流程为:启动抖音app进入拍摄页面后,在道具库中选中白色的素描花朵图标,随后对输入的键盘画面即可进行风格的实时变换。原来低调科技风的键盘,瞬间变成了漫画素描式风格。

640?wx_fmt=jpeg

同样地,也可以实现对人像的风格变换,看到自己的脸在画面里变成“漫画脸”,感觉也挺有意思的。

640?wx_fmt=jpeg

基于图像风格迁移,还可以实现妆容变换。如图,是抖音里的一个贴纸妆的效果,通过妆容的迁移,用户本身可能不带妆,但清晰可见画面中眼线、眉毛、嘴唇都被化上相应的妆容,且效果自然贴切。同时妆容切换只需要重新点击选中另一个图标即可,可以很好地帮助那些小仙女用户实现快速变妆拍照。

该项功能主要是为了迎合部分追求文艺风格的用户及大部分爱美女性用户的需求,试想若一个产品可以使得用户以超低的成本,随时体验自己不同风格的美,极大地满足用户的虚荣心,则该产品的用户黏度会越来越高。

但是同时体验中也有一个感受是,有些功能存在相近或冗余,比如之前大火的所谓控雨术,在体验中发现并没有什么“控制的效果”,同时对于道具的分类也不是十分清晰,有点混乱,可能也是由于功能选项实在是太多了。

技术关键词:风格迁移。

4 带心爱的她去吹“蒲公英”

大家觉得程序员都是呆板、木讷的,然而抖音程序员实现的“蒲公英”功能却可以说是相当浪漫了。

640?wx_fmt=jpeg

如图所示,该功能的基本流程逻辑为:启动抖音app来到拍摄页面后,选中“吹蒲公英”工具图标,画面里就可以看到有几株漂亮的蒲公英,用户只需要对着屏幕,张大嘴巴做吹气状,则画面里的蒲公英就会像真的蒲公英一样四处散开,营造出一种唯美的意境。

该功能是抖音独创,有了它,你就可以带心爱的她天天吹蒲公英了。

点击边框调出视频工具条

小视频“吹蒲公英的现场”,整个画面感很真实,甚至于相比大自然的真实场景,更加美好。

而且由于是虚幻的,蒲公英永远都吹不完,这应该戳中了许多抖音小仙女的心。

而提出该项功能需求点的初衷,一方面是为了满足平台用户少女的浪漫情怀,而另一方面也是为了帮助单身男青年实现低成本“求偶”。同时这也进一步强化了抖音音乐化、文艺化的定位和格调。


“蒲公英”功能的实现,主要采用了人脸表情识别技术。但是在该项功能中,体验不足的是,用户只有将人脸放置在屏幕正中间,蒲公英的吹散效果才比较好,而且通常都是检测到动作后,一旦触发,就会把屏幕中所有的蒲公英都吹散开,没有办法实现单独吹某一朵蒲公英的行为,可能是当前算法在实际运用中,仍无法十分精准定位和检测的缘故吧。


不可否认,抖音的成功还在于,它通过冰冷的技术,创造性地为用户带来了暖心的情怀和浪漫,这也是值得许多人工智能产品借鉴的一种精神。


技术关键词:表情识别。


5 时刻睁大的“鉴黄”双眼

自直播、短视频应用兴起后,各种监管问题层出不穷,而对于抖音而言,用户生成的内容是海量的,基于此,抖音在用户看不见的后台,采用了基于深度学习的“图像分类”技术对用户上传的图片、视频资料进行智能监管。

640?wx_fmt=jpeg

在训练鉴黄系统的过程中,输入如图所示的大量训练数据,并且这些数据都携带有对应标签,标签值标明了该图片是否属于黄色图片范畴。则模型通过学习并“记住”黄色图片的特征,并在面临新的输入图片或视频时,提取相应特征后,结合学习的经验判断,该图片属于属于黄色图片的概率,最终分类概率高于一定阈值的内容会被标记敏感选项,需进行二次分流检测或人工鉴别。如此对图片/视频资料进行分类筛选,以保证内容的健康性。

在体验时也发现,相较其它短视频或直播类的平台,抖音的整体环境的营造以及内容的调性相对优良,色情、暴力及敏感内容较少,则抖音背后强大的算法技术功不可没。

抖音属于头条系产品,在算法的性能及应用上本身就具有一定的优势,假以时日,一定可以推动鉴黄算法朝着自动化及智能化更上一层楼。

技术关键词:图像分类。

总结

我们都可切实地感受到,计算机视觉技术已不仅仅停留在理论层面,而是落地到许多产品中,为用户带来了许多活力与惊喜,人工智能正不知不觉地慢慢改变人类的生活。作为计算机视觉的从业或爱好者,也应当保持对行业产品动态的持续关注~

本周直播(点击图片跳转)

640?wx_fmt=png

今日看图猜技术

640?wx_fmt=png

有三AI生态

640?wx_fmt=png

640?wx_fmt=png

更多精彩内容请关注知乎专栏《有三AI学院》

640?wx_fmt=png

转载文章请后台联系

侵权必究

640?wx_fmt=png

640?wx_fmt=png

往期精选

Ubuntu环境下读取罗技G29方向盘信息 阅读详情

相关推荐

PaddleOCR多进程GPU推理实战:200万图片高效处理方案

本文详细介绍了PaddleOCR多进程GPU推理在高效处理200万张图片OCR任务中的实战方案。通过优化GPU利用率、多进程并发和关键参数调优,实现了从单进程3000张/小时到8进程3万张/小时的性能飞跃,为大规模OCR处理提供了可靠解决方案。

prometheus9mon的博客 261

爬虫-抖音无水印视频下载

直接撸代码,复制即用 import re import requests class Douyin: def __init__(self,url): """ 初始化 :param url: 用手机分享的视频链接 """ self.headers = {"User-Agent": "Mozil...

AI悦创·编程私教1v1 2万+

SAP CEWB 高效批量调整工艺路线与BOM的实战指南

本文详细介绍了SAP CEWB工具在批量调整工艺路线与BOM中的高效应用。通过实战案例和操作指南,帮助制造业企业快速掌握批量修改技巧,显著提升工作效率,避免手工操作带来的错误和耗时。特别适合需要频繁更新工艺路线和BOM的企业用户。

weixin_42524708的博客 399

下载抖音无水印视频

箭头处可以看到url变了,这是因为抖音使用了重定向和视频流服务来处理视频播放。当浏览器请求初始链接时,抖音的服务器会根据请求参数、用户的地理位置、网络状态等信息,动态生成一个实际的视频流url。黄色高亮处就是该视频的源码,现在双击这一部分代码,将这部分代码展开。然后把这段url粘贴在新网页打开,这时候就可以右键保存到本地了。在当前页面CTRL+F进行查找,输入。随便找一个视频,右键之后打开详情页。,这里以chrome浏览器为例。Fn+F12打开开发者模式。

qq_40184254的博客 5211

SIwave学习记录:电热耦合仿真

SIwave电热耦合仿真

m0_68174736的博客 2337

保姆级教程:用海康威视老版存储服务器+IVMS-4200搭建本地监控录像(附软件获取与开机自启)

最近在帮朋友搭建一套小型监控系统时,遇到了一个颇具挑战性的问题:手头有几台海康威视网络摄像头,但官方已经下架了配套的存储服务器软件。经过一周的摸索和测试,终于找到了一套可靠的解决方案。本文将完整分享从软件获取到系统稳定运行的全过程,特别适合那些不想额外购买NVR设备,又需要本地存储监控录像的个人用户或小型企业IT管理员。

weixin_30553777的博客 516

如何下载抖音视频

在APP Store中,点击进入“搜索”页面。打开手机,点击进入“APP Store”。在搜索结果中,找到抖音,点击下载按钮即可。接着搜索抖音,并点击搜索结果“抖音”。打开手机,点击桌面上的“应用市场”。在抖音详情页,点击下方“安装”即可。然后在上方搜索栏中搜索“抖音”,打开手机点击APP Store。然后在首页中,点击上方搜索栏。打开手机点击应用市场。

KeXue_de的博客 10万+

AD9361 官方例程

文章目录一、官方资料1.1 介绍1.2 下载 和 使用1.3 相关资料二、步骤2.1 在Vivado中构建HDL2.2 在SDK中构建No- OS总结 一、官方资料 1.1 介绍 HDL参考设计介绍:AD9361 HDL Reference Designs 无操作系统介绍:AD9361 No-OS Software 1.2 下载 和 使用 HDL下载:Download HDL 在Vivado中构建HDL:Building HDL No-OS下载:Download No-OS 1.3 相关资料 AD

weixin_44630490的博客 3万+

抖音视频纯净下载全攻略:轻松获取高清无水印内容

还在为抖音视频上碍眼的水印而困扰吗?douyin_downloader 这款专业级工具能够帮助你直接获取抖音服务器的原始视频文件,完美避开平台水印处理环节,保持视频的原始清晰度和纯净度。 ## 工具核心优势解析 [![抖音应用图标](https://raw.gitcode.com/gh_mirrors/dou/douyin_downloader/raw/51e40d3fab35e1327951

gitblog_00585的博客 2862

UE5导入MetaHuman虚拟头像后,连接live link face,面部表情捕捉出错修正

UE5 利用live link face 驱动meta human面部表情捕捉

m0_53122690的博客 6596

Ubutntu下使用realsense d435i(二):获取某二维像素点的三维坐标

00 准备工作 准备工作包括安装驱动以及pyrealsense2,具体可参考上一篇: Ubutntu下使用realsense d435i(一):准备工作以及安装pyrealsense2 https://blog.youkuaiyun.com/gyxx1998/article/details/121461293 01 通过二维像素点获得物体三维坐标 这个在上一篇已经介绍了代码: realsense d435i获取某像素点三维坐标(计算深度和点云两种方法) https://blog.youkuaiyun.com/gyxx1998/

gyxx1998的博客 9945

【AI研究院】头条与抖音背后的AILab怎么样

文章首发于微信公众号《与有三学AI》 【AI研究院】头条与抖音背后的AILab怎么样 今天带大家认识一下抖音背后的研究院——字节跳动AI实验室 01简介 字节跳动人工智能实验室,即ByteDance AI Lab,作为信息流行业的产品和服务提供商,率先部署了大规模的人工智能模型,并重新定义人类连接和共享信息的方式,即个性化。 北京字节跳动科技有限公司成立于...

hacker_long的专栏 6002

高通Camx功能feature分析之二:remosaic流程

本文介绍了Remosaic技术及其在图像处理中的应用。Remosaic是将4cell1像素排布还原为普通Bayer结构的过程,分为硬件和软件两种实现方式。文章详细解析了Remosaic流程,包括配流情况、Feature选择、初始化过程,以及触发拍照的完整流程。重点分析了从普通预览切换到全尺寸拍照的关键步骤:激活全尺寸RDI会话、生成请求、等待就绪、唤醒离线线程和重启预览。通过代码层面的分析,揭示了Remosaic技术如何实现高分辨率图像还原,同时说明了该过程中可能出现的预览定屏现象及其原因。

1880

「AI产品」产品小姐姐分析抖音背后的计算机视觉技术

https://www.toutiao.com/a6714046310409880071/ 大家好,今天开设新的专栏《AI产品》,在这个专栏中,我们将以产品体验为主,简单剖析背后的核心技术,这是一个更加贴近工业实践的专栏。 今天就体验抖音基于计算机视觉技术实现的几项高大上的功能,希望可以加深大众对计算机视觉技术及人工智能产品进程的认知。 作者 | Luna 编辑 | 言有三 ...

喜欢打酱油的老鸟 1004

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

【AI产品】一键去除杂物,Photo Eraser助你拍出美丽照片

欢迎来到《AI产品》专栏,本专栏面向所有热爱人工智能技术的朋友、同学。在本专栏中,会多多分享给大家不同种类的且新奇有趣的AI产品,对产品中的核心技术进行深度剖析。文章底部会推荐相关核心技...

hacker_long的专栏 2183

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

【AI产品】如何让Google的AI给你捕捉最美的自拍瞬间

欢迎来到《AI产品》专栏,这一个专栏是面向所有对人工智能技术感兴趣的朋友。在这个专栏里,我们会给大家推荐好玩的AI产品,剖析背后的关键技术,并推荐相关学习资料。今天要推荐的这款产品是Selfissimo,这是一款非常有情怀的app,可以自动抓取你最好的自拍照,黑白复古风格。作者&编辑 | 言有三什么是"Selfissimo"拥有人脸的图像往往更容易收到评论和点赞,其中自拍占据了很大一部分。...

hacker_long的专栏 602

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

【AI产品】拯救你的模糊照片,AI让图像重回清晰锐利

欢迎来到《AI产品》专栏,本专栏面向所有热爱人工智能技术的朋友、同学。在本专栏中,会多多分享给大家不同种类的且新奇有趣的AI产品,对产品中的核心技术进行深度剖析。文章底部会推荐相关核心技...

hacker_long的专栏 8296

【AI产品】爱做短视频的你,真的很需要一款配音软件

欢迎来到《AI产品》专栏,本专栏面向所有热爱人工智能技术的朋友、同学。在本专栏中,会多多分享给大家不同种类的且新奇有趣的AI产品,对产品中的核心技术进行深度剖析。文章底部会推荐相关核心技...

hacker_long的专栏 2575

【AI产品】智能修图时代已来临?「咔嗒」一下,轻松后期

欢迎来到《AI产品》专栏,本专栏面向所有热爱人工智能技术的朋友、同学。在本专栏中,会多多分享给大家不同种类的且新奇有趣的AI产品,对产品中的核心技术进行深度剖析。文章底部会推荐相关核心技...

hacker_long的专栏 1114

【总结】只需5步,给所有想入行人工智能/深度学习的新手们准备的资料

对于新人来说,如何选择一条正确的道路比努力更加重要,这是有三AI给所有想要入行人工智能/深度学习领域的朋友准备的资料汇总,也是我建议一个初学者必须走完的5个步骤。第一步:先知道AI能做什...

hacker_long的专栏 3755

【AI产品】拥有它,一秒成为艺术家,你还在等什么?

欢迎来到《AI产品》专栏,本专栏面向所有热爱人工智能技术的朋友、同学。在本专栏中,会多多分享给大家不同种类的且新奇有趣的AI产品,对产品中的核心技术进行深度剖析。文章底部会推荐相关核心技...

hacker_long的专栏 559

faceapp怎么合成未来宝宝照片_【AI产品】拯救你的模糊照片,AI让图像重回清晰锐利...

欢迎来到《AI产品》专栏,本专栏面向所有热爱人工智能技术的朋友、同学。在本专栏中,会多多分享给大家不同种类的且新奇有趣的AI产品,对产品中的核心技术进行深度剖析。文章底部会推荐相关核心技术学习资料,全部原创!请订阅并持续关注,跟上我们学习的步伐。作者&编辑 | 林诗登 A.I.ImageEnlarger在网速如此快,网友们看视频都要求高清甚至4K版的年代,图像大多数时候还很模糊...

weixin_39747615的博客 4795

【AI产品】认猫、认花、认车、认吃,请认准识别全能王

欢迎来到《AI产品》专栏,本专栏面向所有热爱人工智能技术的朋友、同学。在本专栏中,会多多分享给大家不同种类的且新奇有趣的AI产品,对产品中的核心技术进行深度剖析。文章底部会推荐相关核心技...

hacker_long的专栏 791

人工智能新手入门学习路线!附学习资源合集

有段时间没跟大家分享编程资源福利了!今天为大家整理了人工智能新手入门学习路线,同时附700分钟的学习资源合集,相信这套福利可以帮你顺利入行AI!文末领取全部资料。一、AI基础好课学习资料...

AI科技大本营 3041

技术的真相 | 从AR口红试妆了解人工智能试妆技术

随着人工智能技术的不断发展,各大美颜软件的妆容变得越来越“自然无痕迹”,大家可能会好奇这背后的技术原理是什么。因此,本期“技术的真相”将通过简易的AR口红试妆带大家走进虚拟试妆技术。一、...

旷视开发者技术社区 1935

【AI产品】 基于深度估计如何后期调整景深,看AppStore神器Focos就知晓

欢迎来到《AI产品》专栏,这一个专栏是面向所有对人工智能技术感兴趣的朋友。在这个专栏里,我们会给大家推荐好玩的AI产品,剖析背后的关键技术,并推荐相关学习资料。今天要推荐的这款产品是Fo...

hacker_long的专栏 1663
上一篇: 【AI大咖】认真认识一代AI教父Hinton
下一篇: 【知识星球】每日干货看图猜技术,你都会吗?
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3635粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值