【AI研究院】头条与抖音背后的AILab怎么样

文章首发于微信公众号《与有三学AI》

【AI研究院】头条与抖音背后的AILab怎么样

今天带大家认识一下抖音背后的研究院——字节跳动AI实验室

 

01简介

    字节跳动人工智能实验室，即 ByteDance AI Lab，作为信息流行业的产品和服务提供商，率先部署了大规模的人工智能模型，并重新定义人类连接和共享信息的方式，即个性化。

    北京字节跳动科技有限公司成立于2012年3月，ByteDance AI Lab成立于2016年。字节跳动人工智能实验室依托字节跳动的海量数据，专注于开发为字节跳动内容平台服务的创新技术，并将研究成果应用于今日头条的产品中，利用人工智能帮助内容的创作、分发、互动、管理。同时，实验室也将针对人工智能相关领域内长期性和开放性问题进行研究，帮助公司实现对未来发展的构想，促进人类信息与知识交流的效率与深度。

     AI Lab不仅是公司内部的AI研究所，也是AI技术提供商与服务商，注重与高校和政府的合作，并强调人才培养的重要性。ByteDance AI Lab  https://ailab.bytedance.com/

字节跳动科技有限公司  https://bytedance.com/#home

 

 

02领导团队

人工智能实验室负责人：

字节跳动副总裁、人工智能实验室负责人 马维英：

信息流的未来与人工智能的机会 | 新智元 2017

人工智能赋能内容创作和交流 | CNCC 2018

内容提要：

• 字节跳动AI Lab鼓励研究员直接参与到产品研发，利用丰富的应用场景、大量的数据和用户反馈推进科研和技术创新，即所谓的 Real Impact 。

• 五大战略

• 大数据：最好这家公司能够拥有全世界最大的数据资源，拥有数据才是“王道”；

• 应用场景：在字节跳动，研究人员每天都能够从公司的应场景中找到问题，并想要去解决；

• 算力：字节跳动的Internet Data Center在国内也是比较出众的；

• AI需闭环：其实很多用户交互相当于递给了你一份大数据的，提供了更为细粒度的标注数据，而字节跳动每日全球活跃用户所提供的数据之海量，堪称一笔财富；

• 人才：最顶尖聪明的人才是非常关键的一点。不仅公司内部要有这样的人才，最好与之相关的学术界、产业界、社区都是顶级的人才。

• 利用人工智能帮助内容的创作、分发、互动、管理

 

• AI时代下的4种管道（4种主要的方式分别是推荐、搜索、助理与社区/社交）连接人和信息，促进交流和创作。

 

• 新一代AI驱动信息平台，使得交流与创作方式更加智能。

• AI Lab赋能产品、服务人类（短视频）。

人工智能实验室主任：

字节跳动人工智能实验室总监 王长虎博士：

高通量媒体内容理解论坛抖音 | CNCC 2018

内容提要：

•  计算机视觉技术除了在抖音上有广泛应用，还支撑着今日头条、火山小视频、西瓜视频。计算机视觉是抖音和今日头条很多产品的重要基石，希望更多老师和同学加入字节跳动公司。

 

03研究领域

    ByteDance AI Lab 聚集了人工智能方面的最有才华的研究人员，推动着机器智能的极限。从理论研究，到产品部署，ByteDance AI Lab将他们的最佳创意融入各个研究领域。

    ByteDance AI Lab的研究领域主要分为以下几个部分：

 

3.1   自然语言处理

    研究内容：利用平台上，如头条、Topbuzz或News Republic上积累的语言内容，研究机器在试图理解数百种语言时出现的复杂问题。

    所用技术：句法和语义分析，情感分析，文本分类，文本匹配和检索，文本摘要，对话系统，问答，机器翻译，自然语言生成，信息提取，语言和视觉。

    应用：

    •  Byte Translator：为字节跳动所有产品提供翻译服务

    •  AI写稿机器人Xiaomingbot: 涉猎体育、金融、时事的新闻写作机器人

    •  头条和Tiktok (抖音) 的搜索服务

3.2   计算机视觉

    研究内容：自动化实现识别物体、跟踪运动中的动物或理解空间等；改善跨平台的用户体验；开发新的人机交互模式。

    所用技术：视觉理解（分类，识别，检测，分割，摘要，字幕，VQA）, 内容创建，图像和视频搜索，图像和视频消重，可视化平台，视频推荐，3D视觉/3D重建，即时定位与地图构建。

    应用：

    •  内容审核

    •  短视频推荐系统

    •  足球比赛理解

    •  尬舞机

3.3   机器学习

    研究内容：将机器学习应用于全面推荐系统，为跨平台的数十亿个请求提供个性化新闻、视频和其他类型的媒体。

    所用技术：大规模优化，概率图形模型和贝叶斯方法，深度学习，强化学习，推荐系统，非参数模型，时间序列模型，半监督学习，对抗性学习。

3.4   数据挖掘

    研究内容：数据挖掘可以提高浏览大量用户生成的数据和发现模式的方法，基于此可以深入了解如何更好地使用平台，以及如何改进。

    所用技术：社交网络分析，图形挖掘，时间序列分析，数据可视化，异常检测，推荐系统，多媒体挖掘。

3.5   计算机图形&增强现实

    研究内容：通过计算机图形来增强现实世界，创建未来最具沉浸感的体验。

3.6   系统&网络

    研究内容：研发高可用性、高效率和畅销的系统，为数亿月活用户随时随地提供最相关的信息。

    所用技术：机器学习系统，CPU / GPU / FPGA / ASIC 集成系统，云/边缘计算，数据中心网络，分布式网络存储，通过软件自动化实现高可用性系统，推荐系统，内容理解的系统支持。

    应用：

    •  机器学习培训

    •  机器学习推理

    •  云计算

3.7   安全&隐私

    研究内容：过滤垃圾邮件、敏感和不适当内容、假新闻以及任何可能对社会影响有害的东西，保证在线社区的安全。

3.8   语音与音频

    研究内容：处理语音理解、音乐和音频的核心问题，并提供能够模仿各种声音的强力工具。

    所用技术：音频事件检测，语音识别，语音合成，音频指纹，音乐检索和生成。

    应用：

    •  AI辅助呼叫中心

    •  虚拟广播员和歌手

    •  具有语音功能的机器人和设备

 

04应用领域

4.1   开放API：Byted Effect 2.0

    2.0推出更多功能，可对人脸/人体/手指进行精准检测，为中小企业提供多种移动端特效支持。同时Byted Effect 2.0 中所有能力均已接入抖音、Faceu等多个app使用。

https://ailab.bytedance.com/sdk2

4.2   APP(抖音、西瓜视频等)特效

    短视频已经成为一种在世界范围内最受欢迎的信息生产与消费形式。尤其大量的年轻一代喜欢用短视频来表达他们自己，分享他们的故事和经验，与他们的亲人朋友交流。

    特别是计算机视觉、智能语音赋予了每个人更强的创作能力。字节跳动旗下短视频产品的代表抖音也风靡全球今年一季度，抖音下载量超越Facebook、Youtube、Instagram等，成为全球下载量最高的iPhone应用。

内含技术：

• 视频的搜索需要对视频的内容有更好的理解，包括动作的理解、物体的检测跟踪，还有视频里的环境识别。

 

• 通过人脸识别还有关键点的检测，我们可以做出很多创意滤镜和特效，这些也是抖音制胜的关键原因之一。

 

• 滤镜

4.3  视频和图片审核、推荐

    抖音是一个开放共享的平台，内容审核方面的挑战是非常大的。字节跳动一直用人工智能辅助审核，过滤理解这些视频内容，进行版权识别。

 

 

05总结

字节跳动人工智能实验室虽然涉及到多方面人工智能领域，但是在应用方面主要是在自然语言处理与计算机视觉方面，大概是因为主要要围绕今日头条，抖音和西瓜视频进行产品算法的研究。

更多请关注微信公众号《有三AI》与知乎《有三AI学院》。

感谢各位看官的耐心阅读，不足之处希望多多指教。后续内容将会不定期奉上，欢迎大家关注有三公众号 有三AI！