自监督学习:人工智能中的暗物质,来自Facebook AI Yann LeCun

视觉自监督学习 阅读详情

作者:Yann LeCun,Ishan Misra

编译:ronghuaiyang

导读

Yann LeCun和Ishan Misra对于自监督学习的现状的分析和展望。

近年来,人工智能领域在开发能够从大量精心标记的数据中学习的人工智能系统方面取得了巨大进展。这种监督学习的模式在训练专家模型时有着良好的记录,这些模型在训练任务中表现得非常好。不幸的是,人工智能领域仅靠监督学习的发展是有限的。

监督学习是构建更智能的多面手模型的瓶颈,这种模型可以在不需要大量标记数据的情况下完成多个任务并获得新技能。实际上,不可能给世界上所有的东西都贴上标签。还有一些任务根本没有足够的标记数据,比如为低资源语言训练翻译系统。如果人工智能系统能够收集到比训练数据集更深入、更细致的现实理解,它们将更有用,并最终让人工智能更接近人类的智能水平。

在婴儿时期,我们主要通过观察来了解世界是如何运转的。我们通过学习物体持久性和重力等概念来形成关于世界上物体的广义预测模型。在生活的后期,我们观察世界,采取行动,再观察,并建立假设来解释我们的行为如何通过试错改变我们的环境。

一个可行的假说是,关于世界的广义知识,或常识,构成了人类和动物的大部分生物智能。这种常识能力在人类和动物身上被认为是理所当然的,但自人工智能研究一开始就一直是一个公开的挑战。在某种程度上,常识是人工智能的暗物质。

常识帮助人们学习新技能,而不需要对每一项任务进行大量的教学。例如,如果我们给小孩子看几幅牛的画,他们最终就能认出任何他们看到的牛。相比之下,经过监督学习训练的人工智能系统需要很多牛的图像,而且在不寻常的情况下,比如躺在海滩上,可能仍然不能对牛进行分类。人类是如何在几乎没有监督的情况下,在大约20个小时的练习中学会驾驶汽车的,而完全自动驾驶仍然无法实现我们最好的人工智能系统,这些人工智能系统接受了来自人类驾驶员数千小时的数据训练。简而言之,人类依赖于他们先前获得的关于世界如何运转的背景知识。

我们如何让机器做同样的事情?

我们认为,自监督学习(SSL)是在人工智能系统中构建这种背景知识和近似常识形式的最有前途的方法之一。

自监督学习使人工智能系统能够从更大数量级的数据中学习,这对于识别和理解更微妙、更不常见的世界表示模式很重要。长期以来,自监督学习在推动自然语言处理(NLP)领域取得了巨大成功,包括Collobert-Weston 2008 model, Word2Vec, GloVE, fastText等。系统以这种方式进行预训练产生的性能要比仅以监督方式进行训练时高得多。

我们最新的研究项目SEER利用SwAV和其他方法对10亿张随机无标记图像进行预处理,从而在各种视觉任务中获得最高的精度。这一进展表明自监督学习可以在复杂的CV任务中胜出,在真实生活环境中也是一样。

今天,我们将分享为什么自监督学习可能有助于解开智能的暗物质 —— 以及人工智能的下一个前沿。我们还强调了我们认为在不确定性存在的情况下,基于能量的预测模型、联合嵌入方法和用于人工智能系统中自监督学习和推理的潜在变量架构的一些最有前途的新方向。

自监督学习是一种预测性学习

自监督学习从数据本身获得监督信号,通常利用数据中的底层结构。自监督学习的一般技术是预测任何未观察到的或隐藏的输入部分(或属性)从任何观察到的或未隐藏的输入部分。例如,正如自然语言处理中常见的那样,我们可以隐藏一个句子的一部分,并从剩余的单词中预测隐藏的单词。我们还可以预测视频中过去或未来的帧(隐藏数据)和当前的帧(观察数据)。由于自监督学习使用的是数据本身的结构,所以它可以跨同时发生的模式(例如,视频和音频)和跨大型数据集利用各种监督信号 —— 所有这些都不依赖于标签。

在自监督学习中,系统被训练从可见的输入部分(绿色)中预测出隐藏的输入部分(灰色)。

由于监督信号告知自监督学习,术语“自监督学习”比之前使用的术语“无监督学习”更被接受。无监督学习是一个定义不明确且具有误导性的术语,它表明学习完全不使用监督。事实上,自监督学习并不是没有监督,因为它比标准监督和强化学习方法使用更多的反馈信号。

语言与视觉的自监督学习

自监督学习对自然语言处理产生了特别深远的影响,它允许我们在大型未标记文本数据集上训练BERT、RoBERTa、XLM-R等模型,然后将这些模型用于下游任务。这些模型在自监督阶段进行预训练,然后针对特定任务进行微调,比如对文本的主题进行分类。在自监督的预训练阶段,向系统展示一段简短的文本(通常是1000个单词),其中一些单词被屏蔽或替换了。该系统被训练来预测被屏蔽或替换的单词。在这样做的过程中,系统学会了表示文本的意思,这样它就能很好地填写“正确”的单词,或者那些在上下文中有意义的单词。

预测输入中缺失的部分是SSL预训练中比较标准的任务之一。为了完成像“The (blank) chases the (blank) in the savanna”这样的句子,系统必须知道狮子或猎豹可以追赶羚羊或角马,但是猫可以在厨房里追赶老鼠,而不是稀树大草原。作为训练的结果,系统学习表示单词的意思,单词的句法角色,以及整个文本的意思。

然而,这些技术不能轻易地推广到新领域,比如CV。尽管早期的结果很有希望,但SSL还没有在计算机视觉方面带来我们在NLP中看到的同样的改进(尽管这将会改变)。

主要原因是,在预测图像时,表示图像的不确定性比描述文字要困难得多。当无法准确预测缺失的单词时(是“lion”还是“cheetah”?),系统可以将分数或概率与词汇表中所有可能的单词关联起来:“lion”、“cheetah”和一些其他捕食者得分高,词汇表中所有其他单词得分低。

这种规模的训练模型还需要一个模型架构,该架构在运行时和内存方面都是高效的,而不影响准确性。幸运的是,FAIR最近设计了一种新的模式称为RegNets,完美满足了这些需求。RegNet模型是能够扩展到数十亿甚至数万亿个参数的ConvNets,并且可以进行优化以适应不同的运行时和内存限制。

但是我们不知道如何有效地表示不确定性,当我们预测视频中缺失的帧或图像中缺失的补丁。我们不能列出所有可能的视频帧并将其与每个帧关联起来,因为它们的数量是无限的。虽然这个问题限制了SSL在视觉任务中的性能改进,但诸如SwAV等新技术SSL技术开始在视觉任务中打破精度记录。SEER系统最好地证明了这一点,该系统使用了一个由数十亿个样本训练的大型卷积网络。

预测中的不确定性建模

为了更好地理解这个挑战,我们首先需要理解预测的不确定性,以及它在NLP和CV中建模的方式。在自然语言处理中,预测缺失的单词包括为每个可能的单词计算预测得分。虽然词汇量本身很大,而且预测一个遗漏的单词包含一些不确定性,但我们还是有可能生成一个词汇中所有可能出现的单词的列表,并估算出这些单词在该位置出现的概率。典型的机器学习系统是这样做的:将预测问题视为分类问题,并使用一个巨大的所谓的softmax层计算每个结果的分数,该层将原始分数转换为单词的概率分布。使用这种技术,预测的不确定性用所有可能结果的概率分布来表示,前提是可能的结果的数量是有限的。

另一方面,在CV中,类似的预测视频中“缺失”的帧、图像中缺失的补丁或语音信号中缺失的片段的任务涉及到对高维连续对象的预测,而不是离散结果。有无限个可能的视频帧可以合理地跟随一个给定的视频剪辑。不可能显式地表示所有可能的视频帧并将预测分数与它们关联起来。事实上,我们可能永远不会有技术来表示高维连续空间上合适的概率分布,比如所有可能的视频帧的集合。

这似乎是一个棘手的问题。

对自监督方法的统一看法

有一种方法可以在基于能量的模型(EBM)的统一框架中考虑SSL。EBM是一个可训练的系统,给定两个输入,x和y,告诉我们它们彼此是多么不相同。例如,x可以是一个短视频剪辑,而y可以是另一个视频剪辑。机器会告诉我们y在多大程度上是x的良好延续。为了表示x和y之间的不相容性,机器产生一个单独的数字,称为能量。如果能量低,x和y被认为是相容的;如果是高的,则被认为是不相容的。

基于能量的模型(EBM)测量观测x和预测y之间的兼容性。如果x和y兼容,能量是一个小的数字,如果它们不相容,能量就会更大。

EBM训练包括两部分:(1)展示它的x和y的样本是相容的并训练它产生低能量,(2)找到一个方法来确保特定x, y值不相容,x产生能量高于y值相容的x。第一部分很简单,但是第二部分是困难所在。

对于图像识别,我们的模型将两幅图像x和y作为输入。如果x和y是同一幅图像的轻微扭曲版本,模型将被训练为输出低能量。例如,x可能是一辆车的照片,y是同一辆车从一个稍微不同的位置在一天中的不同时间拍摄的,那么,y相对于x是经过了平移,旋转,变大变小,颜色和阴影稍有不同的汽车。

联合嵌入,孪生网络

一个特别适合的深度学习体系结构是所谓的孪生网络或联合嵌入体系结构。这个想法可以追溯从Geoff Hinton的实验室和Yann LeCun组在1990年代早期的论文。长期以来,它相对被忽视,但自2019年末以来开始复苏。联合嵌入体系结构由同一个网络的两个完全相同(或几乎完全相同)的副本组成。一个网络输入x,另一个输入y。网络产生的输出向量称为嵌入向量,表示x和y。第三个模块在头部连接两个网络,计算两个嵌入向量之间的距离作为能量。当模型显示同一幅图像的扭曲版本时,网络的参数可以很容易地进行调整,使它们的输出更接近。这将确保网络将产生几乎相同的对象表示(或嵌入),而不管该对象的特定视图。

联合嵌入架构。

顶部的C函数产生一个标量能量表示向量之间的距离(嵌入)由两个孪生(w)网络共享同一参数。当x和y是略有不同的版本的相同的图像,系统训练产生一个低能量, 这迫使模型为两幅图像产生相似的嵌入向量。困难的部分是训练模型,使其对不同的图像产生高能量(即不同的嵌入)。

难点在于当x和y是不同的图像时,要保证网络产生高能,即不同的嵌入向量。如果没有特定的方法,这两个网络可以愉快地忽略它们的输入,总是产生相同的输出嵌入。这种现象被称为坍缩。当发生坍缩时,不匹配的x和y的能量并不比匹配的x和y的能量高。

有两类技术避免坍缩:对比方法和正则化方法。

基于能量的对比SSL

对比方法基于构造不兼容的x和y对的简单思想,并调整模型的参数,使相应的输出能量较大。

用对比的方法训练EBM ,包括同时降低训练集中相容(x,y)对的能量,用蓝点表示,提高选择好的不相容(x,y)对的能量,用绿点表示。在这个简单的例子中,x和y都是标量,但在实际情况中,x和y可以是数百万维数的图像或视频。想通过合适的方式构造能量的不相容的对是具有挑战性和昂贵的计算。

通过屏蔽或替换输入词来训练自然语言处理系统的方法属于对比方法的范畴。但他们不使用联合嵌入结构。相反,他们使用了一种预测架构,在这种架构中,模型直接产生对y的预测。一个人从一个完整的文本片段y开始,然后破坏它,例如,通过屏蔽一些单词产生观察x。将损坏输入喂给神经网络训练重现原文y。一个未坍缩的文本将重建本身(低重建误差),而一个损坏的文本将重建一个未坍缩的版本的本身(大的重建错误)。如果将重构错误解释为一种能量,它将具有所需的特性:“干净”文本的能量较低,“损坏”文本的能量较高。

训练模型来恢复输入的损坏版本的一般技术称为去噪自编码器。

一个masked语言模型,它是一个去噪的自动编码器的实例,本身是一个对比的自我监督学习的实例。变量y是一个文本段,X是文本的一个版本,其中一些单词被掩盖了。该网络被训练重建未损坏的文本。

正如我们前面指出的,这种类型的预测体系结构只能为给定的输入产生一个预测。由于该模型必须能够预测多种可能的结果,因此预测不是单一的单词集,而是针对每个缺失单词位置的词汇中的每个单词的一系列分数。

但是我们不能将此技巧用于图像,因为我们不能枚举所有可能的图像。这个问题有解决办法吗?回答是否定的。在这个方向上有一些有趣的想法,但是它们还没有产生像联合嵌入架构那样好的结果。一个有趣的途径是潜在变量预测架构。

潜在变量预测架构。给定一个观测值x,模型必须能够产生一组以图中s形表示的多种相容预测。由于潜在变量z在一组(用灰色方框表示)内变化,输出在一组可信预测中变化。

潜在变量预测模型包含一个额外的输入变量(z)。之所以称其为潜在变量是因为它的值从未被观察到。对于适当训练的模型,当潜在变量在给定集合上变化时,输出预测在与输入x相兼容的可信预测集合上变化。

潜在变量模型可以用对比的方法进行训练。生成对抗网络(GAN)就是一个很好的例子。判别器可以被看作是计算一个能量,该能量指示输入y是否看起来不错。对生成器网络进行训练,以产生对比样本,对这些样本进行训练,使判别器产生到高能量。

但是对比的方法有一个主要问题:训练效率非常低。在像图像这样的高维空间中,一幅图像与另一幅图像有很多不同之处。找到一组对比图像,涵盖它们与给定图像的所有不同之处,几乎是一项不可能完成的任务。套用列夫·托尔斯泰的《安娜·卡列尼娜》:“幸福的家庭都是相似的,不幸的家庭各有各的不幸。”这似乎适用于任何一种高维物体。

如果有可能确保不相容对的能量高于相容对的能量而不明确地推高许多不相容对的能量会怎样?

基于能量的非对比SSL

应用于联合嵌入架构的非对比性方法可能是目前视觉SSL中最热门的话题。这一领域仍大部分未被探索,但似乎很有前途。

非对比性的联合嵌入方法包括:DeeperCluster, ClusterFit, MoCo-v2, SwAV, SimSiam, Barlow Twins, BYOL,来自DeepMind以及其他一些公司。他们使用各种技巧,如计算虚拟目标嵌入相似的图像组(DeeperCluster, SwAV, SimSiam)或通过架构或参数向量(BYOL, MoCo)使两种联合嵌入架构略有不同。Barlow Twins试图最小化嵌入向量的单个组件之间的冗余。

也许从长远来看,一个更好的选择将是设计具有潜在变量预测模型的非对比性方法。主要的障碍是它们需要一种方法来最小化潜在变量的容量。潜在变量可以改变的集合的体积限制了低能量输出的体积。通过将体积最小化,能量就会以正确的方式自动形成。

一个成功的方法是变分Auto-Encoder,使潜变量“模糊化”,限制了潜变量的容量。但VAE尚未显示对下游视觉任务产生良好的表征。另一个成功的例子是稀疏的建模,但它的使用一直局限于简单的架构。似乎没有什么完美的方法可以限制潜在变量的能力。

未来几年的挑战可能是为基于潜在变量能量的模型设计非对比方法,成功地生成图像、视频、语音和其他信号的良好表示,并在不需要大量标记数据的情况下在下游监督任务中获得最佳表现。

—END—

英文原文:https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/

深度学习三巨头 进化计算,深度学习三巨头,国际期刊International Journal of Complexity in Applied Science and Technology,收录进化计算,机器学习和大数据方面的论文, 投稿网址:https://www.inderscience.com/jhome.php?jcode=ijcast 阅读详情

相关推荐

11. TI MSPM0G3507 DMA传输实战:ADC数据自动搬运与电压采集

本文以TI MSPM0G3507为例,详细讲解了如何利用DMA(直接存储器访问)实现ADC数据的自动搬运与电压采集。通过实战演示,解放CPU资源,提升系统实时性与效率,适用于电赛备赛及嵌入式开发中的数据采集场景。

weixin_42465140的博客 135

(Facebook AI杨力坤) Self-supervised learning: The dark matter of intelligence

(Facebook AI杨力坤) Self-supervised learning: The dark matter of intelligence

nanlaidefeng的博客 413

实战|验证码突破思路

漏洞成因:由于逻辑设计缺陷,可绕过验证,比如直接删除COOKIE或验证码参数可绕过、当验证不通过清空session时,验证码参数值为空时绕过等。测试方法:抓包,删除验证码字段,查看是否可以成功发送抓包,正常流程下,记录验证码后的数据包,替换目标包中内容,直接发送,查看是否可以直接绕过验证码案例:Step1.输入正确账户信息和错误验证码,登录时抓包Step2.删除COOKIEStep3.客户端登陆成功。

weixin_46239998的博客 8107

Self-Supervised Learning 超详细解读 (目录)

1.1 数据增强1.2 通过Encoder获取图片表征1.3 预测头1.4 相似图片输出更接近1.5 对下游任务Fine-tune。

jennycisp的博客 1231

风光储互补微电网在偏远地区的应用实践:从建模到仿真全解析

本文深入解析了风光储互补微电网在偏远地区的应用实践,从系统设计到仿真建模全流程。通过Simulink等工具进行动态仿真,验证了系统在多种工况下的可靠性,并结合实际案例展示了其显著的经济和环保效益。文章为从业者提供了从技术路径到实施优化的全面指导。

weixin_29047545的博客 271

西门子1500T插补控制实战:从硬件组态到轨迹规划

本文详细解析了西门子1500T插补控制的完整实战流程。从硬件组态中正确选择带T的CPU和配置报文105,到创建同步轴与插补器工艺对象,再到使用MC_Interpolator功能块编程实现直线与圆弧插补,并分享了调试技巧与常见问题解决方案,为工程师实现高精度复杂轨迹规划提供清晰指导。

weixin_29228781的博客 425

图灵奖得主 Yann LeCun 最新文章 :自监督学习,人工智能世界的“暗物质”

来源:AI前线作者:Yann LeCun ,Ishan Misra译者:王强策划:刘燕近年来,AI 产业在开发“可以从大量经过细致标记的数据中学习的 AI 系统”这个研究领域上取得了巨大进...

人工智能学家 545

BlockUI专栏目录

BlockUI是一个设计NX对话框的工具,是官方推荐使用的对话框制作方法,能够与NX自身风格相统一,并且在实际开发中经常被使用。BlockUI可以帮助用户快速创建NX对话框,支持多种控件类型,如按钮、文本框、标签等。通过使用BlockUI,用户可以轻松地自定义对话框的布局、样式和交互行为。此外,BlockUI还提供了一些高级功能,如动态更新、条件显示和事件处理等,以帮助用户创建更加复杂和灵活的对话框。本专栏讲述了使用BlockUI制作NX对话框的方法,介绍了每个控件的功能,并且分享一些常用操作的源码。

王牌飞行员_里海的博客 1635

深度学习三巨头之Yann LeCun(杨立昆)简介

在人工智能研究领域,Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio一直被公认为深度学习三巨头。 Yann LeCun,自称中文名“杨立昆”,计算机科学家,被誉为“卷积网络之父”,为卷积神经网络(CNN,Convolutional Neural Networks)和图像识别领域做出了重要贡献,以手写字体识别、图像压缩和人工智能硬件等主题发表过 190 多份论文...

ctrigger的专栏 3万+

ardupilot SBUS输入捕获

本节主要记录ardupilot 的sbus 输入捕获功能。ardupilot 默认支持多种无线协议控制输入设备,比如常用的PPM,SBUS,IBUS,DSM,SUMD,SRXL等协议,本节主要讲解ardupilot 如何通过定时器的pwm输入捕获来获取sbus数据。

陌城烟雨 272

2024全国村级行政边界数据

五级行政区划:村边界数据产品涵盖五级行政区划:(一级行政区)省级行政区共31个其中:(台湾、香港、澳门除外);(二级行政区)地级行政区共334个其中:7个地区、3个盟、30个自治州、294个地级市;(三级行政区)县级行政区共2851个其中:1355个县、117个自治县、49个旗、3个自治旗、363个县级市、962个市辖区、1个林区、1个特区;(四级行政区)乡级行政区共40497个其中:11626个乡、1034个民族乡、20117个镇、7566个街道、151个苏木、1个民族苏木、2个县辖区公所;

J_Giser的博客 3237

Yann LeCun最新文章:自监督学习的统一框架

作者:Yann LeCun、Ishan Misra编译:梦佳、贾伟Facebook 今天宣布了一项重大突破: Facebook 的 自监督AI 模型 SEER 能够在没有人类帮助的情况下,...

BAAIBeijing的博客 1120

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

【AI大咖】再认识Yann LeCun,一个可能是拥有最多中文名的男人

上周扒了扛起深度学习大旗的Hinton先生,今天聊一位他的学生,深度学习中CNN的崛起离不开的男人——Yann LeCun。 一位陪伴Hinton三十年磨一剑,最终笑傲AI界的法国人。让我们一起记住这张面孔。 作者 | 小满 言有三 编辑 | 小满 言有三 1 30秒了解LeCun Yann LeCun,CNN之父,纽约大学终身教授,与Geoffrey Hinton、Yos...

hacker_long的专栏 5万+

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

AI 名人堂:Yann LeCun 卷积神经网络之父

Yann LeCun,1960年出生于法国,是当今世界最重要的人工智能研究者之一。他在20世纪80年代参与了卷积神经网络的发明,并在AI领域的低潮时期坚持了这一研究方向,贡献了众多工程实践成果,推动了人工智能图像分析技术的突破。LeCun不仅在学术界取得了卓越成就,也在工业界产生了深远影响。他在Facebook担任首席人工智能科学家和副总裁,领导着Facebook人工智能研究实验室FAIR(现Meta AI)。

xinzhaobuxuan的博客 2367

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Yann LeCun 小传

2019年3月,美国计算机协会(ACM)宣布把2018年图灵奖(Turing Award)颁给多伦多大学名誉教授兼谷歌大脑人工智能团队高级研究员Geoffrey Hinton(杰弗里·辛顿)、纽约大学教授兼Facebook首席人工智能科学家Yann LeCun(杨立昆),以及蒙特利尔大学教授兼人工智能公司Element AI 联合创始人Yoshua Bengio(约书亚·本吉奥)。2013年,所有人都闻风而动。(2004年至2006年,所有关于深度学习主题的文章,几乎都被ML领域的重要会议拒稿。

铅笔楼的专栏 1805

如何解读 Yann LeCun推文建议学生不要在大模型方向工作?

Datawhale分享转载自 | 知乎,作者 | 摘星狐狸编辑:MLNLPYann LeCun的建议说得很直白,LLM已经在大厂手里了,作为一个学生能做的很有限。与其继续在已有的路径上卷,不如去探索更多可能性 -- “lift the limitations of LLMs”!但如果要解读的话,只看字面意思未免浅了些,那就让我们聊点深入的吧。LeCun的观点LeCun对大语言模型的“吐槽”由来...

Datawhale 592

盘点部分AI界的名人

,文中第一次用神经网络来解决语言模型的问题,虽然在当时并没有得到太多的重视,但后人却在它的基础上完成了很多突破,包括 Word2Vec 的作者 Tomas Mikolov 在 NNLM 的基础上提出了 RNNLM 和后来的 Word2Vec。图灵测试,也就是图灵所说的“模仿游戏”的操作很简单:一位询问者将自己的问题写下来,发给处于另外一个房间之中的一个人和一台机器,然后根据他们给出的答案确定哪个是真人——如果无法判断或混淆了被考察的机器和人,则可认为被测试的机器具有某种程度的智慧。

xiao77224li的博客 5589

当代人工智能三教父——深度学习三巨头

今天下午闲来无事翻阅了一下csdn首页的头条文章——《27 岁天才创始人Joel Hellermark分享了自己和“AI 教父”Geoffery Hinton的最新采访》 感觉挺有意思,就从头到尾的看了一遍,里面有很多自己以前从未涉及到的知识,就浅显的整理了一下:

心碎烤肠的博客 1万+

黑苹果检测_苹果技术进行情绪检测

黑苹果检测 介绍 (Introduction) Before we get our hands dirty, let’s prepare ourselves for what’s coming next. 在弄脏手之前,让我们为接下来发生的事情做好准备。 第一件事 (First things first) Artificial Intelligence can be defined as an...

weixin_26735419的博客 3239

综述 | 自监督学习(Self-Supervised Learning) 2018-2020年的发展

点击上方“机器学习与生成对抗网络”,关注"星标"获取有趣、好玩的前沿干货!来源|https://medium.com/@kelispinor/簡介-self-superv...

idol24的博客 1万+

hcnp三本书_这是我关于人工智能的三本书

hcnp三本书Several friends asked me what books I have been reading. I have decided to start a new series sharing the top three books I found useful and insightful on each topic that I am interested in. 有几...

weixin_26630173的博客 2430

建议学生不要在大模型方向工作!

的建议说得很直白,已经在大厂手里了,作为一个学生能做的很有限。与其继续在已有的路径上卷,不如去探索更多可能性 – “lift the limitations of LLMs”!但如果要解读的话,只看字面意思未免浅了些,那就让我们聊点深入的吧。LeCun对的“吐槽”由来已久。早在2022年他就指出,语言只承载了所有人类知识的一小部分,而大部分人类知识和所有动物知识都是非语言的,因此大语言模型无法达到人类水平的智能。他对大语言模型的能力始终持怀疑态度,认为它们在理解复杂世界方面存在局限性。

z551646的博客 1070
上一篇: 使用图像分割来做缺陷检测的一个例子
下一篇: 基于深度学习的特征提取和匹配
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值