此博客分析深度学习当前的主流应用领域、其受关注度的变化趋势、可能的技术替代或补充方案、产业界和学术界的不同发展方向,以及影响其受关注度变化的核心因素。报告将包括结构化分析(背景、现状、挑战、未来趋势)、数据驱动(市场趋势、论文发表量等数据支持)以及行业案例分析,以展示某些行业如何逐步减少对深度学习的依赖。
背景
深度学习的概念与发展历程: 深度学习(Deep Learning)是机器学习中的一类方法,源于人工神经网络的研究 (趋势分析之深度学习 | 机器之心)。它通过建立多层神经网络来模拟人脑神经元的层次结构,从大量数据中自动学习特征表示。虽然人工神经网络的概念可追溯到上世纪中叶,但深度学习作为术语在2006年由Hinton等人正式提出 (趋势分析之深度学习 | 机器之心)。此后,随着计算能力和数据规模的提升,深度学习迎来了快速发展。20世纪80-90年代,神经网络一度沉寂,但2012年Hinton团队在ImageNet图像识别比赛中以深度卷积神经网络(AlexNet)大幅刷新纪录,标志着深度学习的复兴。随后,深度学习技术在学术界和工业界受到极大关注,被广泛应用于各种人工智能任务。
深度学习在AI领域的重要性: 深度学习已成为当前人工智能的核心支柱和主导范式 (2018 Turing Award)。2018年,三位被誉为“深度学习之父”的学者Geoffrey Hinton、Yann LeCun和Yoshua Bengio因在深度神经网络方面的突破性贡献共同获得了图灵奖(计算机领域的最高奖) (2018 Turing Award) (2018 Turing Award)。深度学习的方法使计算机视觉、语音识别、自然语言处理、机器人控制等长期挑战领域取得了惊人的突破 (2018 Turing Award)。例如,深度神经网络帮助计算机在图像识别、语音听写、机器翻译等任务上达到甚至超越了人类水平 (2018 Turing Award) ( RACGP - AI can diagnose ‘just as well as human doctors’ – but cannot replace them )。与传统的人工智能方法相比,深度学习能够利用大数据进行端到端的特征学习,减少了对人工规则设计的依赖。这种性能上的飞跃和广泛适用性使得深度学习成为过去十多年AI进步的主要推动力之一 (2018 Turing Award)。如今,深度学习模型已是各种AI系统的基础组件,被应用于数十亿用户的智能手机应用和互联网服务中 (2018 Turing Award)。总之,深度学习以其卓越的学习能力重塑了人工智能版图,在学术研究和产业应用中都占据举足轻重的地位。
现状
主流应用领域: 深度学习目前在众多领域取得了成功应用,几乎渗透到所有主要的AI应用场景:
-
计算机视觉(CV):深度学习引发了图像识别领域的革命。卷积神经网络(CNN)在图像分类、目标检测、语义分割、人脸识别等任务上表现卓越 (人工智能顶会真相!深度学习热度高,论文录取率创新低 | 智东西内参 - 智东西)。例如,在ImageNet图像分类挑战中,深度CNN模型的错误率一度降至3%上下,优于人类专家在同一任务上的表现。深度学习还广泛应用于安防监控中的人脸识别、自动驾驶中的视觉感知(如行人和车辆检测)、工业检测中的缺陷识别等。基于深度学习的视觉问答系统也能让计算机“看图回答”复杂问题 (人工智能顶会真相!深度学习热度高,论文录取率创新低 | 智东西内参 - 智东西)。可以说,在计算机视觉领域,深度学习已成为默认的方法选择 (人工智能顶会真相!深度学习热度高,论文录取率创新低 | 智东西内参 - 智东西)。
-
自然语言处理(NLP):深度学习通过循环神经网络(RNN)和Transformer模型彻底改变了机器翻译、文本理解等语言任务 (Transformer (deep learning architecture) - Wikipedia)。2014年前后兴起的序列到序列(Seq2Seq)模型使机器翻译质量大幅提升。2017年提出的Transformer架构采用自注意力机制,大幅提高了并行处理效率,现已取代RNN成为主流NLP模型 (Transformer (deep learning architecture) - Wikipedia)。例如,BERT、GPT等基于Transformer的大型预训练语言模型在阅读理解、问答、摘要生成等任务上屡创佳绩。同时,在智能客服、聊天机器人中,深度学习驱动的对话系统能够进行相对自然的交流。这些进展使得我们手机中的语音助手和输入法具备了相当的语言理解和生成能力 (2018 Turing Award)。
-
语音识别与合成:深度神经网络(如长短期记忆网络LSTM、Transformer)同样显著提高了语音识别的准确率。大型端到端语音识别模型已经让机器在安静环境下的听写错误率接近人类专业听打员水平。一些科技公司宣称在特定测试集上实现了“人类同等水平”的语音识别性能。此外,生成式深度模型(如WaveNet)能够合成接近真人的语音,在智能音箱、语音助手中得到应用。
-
自动驾驶:自动驾驶汽车高度依赖深度学习进行环境感知和决策。车辆搭载的摄像头、激光雷达等传感器采集的数据,通过深度学习模型进行实时分析,从中检测行人、车辆、交通标志、车道线等 (Deep learning for autonomous driving | Bosch Global)。例如,Tesla自动驾驶系统大量采用深度CNN识别道路和障碍物;Waymo的无人车也使用深度学习融合多传感器信息来预测周围物体的运动轨迹。另外,深度强化学习在决策和控制上有所尝试,让车辆学会在模拟环境中自主驾驶。可以说,没有深度学习,就没有今天实用层面的自动驾驶技术。然而需要指出,自动驾驶对模型的可靠性要求极高,深度学习模型在复杂长尾场景下的鲁棒性仍是挑战 (AI's mysterious ‘black box’ problem, explained | University of Michigan-Dearborn)(见“挑战”部分)。
-
医疗健康:深度学习正迅速成为医疗AI的核心工具,辅助诊断和新药研发等方面成果突出。在医学影像分析中,深度CNN可以自动检测X光片、CT、核磁共振中的病灶。例如,在皮肤癌、肺结节、视网膜病变等检测上,深度学习模型的敏感度和特异度与专业医生相当,一些研究甚至报告模型略高于人类医生的平均水平 ( RACGP - AI can diagnose ‘just as well as human doctors’ – but cannot replace them )。一项发表在《柳叶刀·数字健康》的综述汇总了14项研究,发现深度学习模型平均能正确诊断87%的疾病病例,而人类医生为86% ( RACGP - AI can diagnose ‘just as well as human doctors’ – but cannot replace them )。虽然实际临床应用需考虑更多因素,但这些数据表明深度学习在辅助诊断中具有巨大潜力。此外,自然语言处理模型可以阅读分析医学文献、电子病历,从中提取有用信息辅助医生决策。药物研发中,深度生成模型帮助设计候选分子,DeepMind的AlphaFold2利用深度学习成功预测蛋白质折叠结构,解决了生物学中的重大难题。这些应用正在提高医疗行业的效率和精确度。
-
其他领域:深度学习还在推荐系统(如电商和流媒体平台根据用户偏好推荐商品/内容)、金融风控(反欺诈检测、股票量化交易)、教育(智能批改和个性化学习推荐)、农业(作物病虫害识别),以及军事、安全等各行各业得到广泛应用。可以说,凡是有海量数据并需要智能分析决策的领域,深度学习都找到了一席之地。
学术界与产业界的发展情况: 深度学习近年来在学术研究和产业实践上都呈现高速发展态势。
-
学术研究热度: 深度学习已经成为人工智能研究的最热点方向之一 (人工智能顶会真相!深度学习热度高,论文录取率创新低 | 智东西内参 - 智东西)。顶级学术会议的论文相当大比例涉及深度学习相关内容。据对2015-2020年机器学习三大顶会(ICLR、NeurIPS、ICML)论文主题的统计,“深度学习/深度神经网络”是最热门的研究技术点,相关论文量占比高达14.8% (人工智能顶会真相!深度学习热度高,论文录取率创新低 | 智东西内参 - 智东西)。特别是生成式对抗网络(GAN)和循环神经网络(RNN)等深度学习模型一度是讨论焦点 (人工智能顶会真相!深度学习热度高,论文录取率创新低 | 智东西内参 - 智东西)。在计算机视觉领域的CVPR、ECCV会议上,绝大多数论文也采用深度学习方法,比如卷积神经网络是计算机视觉论文中最常用的技术手段 (人工智能顶会真相!深度学习热度高,论文录取率创新低 | 智东西内参 - 智东西)。这一趋势表明,在AI学术圈,深度学习已成为基础方法论,相关研究层出不穷。论文产出方面,全球AI论文总量持续攀升,其中很大一部分与深度学习有关。统计显示2010年至2022年间全球AI学术出版物数量几乎增长了三倍:从2010年的约8.8万篇增至2022年的超过24万篇 (AI Index Report 2024 – Artificial Intelligence Index - Stanford University)。深度学习在2012年后引领了这波AI热潮。例如从2018年底到2019年,深度学习领域论文发表一度爆炸性增长,尽管之后增速有所放缓,但仍保持高位 (DeepScience:学术趋势预测与分析 – OmegaXYZ)。2020年AI领域十大顶会共收到论文投稿超过4.2万篇,其中NeurIPS 2020年投稿9454篇、录取1900篇,创历史新高 (人工智能顶会真相!深度学习热度高,论文录取率创新低 | 智东西内参 - 智东西)。中国在该领域的研究也突飞猛进,自2013年起发表的深度学习相关论文数量跃居世界第一 (华盛顿邮报:中国AI研究领先世界,深度学习论文数量及质量居第一)。总体来说,学术界对深度学习的研究热情仍然高涨,各种改进算法和新颖应用不断涌现。
-
产业落地与市场趋势: 在产业界,深度学习技术已经从实验室走向大规模应用,并催生了巨大的商业市场。一方面,科技巨头和初创企业投入大量资源研发深度学习:Google、Meta、微软等公司建立了专门的AI研究院,招聘顶尖研究人员推进深度学习理论和应用的发展。据统计,在2020年机器学习三大顶会上,Google作为单位的论文被收录数量最多,达347篇,超过麻省理工、斯坦福等学术机构,显示出产业界尤其是大型科技公司在深度学习研究中的重要地位 (人工智能顶会真相!深度学习热度高,论文录取率创新低 | 智东西内参 - 智东西)。这些公司不仅在学术上做出贡献,更将研究成果快速转化到产品中。另一方面,越来越多传统行业公司也开始部署深度学习方案解决业务问题,推动了AI产业化进程。例如,制造业公司使用深度学习检测产品缺陷,零售业利用深度学习进行智能库存和销售预测,金融业应用深度学习模型做风控和客户分析等等。这种广泛的行业应用使得深度学习相关的市场规模迅速扩张。根据市场研究机构预测,全球深度学习市场规模将在未来几年保持高速增长:2023年市场规模约为198亿美元,预计到2029年将增长到1383.6亿美元,年均复合增长率超过40% (深度学习市场规模和份额分析-行业研究报告-增长趋势)。 (深度学习市场规模和份额分析-行业研究报告-增长趋势)这意味着在2024-2029年期间深度学习市场将从约247亿美元跃升至1383亿美元,体现出产业界对深度学习技术的旺盛需求 (深度学习市场规模和份额分析-行业研究报告-增长趋势)。
研究论文和投融资趋势: 深度学习热潮也反映在论文发表和资本投入上:
-
论文发表量: 如前所述,AI相关论文总量节节攀升,而其中大部分突破点都与深度学习密切相关。例如,自2012年以来用于训练AI模型的算力每3.4个月就翻一番 (The true cost of AI innovation | Scientific Computing World)(显著快于摩尔定律的两年翻番),研究者不断训练更大更深的模型来刷新记录。这直接带来了论文产出的爆炸式增长。据统计,2015年在预印本平台ArXiv上新发表的AI论文约5478篇,到了2020年这一数字达到34736篇,5年间增长了6倍 ([PDF] Research & Development - AI Index)。学术出版的激增表明全球有越来越多的研究人员投入深度学习及相关领域的研究。不过有观点指出,论文数量激增也带来了水分,真正有影响力的创新比例可能没有同等倍数增长,但总体而言深度学习领域的科研活跃度可见一斑。
-
市场和投融资: 资本市场对深度学习驱动的AI公司表现出浓厚兴趣。过去几年AI创业公司融资额连创新高,许多产品以深度学习为卖点。全球人工智能产业的投资额从2010年的几十亿美元增长到2020年代的上千亿美元规模。其中,计算机视觉和自然语言处理初创公司频频获得巨额融资,大模型相关的创业项目在近期也受到追捧。与此同时,大公司也在不断加码投入深度学习相关领域(例如收购AI初创公司,建设AI超级计算中心等)。产业界对深度学习的采用已从“尝鲜”变为“必需”:一项调查显示,许多企业已将深度学习视为数字化转型的核心技术,其IT预算中用于AI模型开发和部署的比例逐年上升。随着5G、物联网等的发展,预计将产生更多数据,这反过来又将驱动对深度学习分析处理能力的需求,形成正向循环 (深度学习市场规模和份额分析-行业研究报告-增长趋势)。总体来看,深度学习市场正处于高速成长期,无论是研究论文发表趋势还是商业落地规模,都显示出蓬勃的增长势头 (深度学习市场规模和份额分析-行业研究报告-增长趋势)。
挑战
虽然深度学习取得了巨大成功,但随着热潮的发展,一些新的挑战和瓶颈也日益凸显,这影响了人们对深度学习技术的关注度和评价。
关注度的变化趋势: 在早期,由于深度学习在多个领域带来突破性进展,它一度被视为AI领域的“万能钥匙”,学界和业界的关注度急剧攀升。然而近几年,业界对深度学习的态度变得更为理性。一方面,深度学习的局限性开始显现;另一方面,新颖的研究成果相对减少,一些领域的技术趋于成熟,从“突破”变为“改进”。一些行业观察者指出,深度学习正走过炒作曲线中从峰值滑向成熟应用的阶段——最初的过高期望逐渐冷却,取而代之的是对其现实约束的清醒认识。导致关注度变化的核心因素主要包括以下几点:
-
算力和硬件瓶颈: 深度学习对计算资源的巨大消耗正成为不可忽视的问题。为了取得更好的效果,研究者倾向于训练更大规模的模型(参数数量动辄数亿、上千亿)并使用更庞大的训练数据集。这使得训练一次顶尖模型所需的计算量呈指数级增长。从2012年至2018年,用于训练最尖端AI模型的计算量激增了约30万倍 (The true cost of AI innovation | Scientific Computing World) (The true cost of AI innovation | Scientific Computing World)。这种增长速度远超摩尔定律,被OpenAI研究者称为每3.4个月算力翻一番 (The true cost of AI innovation | Scientific Computing World)。即使有GPU/TPU等高性能硬件的进步支撑,训练诸如GPT-3这样的大模型仍需要数千块GPU运行数周,耗电量巨大,有报道称训练一个大型Transformer模型的碳排放相当于一辆汽车一生的排放量。这种对算力贪得无厌的需求给研究机构和企业都带来了成本和能耗压力。当算力提升开始遇到物理极限或成本制约时,深度学习性能的提升速度也可能放缓。因此,近年AI领域开始更加关注模型效率和绿色AI,一些研究尝试用更少计算资源取得媲美大模型的效果 (The true cost of AI innovation | Scientific Computing World)。
-
数据依赖与获取成本: 深度学习往往被称为“数据驱动”的方法,其成功高度依赖于大规模、高质量的训练数据。然而,在许多应用场景下,获取足够的数据并非易事。首先,带标签的高质量数据集制作成本高昂,需要耗费大量人工标注时间。例如,要训练一个医学诊断模型,需要专业医生逐一标记成千上万的影像,这在人力和资金上代价巨大。其次,一些任务的数据本身稀缺或难以获取,比如罕见疾病的数据、涉及隐私的用户数据等。此外,深度学习模型对数据分布的覆盖范围要求高,极端或未见过的情况可能无法正确处理 (AI's mysterious ‘black box’ problem, explained | University of Michigan-Dearborn)。正如自动驾驶领域所遇到的问题:“能否获得覆盖所有情况的训练数据?”答案显然是否定的,因为真实世界存在无穷无尽的特殊工况 (AI's mysterious ‘black box’ problem, explained | University of Michigan-Dearborn)。如果训练数据中缺乏某类场景,模型在现实中遇到时就可能出错。因此,在很多数据匮乏或数据敏感的领域,深度学习的表现受到限制。随着对数据隐私的重视和法规(如GDPR)对数据使用的约束,简单地“多收集数据”也面临挑战。如何降低对海量标注数据的需求,成为推动深度学习下一步发展的关键议题(见下文“技术替代或补充”部分讨论的小样本学习、自监督学习等方案)。
-
模型复杂度与开发成本: 深度学习模型的庞大复杂也带来了开发和维护成本的问题。如今最先进的模型往往拥有数以亿计的参数和深层架构,开发者需要调整众多超参数和训练技巧才能得到好的效果 (〖深度学习〗近万字解读深度学习领域有哪些瓶颈?_深度学习研究现状-优快云博客)。模型训练往往需要分布式的计算环境和精细的工程优化,非大型科技公司或研究机构难以承担。这种高门槛导致深度学习尖端研究和应用在一定程度上集中在少数巨头手中,中小型企业和学术团队转向应用开源预训练模型来降低成本。然而,即便使用现成模型,部署深度学习系统仍需要相当的算力支撑(例如运行推理时的GPU需求)、持续的监控和维护(模型可能随环境变化性能下降,需要定期重新训练)。此外,模型越复杂,调试诊断就越困难,如果出现错误或意外行为,开发者往往难以及时找出原因。相比之下,传统机器学习或规则系统虽然性能略逊,但开发调试相对简单。综合这些因素,对于资源有限的团队,深度学习的大规模应用存在现实壁垒。
-
法规和伦理限制: 随着深度学习算法影响力扩大,监管机构开始关注其潜在风险,并制定相应法规。在高风险应用(如金融贷款审批、司法判刑、医疗决策等)中,完全依赖一个不可解释的深度学习模型做决定是令人生疑的。深度学习模型通常被视为“黑箱”,难以直接解释其决策依据 (AI's mysterious ‘black box’ problem, explained | University of Michigan-Dearborn)。例如,如果一个银行的贷款审批模型基于深度学习拒绝了一位申请人,现在监管要求给出可解释的理由,银行可能无法从模型中提取出明确的规则依据。这引发了对公平性和透明度的担忧。如果模型存在偏见或错误,我们难以及时察觉和纠正。鉴于此,欧盟在制定AI监管框架,按应用风险将AI系统分级,可能禁止在高风险领域使用不可解释的深度学习系统 (AI's mysterious ‘black box’ problem, explained | University of Michigan-Dearborn)。具体而言,像金融风控、刑事司法这样关乎切身权益的场景,未来可能要求采用可解释的AI模型,否则限制使用深度学习 (AI's mysterious ‘black box’ problem, explained | University of Michigan-Dearborn)。即使不被明令禁止,深度学习模型在这些领域也面临繁重的合规审查和证明安全性的要求。此外,深度学习模型易出现偏见(因为训练数据本身可能带有社会偏见),这在人事招聘、信用评估等人群相关领域尤其敏感。各国监管机构正逐步将AI伦理纳入法律框架,这无疑给深度学习的大规模应用设定了合规门槛。因此,一些行业在关键决策中仍倾向采用可解释的传统模型,将深度学习仅作为辅助工具,以满足监管期望。
-
创新性下降与常规化: 随着深度学习技术的成熟,在某些领域它正从“新奇技术”变为“常规工具”。许多工程师把使用现成的深度学习框架和模型视为理所当然,就像拼装乐高一样完成任务 (〖深度学习〗近万字解读深度学习领域有哪些瓶颈?_深度学习研究现状-优快云博客)。目前大量应用开发并不需要创造新的网络结构或算法,而是复用已有的成熟模型(ResNet、BERT等)然后进行微调。这固然加速了应用落地,但也意味着深度学习本身在这些场景中不再被视为具有不确定性的前沿创新,而是一种可以拿来即用的技术组件。一些业内人士感慨:“深度学习算法现在有点像数据库技术——重要但平常。”在CV、NLP等领域,深度学习已经成为默认方法,研究的边界更多转向如何优化效率、降低成本,而不再像以前那样每年都有颠覆性的全新架构问世。此外,深度学习社区近年来出现了某种“工程师化思维”主导的倾向,即更多通过试错和调参改进模型,而缺乏理论上的突破 (〖深度学习〗近万字解读深度学习领域有哪些瓶颈?_深度学习研究现状-优快云博客)。这导致真正具有创新性的成果相对减少。总的来说,在应用层面,深度学习如今经常被当作一种常规技术来看待:对很多公司而言,使用深度学习提升产品功能已经是必备选项,但只有在结合业务创新时才能创造额外价值。因此,业内的关注重点开始转向如何更好地融合深度学习与场景,而非深度学习方法本身的新奇。
归纳而言,深度学习目前面临的挑战包括对算力和数据的巨大需求、高昂的开发成本、缺乏可解释性引发的监管压力,以及技术从炙手可热走向理性平淡的趋势 (The true cost of AI innovation | Scientific Computing World) (AI's mysterious ‘black box’ problem, explained | University of Michigan-Dearborn)。这些因素使得业界开始反思深度学习的局限,并寻找新的路径来突破瓶颈。在这种背景下,相关领域的研究重心也有所调整,一些潜在的替代或补充技术受到越来越多关注。
可能的技术替代或补充
面对深度学习的挑战,学术界和工业界正在探索多种新技术和方法,期望作为对现有深度学习范式的补充甚至替代。这些方向旨在解决深度学习目前的痛点,如数据效率、可解释性、模型规模与效率等。下面介绍几种备受关注的技术方向:
-
小样本学习(Few-shot Learning):小样本学习旨在让模型在仅有极少训练样本的情况下也能完成任务,缓解深度学习对海量标注数据的依赖。人类往往只需看少量示例就能学会新概念,而传统深度学习需要成千上万的数据才能取得良好效果。Few-shot学习通过元学习(Meta-learning)等策略,让模型从**“学会如何学习”,以在新任务上快速适应。典型方法包括原型网络、迁移学习与微调、以及利用大模型的上下文学习**能力。例如,OpenAI的GPT-3展示了惊人的小样本学习能力:它拥有1750亿参数,虽未在具体任务上专门训练,但通过在提示中给出几条示例就能在翻译、问答等任务上达到接近有监督模型的水平 ([2005.14165] Language Models are Few-Shot Learners) ([2005.14165] Language Models are Few-Shot Learners)。正如论文《语言模型是少样本学习者》所示,随着模型规模提升,GPT-3在不进行梯度更新的情况下,仅凭几条范例提示就取得了接近此前有大数据微调模型的性能 ([2005.14165] Language Models are Few-Shot Learners)。这证明了大模型的Few-shot潜力。然而,不是所有环境都能训练如此大的模型,因此研究者也在探索更高效的小样本学习算法,让中小规模模型也具备类似能力。这方面的进展将极大拓宽AI的应用范围,因为许多现实任务很难获得海量数据。小样本学习被认为是迈向更通用智能的重要一步,未来可能与深度学习深度融合,让模型具备更接近人类的举一反三能力。
-
自监督学习(Self-supervised Learning):自监督学习是一种利用海量无标签数据进行训练的范式。它通过设计“伪标签”或预任务,让模型在学习数据内在结构的同时不需要人工标注。例如,语言模型可以通过让模型预测句子中的下一个词或遮住的词来自我训练(这正是BERT模型的训练方式);图像领域可以让模型拼图、旋转预测等预任务来自主学习特征。自监督学习已经被证明能够学习出高质量的表示,然后通过少量有标签数据进行微调即可在下游任务获得优秀表现。其意义在于充分挖掘了无标注数据的价值,大幅降低对标注的需求。LeCun等专家将自监督称为“AI的下一突破方向”,认为它将在视觉、语音等领域带来类似于过去监督学习革命性的效果。近年来,自监督预训练已成为NLP的新标准(如GPT系列、BERT均是自监督预训练模型),在计算机视觉中也出现了如SimCLR、MoCo等自监督框架。通过自监督预训练,模型能从海量未标注数据中学到丰富的特征表示,然后在目标任务上微调时表现出色 (十年来论文量激增,深度学习如何慢慢推开数学推理的门_腾讯新闻)。例如,在数学推理领域的研究指出,大规模语料和Transformer模型训练的预训练语言模型(如GPT-3)在复杂推理上展现了令人印象深刻的能力 (十年来论文量激增,深度学习如何慢慢推开数学推理的门_腾讯新闻)。可以预见,自监督学习将继续蓬勃发展,未来可能成为深度学习的标配训练范式,极大缓解数据匮乏的问题。
-
强化学习(Reinforcement Learning, RL):强化学习通过让智能体与环境交互、根据反馈奖励来学习策略。深度强化学习结合了深度学习的感知能力和强化学习的决策能力,在游戏AI和机器人控制等领域取得了瞩目成绩。最著名的例子莫过于DeepMind的AlphaGo和AlphaZero,它们使用深度神经网络作为策略网络和价值网络,在自我博弈中不断强化学习,最终达到超越人类围棋冠军的水平。强化学习非常适合解决序列决策和控制优化问题,例如自动驾驶中的决策规划、机器人运动控制、智能运维中的决策优化等。在工业控制、个性化推荐(根据用户持续反馈优化推荐策略)等场景,RL也展现出潜力。在学术研究上,强化学习与深度学习的结合是热点之一,顶会论文中“深度强化学习”频频出现 (人工智能顶会真相!深度学习热度高,论文录取率创新低 | 智东西内参 - 智东西)。然而,传统强化学习数据效率低(需要大量试错)、训练不稳定等问题限制了其应用范围。目前的趋势是将RL与其他方法结合,如模型辅助的强化学习(用模型模拟环境减少试错)、离线强化学习(利用历史数据学习)等,以降低样本需求和提高安全性。强化学习可以视为对监督学习的有益补充:监督学习解决感知和预测,强化学习解决决策和控制。未来的智能系统很可能将二者融合,例如自动驾驶车辆用深度学习感知环境、用强化学习决策动作。随着研究推进,我们有望看到强化学习在更多实际场景落地,与深度学习共同支撑复杂AI系统。
-
神经符号混合方法(Neuro-Symbolic AI): 针对深度学习缺乏可解释性和推理能力的弱点,一些研究者提出结合符号AI(基于规则和逻辑)与神经网络的方法,即神经符号混合智能。传统符号AI善于抽象推理和利用先验知识,但不擅长从感知数据中自动学习;深度学习相反,长于感知和模式识别,短于高层逻辑推理。二者结合有望取长补短。例如,IBM研究院开发了神经符号推理系统,利用符号逻辑约束引导神经网络学习,从而既能保证一定的可解释规则,又保留神经网络的感知威力 (AI's mysterious ‘black box’ problem, explained | University of Michigan-Dearborn)。在计算机视觉中,有研究将逻辑推理用于分析神经网络的输出,例如约束检测结果满足物理或常识规则。在NLP中,也有将知识图谱等符号知识融入神经网络,以增强模型的事实性和可控性。神经符号AI被寄望于实现可解释且可校验的AI系统,因为符号部分提供了决策链条的一定透明度。例如,在医疗决策场景下,可采用符号规则表示医学知识,用神经网络处理图像等非结构化数据,二者结合给出诊断建议,这样医生可以部分审查系统依据的医学规则。除了可解释性,符号方式还可提升模型的可推理能力,处理超出训练数据的新组合情况(这是神经网络的弱项)。欧盟等对于高风险AI要求可解释,也推动了神经符号方法的发展 (AI's mysterious ‘black box’ problem, explained | University of Michigan-Dearborn)。不过神经符号AI目前尚处于研究早期,要让两种范式无缝融合并不容易。然而,它代表了一条重要思路:未来的AI或许既包含基于逻辑的模块,又包含基于学习的模块,从而达到更高的智能水平和可信度 (Neuro-symbolic AI - IBM Research)。一些专家甚至认为,神经符号AI是迈向强人工智能(AGI)的一条可行路径 (Neuro-symbolic AI - IBM Research)。短期看,神经符号方法会在特定应用中发挥作用,例如利用约束求解技术提高深度学习模型输出的一致性等。
-
更高效的新型模型架构: 深度学习架构本身也在不断演进,追求更高性能和效率的新模型不断涌现。其中最具代表性的进展包括Transformer和近期出现的状态空间模型(如Mamba)等。
-
Transformer模型:Transformer于2017年由Google团队提出,最初应用于机器翻译 (Transformer (deep learning architecture) - Wikipedia)。它采用多头自注意力机制,抛弃了传统RNN的循环结构,大幅提高并行计算效率 (Transformer (deep learning architecture) - Wikipedia)。Transformer无需逐步处理序列,而是可以全局建模序列中任意两个位置的依赖关系。这种架构在NLP任务中全面超越了以往的RNN/LSTM模型,并很快成为主流方法。近年来Transformer的影响力扩展至计算机视觉和语音领域:Vision Transformer将图像切成块后应用Transformer,在图像分类等任务上达到与CNN相当甚至更优的结果 (Transformer (deep learning architecture) - Wikipedia);Transformer结构还被用于强化学习代理、大型多模态模型等 (Transformer (deep learning architecture) - Wikipedia)。Transformer家族模型(如BERT、GPT系列)通过大规模预训练,取得了当前众多NLP基准任务的最佳成绩,并催生了“预训练-微调”的范式。Transformer之所以重要,不仅在于性能高,还在于其计算特性适合利用现代GPU/TPU做大规模并行,加速训练过程 (Transformer (deep learning architecture) - Wikipedia)。可以说,Transformer定义了过去五年深度学习模型的新范式,即以注意力机制为核心,配合更深层和大数据训练,达到了前所未有的模型能力。然而,Transformer也存在处理长序列效率低的问题:自注意力计算量随序列长度二次增长,对特别长的信息(如超长文本、长时间序列)处理困难 (一文看懂Mamba,Transformer最强竞争者|注意力_新浪科技_新浪网)。为此,研究者提出了许多改进,比如高效注意力算法以及完全不同的新架构。
-
Mamba架构:Mamba是2024年出现的一种新型结构化状态空间模型(SSM),被视为Transformer在长序列建模上的有力竞争者 (一文看懂Mamba,Transformer最强竞争者|注意力_新浪科技_新浪网)。其设计融合了RNN的循环结构、Transformer的并行注意力机制,以及经典状态空间模型的线性演化特性 (一文看懂Mamba,Transformer最强竞争者|注意力_新浪科技_新浪网)。简单来说,Mamba通过特殊的选择性状态参数化机制,能够在滤除不相关信息的同时长时保留重要信息 (一文看懂Mamba,Transformer最强竞争者|注意力_新浪科技_新浪网)。得益于这种结构,Mamba在处理长序列数据时复杂度随序列长度近似线性增长,而不像Transformer那样是二次方增长 (一文看懂Mamba,Transformer最强竞争者|注意力_新浪科技_新浪网)。初步研究表明,Mamba在建模长序列上的能力已经可以媲美Transformer,同时内存和计算更为高效 (一文看懂Mamba,Transformer最强竞争者|注意力_新浪科技_新浪网)。在语言建模方面,同等规模下Mamba模型的效果优于Transformer模型,且可以匹敌参数规模大一倍的Transformer (ICLR'23 | 投稿量暴涨46%,「GNN」依旧热门,「Diffusion」&「Mask ...)。由于这些优势,Mamba被认为有望成为新一代基础模型,有潜力改变计算机视觉、自然语言处理、医疗等多个领域的研究和应用版图 (一文看懂Mamba,Transformer最强竞争者|注意力_新浪科技_新浪网)。目前,关于Mamba的研究文献数量在迅速增长,多个团队发布了综述报告探讨其方法和应用,可见学界对这一方向的重视 (一文看懂Mamba,Transformer最强竞争者|注意力_新浪科技_新浪网)。当然,Mamba仍属于新生事物,距离像Transformer那样成熟还需进一步验证和发展 (一文看懂Mamba,Transformer最强竞争者|注意力_新浪科技_新浪网)。但它代表了模型架构改进的一种趋势:通过引入新的计算框架来提升深度学习的效率和性能。未来可能出现更多类似的架构创新,逐步解决Transformer等现有模型的短板。
-
-
大模型及其影响: 近年来出现的超大规模预训练模型(俗称“大模型”),如GPT-3、GPT-4、PaLM等,对深度学习发展趋势产生了重大影响。这些模型通常基于Transformer架构,参数规模达到百亿甚至万亿级,在海量数据上训练,因而展现出前所未有的能力和汎用性 ([2005.14165] Language Models are Few-Shot Learners)。大模型带来的影响可以从多个方面来看:
-
范式转变: 大模型的出现引发了AI范式从“训练专门模型解决单一任务”向“训练通用模型适配多任务”转变的趋势。GPT-3等模型证明了参数规模足够大时,同一个模型可以通过不同的提示在众多任务上取得不俗表现 ([2005.14165] Language Models are Few-Shot Learners)。这催生了“基础模型”(Foundation Model)的概念,即通过训练一个巨大的通用模型,再针对不同应用进行微调或提示设计。许多公司和研究机构开始投入训练自己的基础模型,用于多个下游用途。例如,GPT系列在NLP领域一模多用的成功,正影响CV领域尝试训练通用视觉模型。一些学者认为,大模型时代AI研发将更加集中:少数基础模型平台加上大量微调应用。这改变了深度学习的研发表现形式,使模型设计和训练更加集中化、规模化 (2018 Turing Award)。
-
性能与能力: 超大模型展示了一些惊艳的新能力,包括非常强的Few-shot学习(前面提及)和一定程度的推理与常识。例如,GPT-3不仅在翻译、问答等标准NLP任务上接近甚至优于以往最佳模型,还能在诸如三位数加法、解谜、根据上下文完成故事等需要一点推理的任务上取得不错表现 ([2005.14165] Language Models are Few-Shot Learners)。更引人注目的是,它可以生成流畅的长篇文本,甚至模仿人类写作风格,让人难辨真伪 ([2005.14165] Language Models are Few-Shot Learners)。这表明规模本身即一种质量:参数量增加带来了涌现能力,即模型表现出小模型所不具备的新行为。这一点极大鼓舞了AI研究者和从业者,认为通过扩展规模和数据,深度学习或许能攻克过去难以企及的任务,如常识推理、多步推理等。在数学推理方面,大模型也推动了进展 (十年来论文量激增,深度学习如何慢慢推开数学推理的门_腾讯新闻)——例如GPT-4在一些数学竞赛问题上表现出接近高中生的水平。这些能力的提升拓展了深度学习的应用边界,使AI可以胜任更复杂、更开放的任务(例如代码生成、创意写作等以前认为机器不擅长的领域)。
-
挑战与影响: 大模型虽然强大,但也带来了新的挑战和争议。首先是资源门槛的急剧升高:训练GPT-3估计花费数百万美元的算力成本,这使得只有极少数巨头企业和科研机构有能力训练同级别模型。有人担心这会让AI进步变得“垄断”,小玩家只能使用大公司提供的模型服务。其次,大模型的能耗和碳足迹巨大,训练一次消耗的电力能供一个美国家庭用几十年 (The true cost of AI innovation | Scientific Computing World)。这引发对环境可持续性的担忧,推动业界更加重视模型效率。再次,大模型虽然性能出色,但仍有固有缺陷:例如,它们可能产生事实性错误(幻觉)、难以解释其内部决策、在缺少监督下可能输出有害内容等。这些问题近期在ChatGPT等应用中已显现,迫使开发者通过强化学习人类反馈(RLHF)等手段来调优模型行为。监管层面对如此强大的生成式AI也保持警惕,研究制定相应规范。尽管如此,大模型无疑已成为深度学习领域新的里程碑,其出现重新燃起了大众和产业界对AI的热情。ChatGPT的爆红就是明证:它让公众直接体验到深度学习的强大,引发各行各业思考如何利用这类通用AI助手提升效率。这股风潮反过来又会吸引更多资金和人才涌入AI领域,形成良性循环。从学术上看,大模型也促使研究者反思现有算法的可扩展性、寻找解释其涌现行为的理论依据,并探索更优的训练范式。这些都将影响深度学习未来的发展走向。
-
综上,面对深度学习当前的限制,各种新技术正在崛起或融合进主流。从数据高效的学习范式(小样本、自监督)到新型架构(Transformer、Mamba等),再到跨范式融合(强化学习、符号AI结合),以及规模驱动的大模型,每一种路径都为深度学习开辟了新的可能性。可以预见的是,深度学习不会停滞在现有状态,而将不断吸收新的理念和方法,朝着更加智能、高效、可靠的方向演进。
未来趋势
展望未来,深度学习仍将是人工智能领域的核心驱动力之一,但其发展方向和应用格局会因为上述挑战和新技术的出现而有所改变。以下是深度学习未来发展的一些趋势和可能的走向:
1. 技术发展方向:
-
效率优先与绿色AI: 随着模型规模和能耗的爆炸式增长,提升效率、降低资源消耗将成为深度学习研发的重要目标。未来的研究将更加注重模型压缩、剪枝、蒸馏等技术,使得在不显著损失精度的情况下大幅减少模型参数量和计算量。这将使深度学习模型更易于部署在移动设备、边缘设备上,推动AI的普及。此外,新的算法如稀疏模型、低秩分解、混合精度计算等也会被广泛采用。同样重要的是,AI芯片硬件将继续进化,如GPU、TPU以及各类专用神经网络加速器(包括边缘设备的NPUs)。软硬件协同优化会带来更高效的深度学习运行环境。例如,卷积等算子的新优化方法、存储带宽的问题解决等,都可能逐渐缓解算力瓶颈。同时,在科研评估导向上,“碳足迹”“能效”预计会成为评价模型的一项指标 (The true cost of AI innovation | Scientific Computing World)。我们已经看到学术界开始发布模型能耗报告,企业也追求在有限算力下实现同等AI功能。这预示着深度学习将从过去单纯追求精度,转向追求精度-效率平衡的新阶段,更加“绿色”和可持续。
-
数据和算法的融合创新: Andrew Ng等专家提出“Data-Centric AI”的理念,强调与其一味增大模型,不如改进数据质量。未来,深度学习的发展可能更多从数据入手:通过数据增强、合成数据、主动学习等手段,让更少的数据发挥更大价值。一方面,自监督、迁移学习等技术将继续发展,让模型可以利用来源广泛的原始数据自我训练,然后高效适配目标任务。另一方面,领域专家知识可能融入数据标注和特征工程的流程,使训练数据更有信息量。此外,深度学习算法本身也会在基础理论上寻求突破,比如更好地理解为什么某些网络结构有效(目前很多设计靠经验)。如果能建立完善的理论框架来指导模型设计 (〖深度学习〗近万字解读深度学习领域有哪些瓶颈?_深度学习研究现状-优快云博客),将有助于发明新的、更强的模型架构。未来也许会出现超越现有深度网络的新范式(类似当年从SVM到深度学习的范式转移)。总之,数据与算法并重将是趋势:既要发挥大数据的作用,又要发展更聪明的算法去高效利用数据。
-
更加通用的智能: 现有深度学习系统大多是窄智能,即便大模型如GPT-4,在一些任务上表现超群,但在常识、抽象推理、因果推理等方面仍局限明显。未来的研究将致力于让AI具备更类似人类的广泛认知能力。例如,整合符号推理与深度学习,让模型不仅会相关性判断,还能进行因果推理和逻辑推演。再如,发展具备持续学习能力的模型,能够在部署后随着新数据不断更新知识,而不是训练完即固化。还有一个方向是多模态智能:让单一模型同时理解视觉、听觉、语言等多种模态的信息,并进行联想和推理。这将大大拓展AI的应用场景,使之能够处理更接近人类感知的复杂任务。一些初步工作(如CLIP、DALL·E、Imagen等多模态模型)已经展示了令人惊叹的跨模态创造力。可以预见,未来的深度学习模型将向更通用、更灵活的人工智能系统演进,缩小与人类智能在认知灵活性上的差距。
-
可解释性和安全性提升: 为了让深度学习在关键领域被接受,未来会更加注重模型的可解释AI(XAI)和安全可靠性研究。我们将看到更广泛的模型可解释工具应用,如通过可视化神经网络内部激活来解释模型决策依据,或者提取近似规则来描述模型行为。尤其在医疗、金融等领域,监管可能强制要求提供一定程度的可解释性,这会推动相关技术成熟 (AI's mysterious ‘black box’ problem, explained | University of Michigan-Dearborn)。另外,对抗样本防御和鲁棒性也是研究重点,以确保模型在恶意攻击或异常输入下不出严重错误。在自动驾驶等安全攸关应用中,可能发展出验证深度学习模型行为的方法,例如通过形式化验证检查网络在某些边界条件下的输出是否满足安全要求。这些努力将提高深度学习模型的可信度,使其能够承担更关键的任务。例如,未来的无人车AI除了有高精度,还可能配有一个监控模块来检测其感知决策是否异常,从而在危险时刻交还控制权或采取安全模式。伦理和合规方面也会有所进展,开发者会嵌入机制以避免模型输出不当内容或歧视性决策。总体而言,下一个阶段深度学习的发展将不仅关注“能否做好”,还关注“是否可信”。只有让AI更透明、安全,人类才能放心将更多权力交给AI系统。
2. 新兴应用与行业变化:
-
新兴应用领域拓展: 随着技术的进步,深度学习在未来有望开拓一些现在看来不太成熟或刚起步的应用领域。例如:
- 创意和内容生成: 深度生成模型(Generative Model)的能力将进一步提升,使得AI在文字、绘画、音乐、视频等创意领域大展拳脚。我们已经看到GPT系模型写文章、ChatGPT聊天问答、DALL·E和Midjourney绘制精美图画。这类AI助手将来可能成为内容创作者的标准工具,用于头脑风暴、素材生成等。同时,这也带来版权归属、新内容审核等法律和伦理问题,需要新的规范。
- 科学研究辅助: 深度学习将更多地应用于科学计算与实验设计中。例如,在材料科学中用深度学习预测材料性质、在化学中用于分子设计和反应路径优化、生物学中用于基因调控网络分析等。尤其AlphaFold2解决了蛋白质结构预测难题 (2018 Turing Award),让业界看到了AI助力基础科研的巨大潜能。未来可能会有“AI科学家”协助进行理论推导、实验分析,加速科研进程。
- 个性化医疗与精确医学: 除了医疗影像诊断,深度学习还会用于个性化治疗方案制定、药物反应预测等。例如,通过分析个人的全基因组数据和电子病历,深度学习模型也许可以预测某种治疗的成功率,帮助医生为病人量身定制方案。这需要结合因果推理和临床知识(神经符号方法可能发挥作用)。
- 智能机器人与自动化: 未来机器人将更加智能,得益于深度学习赋予的视觉、听觉、语言理解能力。服务型机器人、仓储物流机器人、医疗护理机器人等都可能大量涌现。特别是具有语义理解和手眼协调能力的机器人,有望在复杂的人类环境中执行任务。深度学习算法的进步,加上强化学习、规划算法,使机器人能够学习执行更灵巧的操作。波士顿动力等公司的机器人已经展示了惊人的运动能力,下一步是让它们具备高层智能决策,成为真正的多功能自动化助手。
- 边缘AI与物联网: 随着深度学习算法和硬件的优化,大量小型设备将具备本地AI推理能力。未来的汽车、手机、家电、安防摄像头、可穿戴设备都将内置深度学习模型,实现环境感知和智能控制。在这种趋势下,“云+端”协同的AI架构会流行:云端训练大模型并下发到边缘设备运行推理,边缘设备产生的数据又用于云端模型的持续优化。物联网与AI融合将催生智慧城市、智能工厂等更加自动化、高效的系统。
-
行业案例与依赖度变化: 各行业对深度学习的依赖程度可能会出现分化:有些行业将更加仰赖深度学习技术,有些则会趋于理性,甚至减少对它的单纯依赖,改为与其他方法结合优化。
-
自动驾驶行业: 前些年自动驾驶初创公司和车企对深度学习抱有极高期望,认为通过端到端学习可以快速实现完全无人驾驶。然而实践证明,完全无人驾驶要应对各种极端场景,比预想更困难。当前行业趋势是更加务实,深度学习+规则的混合方案受到重视。例如,一些自动驾驶系统在感知模块大量使用深度学习,但在决策控制上加入了基于规则的安全约束。如果感知结果不确定或者超出经验范围,系统会以安全为先。我们看到Uber、特斯拉等公司的自动驾驶项目都经历了从盲目乐观到理性发展的过程。Uber甚至在2020年将其无人驾驶部门出售给他人,行业投资热度一度下降。近期趋势是聚焦L2/L3级别的高级驾驶辅助系统,将AI用于提高行车安全和用户体验,而完全无人驾驶(L5级)被视为长期目标。深度学习仍然是自动驾驶的核心技术,但不再被视为唯一解药,传统工程安全措施重新受到重视。这展示了一个行业从深度学习“过热”回归“理性应用”的典型例子。
-
金融行业: 金融领域在接受深度学习方面相对谨慎。虽然深度学习在股票预测、高频交易、个性化营销等方面有所应用,但在银行风控、贷款审批等高风险决策中,传统的可解释模型(如逻辑回归、决策树)依然占主导。一方面是监管要求,银行需要清晰解释拒贷原因等,复杂的神经网络无法满足 (AI's mysterious ‘black box’ problem, explained | University of Michigan-Dearborn);另一方面,金融数据量往往没有互联网场景那么大,特征也较为结构化,深度学习未必明显优于传统方法。因此金融行业对待深度学习持“审慎采纳”态度:积极试验,但保留更可靠的基准方法。不过,随着技术进步,深度学习在金融的应用可能逐步扩大,例如用于实时反欺诈系统(处理海量交易数据检测异常)和投资组合优化等。这些低直接监管风险的领域能更好发挥深度学习长处。而在高监管环节,预计仍将维持“深度学习 + 可解释规则”结合,以兼顾性能和合规。
-
医疗行业: 医疗领域已拥抱深度学习作为辅助诊断工具,但也强调“人机协同”,而非完全依赖AI。许多研究证明AI在特定诊断任务上达到医生水准 ( RACGP - AI can diagnose ‘just as well as human doctors’ – but cannot replace them ),然而医院在采用时通常将其作为医生的第二读片人,帮助提升效率和准确率,而不是取代医生最终判断。这主要出于对安全负责的考虑——AI可能在少数情况下出错且无法解释原因,需要医生把关。因此未来相当长时期,医疗AI会处于“助手”角色。可以预见的是,随着AI可靠性逐步提高,临床医生对AI辅助的信任度会上升,AI介入的诊疗环节也会增加,但彻底摆脱人工监督可能还需立法和伦理的双重许可。因此医疗行业会持续依赖深度学习来扩展能力,但同时保有专业人员的监督,以确保安全有效。
-
制造和零售业: 这些行业对深度学习的依赖将取决于业务环节需求。制造业中的质检、设备预测性维护已经大量使用深度学习,实现比人工检验更高效的故障检测。但在生产控制等环节,仍以传统控制理论为主,因为需要精确可控。未来制造业可能在更多环节引入视觉、预测类深度学习模型,但总体上,深度学习是作为特定功能模块存在,而整个系统需要融合传统计谋和规则。零售业则会更多地利用深度学习分析消费行为、优化供应链。比如大型零售商利用深度学习进行需求预测和库存管理,以适应线上服务的发展 (深度学习市场规模和份额分析-行业研究报告-增长趋势)。报告显示零售行业线上化趋势推动了对深度学习的采用,用于预测客户需求、实现个性化推荐等 (深度学习市场规模和份额分析-行业研究报告-增长趋势)。可以预见,零售业会更加依赖AI驱动的数据分析决策,从营销到客服都大量用到深度学习,实现智能化运营。这将是深度学习深度融入传统行业的一个典型场景。
-
其它: 在教育领域,深度学习驱动的自适应学习系统能够根据学生表现调整教学内容,将来可能成为教育的标配之一,但教师的作用仍然不可或缺。安防领域对人脸识别等深度学习技术高度依赖,但也伴随隐私和误报担忧,因此将探索在准确率和隐私保护间取得平衡的方案。
-
3. 结语:
深度学习经过十余年的高速发展,已经从实验室走进各行各业,成为现代AI的象征性技术。当前,其技术生态日趋成熟,在许多任务上达到了常规实用的程度。同时,我们也清晰地认识到,深度学习并非没有局限:数据、算力、可解释性等问题亟待解决。面向未来,深度学习领域既充满机遇也面临挑战。一方面,新兴的方法如小样本学习、自监督学习、大规模预训练等,将持续拓展深度学习的能力边界;另一方面,业界在思考如何以更聪明、更负责的方式应用深度学习,使其与其他AI手段结合,打造更全面的智能系统。可以预见,在未来的AI格局中,深度学习仍将扮演举足轻重的角色,但它将不再孤军奋战,而是与强化学习、符号推理等方法协同,共同迈向更高水平的人工智能。
总的来说,深度学习的现状是一幅机遇与挑战并存的图景:技术上,它已硕果累累,应用上,正融入百业;但要攀登新的高峰,仍需在理论和实践上不断创新。深度学习的未来发展趋势,既包括技术层面的演进(更高效、更智能、更可控),也包括应用层面的深化(广度扩张与深度融合)。凭借过去的成功经验和正在兴起的新思路,我们有理由相信,深度学习将在未来十年继续引领人工智能的浪潮,为科技和社会带来更多变革性影响 (2018 Turing Award) (The true cost of AI innovation | Scientific Computing World)。深度学习的故事,远未到终章。它正站在新的起点,迈向更壮阔的征程。
参考文献:
- LeCun Y., Bengio Y., Hinton G. “Deep learning.” Nature 521.7553 (2015): 436-444.
- Hinton G., et al. “Reducing the dimensionality of data with neural networks.” Science 313.5786 (2006): 504-507.
- Brown T., et al. “Language models are few-shot learners.” NeurIPS (2020) ([2005.14165] Language Models are Few-Shot Learners) ([2005.14165] Language Models are Few-Shot Learners).
- OpenAI. “AI and Compute.” (2018) (The true cost of AI innovation | Scientific Computing World) (The true cost of AI innovation | Scientific Computing World).
- OmegaXYZ. “DeepScience:学术趋势预测与分析.” (2022) (DeepScience:学术趋势预测与分析 – OmegaXYZ).
- 机器之心. “趋势分析之深度学习.” (2019) (趋势分析之深度学习 | 机器之心).
- Zhidx 报告. “2020年AI顶会论文分析.” (2021) (人工智能顶会真相!深度学习热度高,论文录取率创新低 | 智东西内参 - 智东西).
- Mordor Intelligence. “深度学习市场规模分析报告 (2024-2029).” (2024) (深度学习市场规模和份额分析-行业研究报告-增长趋势).
- RACGP. “AI can diagnose as well as human doctors.” (2019) ( RACGP - AI can diagnose ‘just as well as human doctors’ – but cannot replace them ).
- UM-Dearborn. “AI’s black box problem, explained.” (2021) (AI's mysterious ‘black box’ problem, explained | University of Michigan-Dearborn) (AI's mysterious ‘black box’ problem, explained | University of Michigan-Dearborn).