OpenAI通过训练结构更简单、连接更稀疏的神经网络，发现了模型内部存在的"电路"（协同工作的特征与连接模式）。研究表明，训练更大但更稀疏的模型可得到能力更强但电路更简单的模型，为构建既强大又透明的AI提供了新方向。这项研究有助于揭示大模型运作机制，理解其产生幻觉、失控等问题，OpenAI计划将此技术扩展到更大模型并提升训练效率。
OpenAI的新论文介绍了他们在破解大模型「黑箱」上的一次重要突破，通过训练结构更简单、连接更稀疏的神经网络，为构建既强大又透明的模型提供全新方向。
破解大模型「黑箱」的钥匙找到了？
刚刚，在理解大模型复杂行为的道路上，OpenAI又迈出了关键一步。
他们从自己训练出来的稀疏模型里，发现存在结构小而清晰、既可理解又能完成任务的电路（这里的电路，指神经网络内部一组协同工作的特征与连接模式，是AI可解释性研究的一个术语）。
这意味着，如果真存在一种可行的方式来训练机制可解释的大型系统，它们将是破解大模型「黑箱」的钥匙。
麻省理工科技评论认为，OpenAI的新研究对于破解大模型「黑箱」意义重大：
构建一个更加透明的模型，将有助于揭示大模型的运作机制，帮助研究人员弄清模型为何会产生幻觉、为何会失控，以及我们应该在多大程度上信任它们来完成关键任务。
OpenAI在其官方博客和论文中介绍了他们的具体做法。
论文地址：https://cdn.openai.com/pdf/41df8f28-d4ef-43e9-aed2-823f9393e470/circuit-sparsity-paper.pdf
神经网络与大模型黑箱
神经网络难以理解，本质上与其结构方式、参数规模以及训练方式有关。
这些特性共同作用，造成了所谓的大模型「黑箱效应」——
我们知道它能工作，但很难精确解释它「为什么这样工作」。
由此，也带来了理解大模型工作机制，即大模型「可解释性」上的挑战。
尤其是随着大模型在科学、教育、医疗等领域的具体应用，「可解释性」问题也越来越重要。
实现大模型可解释性的方式有很多，比如通过链式思维（chain of thought）来解释大模型行为，以此来监控模型的行为。
但这种能力在未来也可能会失效。
因此，OpenAI在新研究中更关注机制可解释性（mechanistic interpretability），目标是彻底逆向工程化大模型的计算过程。
可解释性，可以帮助我们实现很多在模型安全、监督上的工作：
比如，让监督更有效，提前发现不安全或不对齐的行为等，也可以与可扩展监督、对抗训练、红队测试等其他安全工作相互补充。
虽然它的效果可能不如链式思维那样立竿见影，但在理论上，它可以更完整地解释模型的行为。
新方法
训练稀疏模型
以往关于机制可解释性的研究，好比把森林还原成一棵棵树木，一般是从密集、纠缠的神经网络出发，尝试把它们「解开」。
然而在这类网络中，一个神经元可能连着成千上万个其他神经元，大多数神经元还「身兼多职」，因此，想彻底搞清楚它们到底在干什么，几乎是不可能的。
但是，如果把一大片森林缩减成排列相对整齐的树木会怎样？
也就是训练的神经网络结构更清晰，神经元数量更多，但每个神经元只有几十个连接，这样得到的网络可能更简单，也更容易解释。
这就是OpenAI训练稀疏模型的核心想法。
基于这个原则，他们训练了一个结构与GPT-2等现有语言模型非常接近的模型，只做了一个小改动：让模型的大部分权重变成零。
这样模型就只能使用极少数连接。
OpenAI认为这个简单的改变，可以让模型内部的计算被大幅「解耦」。
上图展示的是神经网络内部连接结构的两种形式。
左边Dense（密集），显示的是普通的全连接神经网络，每个神经元都会连接到下一层的所有神经元。
右边Circuit Sparsity（稀疏电路），显示的是在稀疏模型里，每个神经元只会与下一层中的少数几个神经元相连。
稀疏模型可以让神经元本身，以及整个网络，都更容易被理解。
可解释性评估
如何衡量稀疏模型内部的计算「解耦」程度？
研究人员选取了一些简单的模型行为，检查能否找到模型中负责这些行为的部分——他们称之为电路，并整理出一套简单的算法任务。
对于每个任务，他们将模型剪枝到仍能完成任务的最小电路，并观察这个电路有多简单，结果发现：
训练更大但更稀疏的模型，往往能得到能力更强、但电路更简单的模型。
研究人员在不同模型上绘制了可解释性与模型能力之间的关系图，如上图。
对于固定规模的稀疏模型来说，提高稀疏度，即把更多权重设为零，这会降低模型能力，但会提升可解释性。
随着模型规模变大，这条前沿会整体外移，这说明我们可以构建既有能力又更可解释的更大模型。
举例来说：假设一个训练过Python代码的模型，需要用正确的引号类型补全字符串。
上图是一个稀疏Transformer中的示例电路，用来预测字符串最后应该用单引号还是双引号结尾。
该电路只使用了五个残差通道（竖直的灰色线）、第0层的两个MLP神经元，以及第10层中的一个注意力的query-key通道和一个value通道。
- 在一个残差通道中编码单引号，在另一个通道中编码双引号；
- 通过一个MLP层把它们转换为一个检测任意引号的通道，以及另一个用于区分单引号和双引号的通道；
- 通过注意力操作忽略中间的Token，找到前一个引号，并将它的类型复制给最后一个Token；
- 预测匹配的结束引号。
模型可以通过记住字符串开头的引号类型，并在结尾重现它来完成任务。
这些连接足以完成任务，这意味着把模型其他部分都删掉，这个小电路仍然能工作。
但同时，它们也是必要的，删掉这些连接模型就会失败。
在对于一些更复杂行为的研究中，完全解释这些行为的电路（比如变量绑定）会更困难，但仍然能得到相对简单、而且能预测模型行为的部分解释。
在OpenAI研究人员看来，这项工作是让模型计算更容易被理解的早期尝试，他们的稀疏模型比最前沿模型小很多，而且它们的大部分计算仍无法解释。
因为，未来还有很长的路要走。
下一步，OpenAI计划将这些技术扩展到更大的模型，并能解释更多模型行为。
在解决训练稀疏模型效率低下的问题上，OpenAI也指出了两条可能路线。
一条路线，是从现有的密集模型中提取稀疏电路，而不是从头训练稀疏模型。
另一条路线，是开发更高效的模型可解释性训练技术。
他们的目标，是逐步扩大能够可靠解释的模型范围，并构建工具，让未来的系统更容易分析、调试和评估。
这样，我们就会在追求更强大模型的同时，也让它们的解释机制更加透明，这对于清晰大模型与人类的能力边界十分重要。
作者简介
Leo Gao
据公开资料显示，Leo Gao是EleutherAI的联合创始成员之一，2021年起在OpenAI担任研究员，参与了大语言模型能力评估、奖励模型过优化、稀疏自动编码器等方向的研究。
他长期从事人工智能对齐、机器学习等工作，同时对软件开发、数学、语言学、经济学等领域也颇有兴趣。
通过参与EleutherAI和The Pile等开放项目，他在实践中推动了开放研究以及公开数据集和模型访问，并特别关注大模型规模扩展对能力与对齐带来的潜在风险。
如何学习AI大模型 ？
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓
优快云粉丝独家福利
这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】
读者福利： 👉👉优快云大礼包：《最新AI大模型学习资源包》免费分享 👈👈
对于0基础小白入门：
如果你是零基础小白，想快速入门大模型是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
👉1.大模型入门学习思维导图👈
要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。
对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）
👉2.AGI大模型配套视频👈
很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。
👉3.大模型实际应用报告合集👈
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）
👉4.大模型实战项目&项目源码👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战项目来学习。（全套教程文末领取哈）
👉5.大模型经典学习电子书👈
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）
👉6.大模型面试题&答案👈
截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）
为什么分享这些资料?
只要你是真心想学AI大模型，我这份资料就可以无偿分享给你学习，我国在这方面的相关人才比较紧缺，大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！
这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
优快云粉丝独家福利
这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】
读者福利： 👉👉优快云大礼包：《最新AI大模型学习资源包》免费分享 👈👈
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
