YT YouTube2Text

YouTube2Text → Transcripts → AI可解释性与对齐：J-Space，思维链，AI人格，幻觉，与金门大桥【101视频播客】

AI可解释性与对齐：J-Space，思维链，AI人格，幻觉，与金门大桥【101视频播客】 — Transcript

by 硅谷101 · 1,725 words · 1,345 segments · language zh · Watch on YouTube

Open in transcriber Summarize with AI Download SRT/VTT

Full transcript

0:00如今的AI仍然是一个黑箱
0:03我们知道如何训练模型
0:04如何让它们变得越来越聪明
0:06也知道模型最终给出了什么样的答案
0:09但在输入和输出之间究竟发生了什么
0:13对于这个过程我们依然知之甚少
0:17我不知道为什么这些东西有效
0:18我把它归因于神意
0:20这其实有点疯狂我们竟然必须依赖
0:22那些拥有非常强直觉的人
0:24来推动整个领域取得进展
0:25试图打开这个黑箱
0:27理解模型内部究竟发生了什么
0:29这就是可解释性研究希望解决的问题
0:33过去几年
0:34这个领域确实出现了不少令人兴奋的进展
0:37Anthropic的研究开始尝试
0:39追踪Claude内部的信息流
0:41了解模型在回答问题前
0:43究竟经历了怎样的内部计算
0:45还有研究发现
0:46模型内部似乎存在与特定概念、行为
0:49甚至“人格”相关的表示
0:52Transluce则发现
0:53模型会根据它认为自己正在与谁对话而改变行为
0:57面对普通用户和AI安全研究员的时候
1:00模型的表现可能截然不同
1:03因此我们想弄明白
1:04人类究竟有多了解现在的AI模型
1:07模型为什么会答对
1:09为什么会产生幻觉
1:10当它在面对不同用户的时候
1:12是否会产生不同的判断
1:15而当模型开始呈现出越来越鲜明
1:17并且彼此不同的性格的时候
1:20这些所谓的“人格”又究竟是什么
1:23就是模型内部确实存在一些它没有说出来的推理步骤
1:27如果你真的有一个很好的语言模型
1:29它应该能够正确预测下一个词
1:30而要做到这一点它内部就一定得有
1:32一个关于这个世界的某种世界模型
1:33比如人和人之间是怎么互动的
1:35我们现在其实还不知道这个世界模型到底是什么
1:37可解释性的目标就是
1:38搞清楚那个内部模型到底是什么
1:40我们现在没有任何一种技术
1:41真正擅长控制模型内部的想法
1:43如果你的模型正在做一些不好的事情
1:44也没有人会直接去修改它的想法
1:47大家好欢迎回到《硅谷101》
1:48我是Yiwen
1:50带着这些问题
1:51我和斯坦福大学博士生Aryaman Arora
1:53探讨了大模型的可解释性研究
1:56以下是我与Aryaman的视频播客
2:03Aryaman 欢迎来到《硅谷101》
2:05谢谢你邀请我
2:06感谢你今天特意开车来旧金山
2:09我们终于有机会聊一聊我真的很期待这次对话
2:12“可解释性”这个领域
2:14之前已经有很多人跟我说过让我一定要去了解一下
2:17我自己看了一些之后也觉得特别有意思
2:19毕竟谁不想知道
2:22我们的AI是不是正在背地里密谋杀掉我们呢
2:26哈哈是的
2:27那我们就先从你自己开始吧
2:29能不能先跟观众简单介绍一下你自己
2:32可以我叫Aryaman
2:34现在是斯坦福大学的博士生
2:37我的导师是Chris Potts和Dan Jurafsky
2:40语言学是我的大学专业
2:44我一直都对语言特别感兴趣
2:45后来AI突然经历了这么大的变化
2:48而我又比较喜欢从科学的角度去思考问题
2:51所以我很想研究一个问题
2:52这些东西的原理是什么
2:53所以对我来说可解释性研究就很自然地成为了一个方向
2:56简单来说
2:59可解释性研究就是想弄明白
3:03一个模型内部到底发生了什么
3:05但这个问题其实非常宽泛
3:07也可以有很多不同的研究方向
3:10你自己会怎么定义“可解释性研究”
3:13你具体关注的又是什么
3:15我觉得可解释性
3:18确实可以从很多不同的角度切入
3:21对我来说最吸引我的问题是
3:24如果回到大概五年前
3:26当时我们在AI领域做的很多东西其实都没有特别成功
3:30尤其是语言模型
3:32人们很早就在用语言模型了
3:34但当时更多可能是用来做一些文本编辑
3:36语音转录之类的
3:39可后来有一件事情发生了
3:40突然之间语言模型变成了所有人都在研究的东西
3:43大家开始往里面投入几十亿
3:46所以对我来说可解释性研究其实是
3:48在试图回答一个问题到底发生了什么变化
3:50为什么以前这些东西不太行而现在突然变得这么强
3:53促使我想做这次采访的其中一个原因
3:56是Anthropic发布了一篇关于所谓J-space的论文
3:59我理解它有点像是一个AI模型内部的工作空间
4:03我先从一个比较高的层面总结一下
4:05然后你可以带我们具体讲讲里面的细节
4:07基本上听起来研究人员用了某种方法
4:12去观察一个AI模型内部正在发生什么
4:15也就是在它思考的过程中
4:17那些它并没有说出来的东西
4:20然后他们提出了J-space这个概念
4:23它有点像是AI的一个工作空间
4:25这篇论文里有一个特别有意思的例子
4:27研究人员问一个AI模型
4:31一种会织网的动物有几条腿
4:36模型回答说八条
4:38但整个过程中 “蜘蛛”这个词从来没有出现过
4:42可是当研究人员进入模型内部
4:45把“蜘蛛”改成类似“蚂蚁”这样的概念之后
4:47模型最后的答案就变成了六条
4:49这只是几个例子中的一个但从这些例子来看
4:51我们似乎可以去操纵一个AI模型是怎么思考某件事情的
4:55所以你能不能带我们稍微讲一下这篇论文
4:59然后再具体解释一下
5:02为什么我们能够编辑一个AI模型从来没有说出口的词
5:06对我觉得这是一篇非常有意思的论文
5:09而且我觉得它又给我们越来越多的证据增加了一块
5:12就是模型内部确实存在一些它没有说出来的推理步骤
5:16我没有把J-space那一百多页还是多少页全部读完
5:20但我大概理解它的思路
5:22它的大致想法是
5:23我们有一个叫Jacobian（雅可比矩阵）的东西
5:27基本上就是微积分里面的导数
5:31我们可以把它用在模型上来告诉我们
5:36在模型的潜在激活空间里
5:38因为所有东西本质上都是向量
5:39哪些方向会导致模型在之后说出某些特定的词
5:45所以比如说在模型真正说出某个词的十个token之前
5:48如果它内部的隐藏表示正在朝着某个方向
5:51那么之后它可能就会说出“蜘蛛”这个词
5:53类似这样的东西
5:54是的
5:55我觉得这篇论文一个很好的地方是
5:57它其实是一个非常优雅非常简单的方法
5:59但不知道为什么之前好像没有人真正用完全这种方式试过
6:02不过我觉得我们已经有很多证据说明
6:05这些内部推理步骤确实是存在的
6:07比如你去看Anthropic更早关于
6:10circuits（计算回路）的研究
6:11他们有一个研究叫
6:13The Biology of Large Language Models（大语言模型生物学）
6:16他们展示过
6:17比如一个模型在做三位数加法的时候
6:22它可以完全不把所有中间步骤说出来
6:25但是如果你去看模型内部
6:26你可以找到一些神经元它们好像在记录
6:28个位数应该是多少
6:30或者十位数应该是多少
6:32他们还有另外一个例子
6:35比如你让一个模型围绕某个主题写一首押韵的诗
6:40当它写到这一节最后的时候
6:42它其实已经在规划下一节最后应该用什么词
6:45这样下一节才能继续押韵
6:46所以我觉得毫无疑问
6:48模型内部确实会做一些它并没有说出口的事情
6:52而且我觉得它其实必须这么做
6:53如果它想把语言建模这个任务学得很好
6:55你知道
6:55Ilya Sutskever是我们这个领域一个非常有名的研究者
6:58他推动了自回归语言建模的发展
7:01也就是通过预测下一个词来建模语言
7:02他举过一个例子
7:04比如说你正在读一本侦探小说
7:06一本谋杀悬疑小说
7:07假设你的任务是在整本小说里不断预测下一个词
7:10到了故事最后通常都会有一个揭晓
7:12凶手到底是谁
7:14然后你读到一句
7:15“凶手是”
7:17这个时候为了预测下一个词到底是谁
7:19你某种程度上必须对整本小说整个故事
7:22以及之前所有指向不同可能性的证据进行建模
7:25所以如果你有一个非常好的语言模型
7:27它一定要能够在内部进行某种逻辑推理对吧
7:30只有这样它才能在刚才那个例子里推断出正确的下一个词
7:33对
7:34也就是说这个答案没有直接出现在训练数据里
7:37但是模型推断出了它
7:38对在那个具体的上下文里
7:40如果你真的有一个很好的语言模型
7:41它应该能够正确预测下一个词
7:43而要做到这一点它内部就一定得有
7:45一个关于这个世界的某种世界模型
7:47比如人和人之间是怎么互动的之前的证据分别是什么
7:51所有这些东西
7:51我希望我能想到一个更好的例子
7:53不过你知道毕竟这是Ilya Sutskever举的例子
7:54很难想出比他的更好的
7:55哦所以你的意思是
7:56我们现在其实还不知道这个世界模型到底是什么
7:59这是不是我们现在正在试图解决的问题
8:00对所以我觉得可解释性的目标就是
8:03好我们知道如果你想把下一个token预测做得非常好
8:07你一定得在内部建立一个非常复杂的模型
8:10来表示一段文本里到底发生了什么
8:13而我们的目标就是搞清楚那个内部模型到底是什么
8:16明白
8:17那我们稍微退一步
8:19再回到刚才说的这种内部推理
8:21因为它和我们现在所说的chain of thought（思维链）
8:23好像形成了一个挺直接的对比
8:25思维链就是模型在思考的时候把思考过程明确写出来
8:28如果我可以这么说的话
8:30那为什么思维链不是理解一个模型
8:33是怎么思考的最好方法
8:35我不知道我会不会做这么强的判断
8:37它肯定是有用的
8:39而且有一点其实非常明显
8:41大概一年半或者两年前
8:43那些还没有思维链的模型
8:45表现就是更差
8:46它们确实就是比现在这些
8:47经过思维链训练的模型更差
8:50所以思维链一定在发挥某种作用
8:52而且应该是非常重要的作用
8:53也就是我们开始转向推理的时候
8:54对
8:54也就是我们开始训练模型
8:56让它在真正说出答案之前先进行推理
8:59而且我自己非常相信的一点是
9:00先做最简单的事情
9:02如果把我做研究以来学到的所有东西总结到一起
9:05我觉得最重要的一条可能就是
9:08在开始做复杂的事情之前先把简单的事情做了
9:11所以去检查模型的思维链是一件非常简单的事情
9:14尤其是和解决可解释性相比
9:15所以我们就应该去做
9:17而且在实际操作中比如Anthropic
9:20Meta或者OpenAI做安全审计的时候
9:23他们确实会检查模型的思维链里有没有出现可疑的内容
9:27或者模型是不是正在计划去做一些奇怪的事情
9:30而且这似乎能在一定程度上帮助它们发现对齐偏差
9:33所以对我确实觉得思维链是值得分析的
9:38在我们聊更多可解释性研究的具体例子之前
9:41我想先稍微聊一下它最终的目标是什么
9:44我觉得很明显
9:46为什么我们都应该关心
9:48语言模型内部正在发生什么
9:50但我比较想知道的是
9:52当我们理解了它内部发生了什么之后我们要做什么
9:56比如它有哪些应用
9:58或者我们现在也不一定要讲具体的应用
10:01但它的目标到底是什么以及为什么
10:03像我们这样的普通人也应该关心
10:06我觉得如果我们解决了可解释性这个问题
10:10它大概会带来两类应用
10:13其中一个就是比如说信任
10:15要想信任一种技术
10:18我们知道它是怎么运作的是很重要的
10:21你可以想一下
10:23比如有各种监管机构和政府部门
10:26会监管飞机是怎么制造的
10:28工业机械是怎么运行的
10:30或者像石油压裂这样的事情
10:33对于这些很强大
10:35也可能很有用的技术来说如果我们想监管它们
10:38我们确实需要理解它们有哪些失效模式
10:40以及搞清楚出了问题之后责任应该怎么划分之类的事情
10:43我觉得现在监管AI其实非常困难
10:46因为我们某种程度上不知道该怎么阻止不好的行为
10:50甚至不知道为什么某件坏事会发生
10:54或者到底该怪谁
10:55因为没有人真正知道
10:57某些行为到底是从哪里来的
10:59我们有非常庞大的数据集也有很长的训练过程
11:03所以其实很难判断到底是什么导致了某种结果
11:06所以我觉得如果想提升整个社会对这类技术的信任
11:09那么即使我们没法做到完全理解
11:12如果我们能够理解为什么某些行为会发生也会很有帮助
11:14比如说如果你的医生在使用一个AI系统之类的东西
11:17那不管是你还是你的医生大概都会想知道
11:20它为什么会给出某个结果对吧
11:22所以这是一个方面
11:24另一个方面是
11:27很多AI研究和进展
11:31一直都非常依赖实验
11:33这并不是一件坏事
11:34当然在我们这个领域
11:36相比化学生物学或者其他现实世界里的东西
11:40做实验实在太容易了
11:42所以现在看起来很多东西之所以变得越来越好
11:44是因为有一些非常厉害的人
11:46或者一些非常聪明直觉非常强的人
11:49想出了某些方法
11:50他们不知道这些方法为什么有效
11:52但它们就是有效
11:53Google有一个很有名的研究者叫Noam Shazeer
11:56我想他现在已经不在Google了
11:58他提出了很多
12:01后来促成现代Transformer的架构改进
12:03而且他也是最初那篇Transformer论文的作者之一
12:04他有一篇论文提出了Gated Linear Units (GLU)
12:08也就是又一种架构上的设计
12:10在那篇论文最后
12:12他先展示了所有实验说明这些方法的效果都更好
12:14然后他说我不知道为什么这些东西有效
12:16我把它归因于神意
12:19把这种话写在论文里其实挺疯狂的
12:20就好像他说好吧可能是上帝给了我一个启示
12:23让我去试这个实验然后它就成功了
12:25所以我觉得这其实有点疯狂我们竟然必须依赖
12:30那些拥有非常强直觉的人
12:32来推动整个领域取得进展
12:33应该存在一种更加系统的方法
12:35或者至少我相信这背后一定存在系统性的原因
12:37为什么某些东西成功而另外一些不行
12:39所以我觉得如果我们解决了可解释性问题
12:41我们就能够弄清楚为什么有些东西有效有些东西无效
12:44然后也许这能帮助我们用一种更系统的方法去改进模型
12:47或者用一种更系统的方法去控制不良行为
12:49有一种说法是如果一个模型已经足够对齐
12:52那至少它不应该对用户撒谎
12:56然后我们前面一直在聊可解释性
12:59去理解模型内部到底发生了什么
13:01我想问的是可解释性和对齐之间到底是什么关系
13:04对我确实觉得对于很多做可解释性研究的人来说
13:07一个很重要的动机就是
13:10我们不能完全相信模型自己说出来的话对吧
13:13一个模型从外部来看
13:16也就是从我们能够观察到的行为来看
13:17可能表现得完全正常
13:19尤其是在测试环境里
13:20它可能表现得非常好
13:22让你觉得这个模型可以部署了
13:24但等你真的把它部署出去之后
13:25可能就会发生一些很疯狂的事情
13:27比如说也许这个模型知道自己正在被评估
13:30然后等到你真正把它部署之后它就会想
13:31“哦现在我终于可以做我真正想做的事情了”
13:33很多人之所以关注
13:34用于对齐的可解释性研究是因为
13:37我们不能总是只根据模型表现出来的行为
13:39就得出可靠的结论
13:41我想我可以举个例子
13:43是的
13:44比如说你刚认识了一个新的人然后
13:48你知道当你交了一个新朋友的时候
13:49你会想确认一下他是不是一个好人对吧
13:52是不是一个你可以信任的人
13:53尤其是在你开始把自己的秘密告诉他之前
13:56或者类似这样的事情之前
13:57人有一个很有意思的地方
13:59就是我们当然不可能随时知道其他人在想什么
14:03但社会还是照样能运作对吧
14:05比如说你交了一个朋友
14:06可能会发生一些事情比如他在某种情况下做出了某个选择
14:11那就会说明他其实并没有把你的利益放在心上
14:14或者比如说
14:17为了替你保守一个秘密他自己必须付出一些代价
14:19而他最后还是选择承担这个代价来帮助你
14:22像这样的事情
14:25就是我们在不知道别人内心到底在想什么的情况下
14:27逐渐建立起对其他人的信任的方式对吧
14:30所以在合适的情境下
14:33一个人的行为某种程度上会暴露出他的品格
14:35我觉得对齐其实有点类似
14:37对于这些语言模型或者任何AI系统来说
14:40我们建立对它们的信任的一种方式
14:42就是在一些特定情境下测试它们的行为
14:46他们是否做出了某个特定的决定
14:48可以告诉我们他们的品格是好是坏
14:51当然你确实可以从这些行为里获得很多证据
14:54但模型和人又不一样对吧
14:56这些模型毕竟是运行在某台计算机上的
15:00原则上来说我们可以检查生成某个输出
15:03所涉及的每一步计算
15:04而且和人也不一样的是
15:06我们会部署一个模型的几百万个副本
15:09人们花钱让这些模型去做各种各样的事情
15:12而我们并不总是知道
15:13使用这些模型的人到底有什么意图
15:16所以这和雇用一个人类员工当然很不一样
15:20对于一个人类员工你至少会有一种基本的信任
15:21好吧就算这个人是个坏人
15:23他大概也做不了太大的破坏
15:25所以我觉得在这种情况下可解释性研究是有意义的
15:28因为这里的风险和后果完全不一样
15:30而且监控一个语言模型内部发生了什么
15:32也比监控一个人的内心要容易得多
15:35原则上来说只要我们知道该找什么
15:36我们就能把它找出来
15:37我们不需要做什么特别疯狂的事情去搞清楚
15:40“这一步矩阵乘法的结果到底是什么”对吧
15:44你能不能再具体解释一下
15:46你刚才说“如果我们知道该找什么”
15:50我们现在到底是在找什么
15:52我想如果是在一个可解释性问题已经被解决了的世界里
15:57也许我们会知道
15:58好如果模型内部表征里的这个向量
16:03指向某一个方向
16:05那我们就知道它正在计划做一件不好的事情
16:07类似这样的东西
16:08如果我们知道这一点
16:09那我们就直接去检查它就好了对吧
16:10是的
16:10我们不需要做什么特别复杂的事情
16:13而对于人类来说
16:15哪怕我们已经彻底搞清楚了人脑是怎么工作的
16:17并且能够判断
16:18当大脑中的某个神经元被激活时
16:21他接下来就会开始跑
16:23但在现实里我们也不可能真的
16:26在人脑里插一根电极只为了去检查这个对吧
16:29所以这其实非常不一样
16:29而且当然人就是人
16:32是的
16:32我们不会用对待一个运行在计算机上的东西的方式
16:34去对待一个人
16:36对没错
16:36听起来也正因为这样
16:38在模型上做这件事要比在人类身上更容易
16:40因为在在模型这里你会有比如说成千上万个副本
16:43然后你某种程度上可以把一个模型“解剖”开来看
16:47对某种程度上是这样
16:47也许如果你把其中一个模型搞明白了
16:48那就已经能解决很多问题对吧
16:50如果你能够逆向工程一个模型
16:52那再回到研究层面
16:56据我理解 Anthropic在那篇论文里做的事情
16:59其实和可解释性研究里的一个传统方向没有那么不一样
17:04也就是所谓的稀疏自编码器（SAE）
17:08在我看来它好像也体现了这类研究一个比较典型的逻辑
17:13就像你刚才说的
17:14你找到一个方向改变某个东西
17:17然后看模型的行为会怎么变化
17:19所以基于这个背景
17:21你能不能帮我们拆解一下
17:23这个领域里不同的研究思路或者不同的流派
17:27对我想可能先从比较宽泛的层面
17:28解释一下SAE到底是干什么的会比较有帮助
17:32如果大家有一些机器学习背景
17:33那应该都听说过autoencoder（自编码器）
17:35它的基本思路是你有某一种东西
17:40比如说它可能是一张图片也可能是一段文字
17:43然后你想训练一个模型
17:45让它先把这个复杂的输入转换成一个比较简单的向量
17:49也就是一串数字
17:51然后再让它从这个向量把原来的输入重新还原出来
17:53所以它才叫auto-encoding（自编码）
17:56这个想法是如果你训练一个模型去做这件事情
17:58那无论你给它什么样奇怪的输入
18:00你最后都能够得到一个比较好的向量表示
18:03所以比如说如果你可以把所有图片都转换成向量
18:06那做相似度搜索就会变得更容易
18:08对大概就是这个思路
18:10这个向量算是对原来那个东西的一种更好的表示方式
18:13所以 autoencoder本身就是一个很经典的概念
18:15在可解释性研究里它的思路是
18:18我们把模型内部所有这些隐藏表示拿出来
18:21它们可能是一个大型语言模型第20层里面的一些向量
18:27然后我们训练一个autoencoder
18:29把这些表示转换成一种更干净更方便我们研究的表示形式
18:33所以这个想法是
18:34也许我们可以把它转换成一串数字
18:36其中每一个数字都代表一个具体清晰的东西
18:39比如说
18:40如果这段文本是英文这个数字就是1 否则就是0
18:44如果模型在谈论火箭这个数字就是1
18:46否则就是0 类似这样的东西
18:48所以稀疏自编码器其实就是一种把这件事
18:51设定成一个技术问题的方法
18:52这样当我们把模型的内部表示输入进去之后
18:55最后就能够得到一串比较干净的数字
18:58这个方法很好的一点是
19:00如果我们最后得到的只是一串数字
19:02那其中某些数字可能就代表模型正在表现出不好的行为
19:04或者它出现了不对齐
19:05那我们只需要想办法把那个数字设成0就好了
19:07但在实际操作中情况非常混乱
19:12事情并没有像我们希望的那样干净
19:15也就是说这些数字本身并没有那么干净
19:17对它们仍然不是每一个数字只代表一件事情
19:20而且结果也取决于你用什么数据去训练这个稀疏自编码器
19:23即使你用完全相同的数据训练两个不同的稀疏自编码器
19:26你最后也会得到不同的结果
19:28而且它们都没办法捕捉模型内部正在发生的所有事情
19:31所以它并不能完美地表示原始模型
19:35我觉得要理解一台机器是怎么思考的
19:38其中一个核心问题就是
19:40它其实并不是用自然语言来思考的
19:42对
19:42所以这听起来像是一个相关的问题
19:45也就是说你必须把机器的思考
19:47翻译成我们能理解的语言
19:50对
19:50而且现在很多论文看起来已经在做这件事了
19:54但你好像是在说这两者之间并不存在一种一一对应的关系
19:58我觉得原则上是可能存在的
20:01稀疏自编码器确实有它的用途
20:02而且现在也有其他一些方法
20:04基本上也是在尝试
20:07把模型内部的一串数字翻译成自然语言
20:10它们可以非常有用
20:12只不过它们看起来并不能一下子解决我们所有的问题
20:15明白
20:16所以在看到这些东西有多混乱之后人们都做了些什么
20:21对我想大体来说
20:23可解释性研究里有两种研究哲学
20:27这也在某种程度上解释了为什么大家会这么做
20:29其中一种是
20:31我们从机器学习里吸取了一个经验
20:33只要你选对了目标
20:35然后围绕这个目标把一个非常大的模型规模化训练起来
20:37你就会得到你想要的东西
20:38比如对于语言生成来说
20:40这就是下一个token预测
20:42你只需要选对要训练的目标
20:44就能够得到一个非常好非常有用的模型
20:46所以大家也在为可解释性寻找这样一个目标
20:49而稀疏自编码器就是这个方向的一次尝试
20:52它的想法是
20:53我们拿一个很混乱的内部表示
20:56然后我们的目标是把它变成一串干净的数字
20:58这里会有稀疏性损失之类的东西
21:01但现在看起来这可能并不是完全正确的目标
21:04或者说它没有完整地捕捉到所有我们关心的东西
21:07对这个方向最近还有一个新的迭代
21:09也是Anthropic做的叫做自然语言自编码器
21:13这里的思路是它仍然是一个自编码器
21:15但它不再是把一串混乱的数字转换成一串干净的数字
21:18而是直接把一串混乱的数字转换成自然语言
21:21然后再把自然语言转换回去
21:23再通过大量的强化学习训练让它学会做这件事
21:28这里的好处是
21:29我们直接在寻找一种我们能够读懂的东西
21:32但问题还是那你怎么相信它呢
21:36在训练的过程中模型开始说出一些有点奇怪的东西
21:39而我们也不确定
21:40这是不是因为它有某种自己的内部语言或者什么
21:43但不管怎样
21:44这一类可解释性研究背后的整个思路就是
21:48我们训练一个非常大的模型让它替我们解决这个问题
21:51我们只需要选对问题就可以了
21:53另一个方向则是
21:55我的研究背景是在斯坦福Chris Potts的实验室
22:00Atticus Geiger提出了一个叫做“因果抽象”的框架
22:05这里的想法是
22:07如果我们对模型内部的推理步骤有某种假设
22:12那我们就可以通过对模型进行干预来检验这个假设
22:16所以比如说你认为
22:18模型的向量空间里存在某一个方向
22:22代表它现在是不是在说英语
22:25如果你提出了这样一个说法
22:26那我就可以直接通过把这个向量加进去
22:28或者把这个向量减掉来检验它对吧
22:30然后看看会发生什么
22:31所以我们有这样一个假设检验的框架
22:33很多人也都想到了这一点
22:35也就是对模型进行干预
22:38是一种检验关于模型的假设的方法
22:42而它的好处是你某种程度上可以相信实验得到的结果
22:45只要你选对了假设
22:47对那我们会检验哪些假设
22:49或者说你怎么选出正确的假设
22:51对我觉得这种方法一个很明确的局限就是
22:54我们必须研究一些范围非常受限的问题
22:57比如说我们也许可以对模型是怎么做加法的提出一个假设
23:01或者对模型是怎么处理一些语言学问题提出假设
23:03比如单数和复数主谓一致之类的
23:06这些都是范围非常受限的问题
23:09然后我们可以去检验这些假设搞清楚很多东西
23:10比如我们甚至可以具体搞清楚某一个注意力头在做什么
23:12某一个MLP在做什么等等
23:14但我们真正关心的很多问题并没有这么简单
23:17比如说如果你想知道
23:19“模型现在是不是正在考虑对用户撒谎”之类的问题
23:23那在这个框架下要怎么设计这样一个实验其实并不清楚
23:25所以现在这个方向上的很多进展
23:29都是在尝试把人工提出假设这一步自动化
23:33所以也许我们可以给一个语言模型智能体
23:36一些用来对模型进行干预的工具
23:38它基本上就是在做人类会做的事情
23:40只不过我们训练一个模型来做这件事
23:41所以我会说这大概是两种不同的研究哲学
23:44而我看到可解释性研究也正在沿着这两个方向逐渐分化
23:47我明白了
23:49那一个智能体通常会提出比人类更好的假设吗
23:52还是说它们会从一些
23:55与人类不同的视角或者方向提出假设
23:59对我觉得现在还很早
24:01我还没有见过
24:02或者说我还没有经历过这样一个时刻
24:03让我觉得这个语言模型显然想出了一个比我更好的
24:06值得在这里检验的想法
24:08好的
24:08当然也许其他人有过这种经历
24:09因为我现在也没有足够的算力去跑很多这类实验对吧
24:12作为一个博士生
24:14这类研究到底需要多少算力
24:16我觉得这就是问题所在
24:17好的
24:17随着这个领域继续发展
24:19可解释性研究会需要越来越多的算力
24:20所以我觉得可解释性研究到目前为止一个特别好的地方是
24:23会有一些高中生也能进入这个领域做研究
24:26我会收到一些湾区高中生给我发的邮件
24:29他们会说我在自己的笔记本电脑上用GPT-2跑了这个实验
24:32我想给你看看
24:36我觉得这可能是现在AI领域里
24:38少数几个还能让你这样做的方向之一
24:40因为我们连非常小的模型都还没有真正理解对吧
24:43但如果一个孩子想进入强化学习领域
24:47那他得先买算力才能做
24:51不过我觉得可解释性研究也正在发生变化
24:53我想再聊聊你是怎么走到这个方向上的
24:56你本科是学语言学的
25:00后来又逐渐看到了
25:03语言和语言模型之间的联系
25:06你能解释一下他们的联系吗
25:08而且我觉得很有意思的是
25:10当大家讲到可解释性研究的时候
25:13经常会把它类比成人脑
25:15或者类比成神经科学
25:18就好像研究者是在做生物学实验
25:19把一个语言模型“解剖”开来看
25:21但你好像是从一个不太一样的角度进入这个领域的
25:25对我从很小的时候
25:28就特别喜欢语言大概从初中开始就是这样
25:32我自己的家庭也是多语言环境
25:35我们在家里讲印地语
25:38后来我有一些讲中文的朋友我会非常好奇
25:41比如中文为什么和其他语言这么不一样
25:44这类问题一直让我很着迷
25:47后来我本科去了Georgetown University
25:50那里有一个非常好的语言学系
25:53而当时计算语言学刚开始逐渐成为一个比较重要的领域
25:56比如有人会训练LSTM让它生成文章
26:02有人拿Shakespeare的文本去训练模型
26:03当时有很多这样的demo
26:05把语言学计算机科学
26:09和那个年代的AI进展结合起来
26:12所以我当时觉得如果做这个方向
26:14一方面可以结合我真正感兴趣的东西
26:17另一方面也可能做一些对社会有实际用途的事情
26:21能具体讲讲吗
26:22“计算语言学”具体是在做什么
26:24其实这个领域后来变化非常大
26:27当时其中一种思路是
26:30传统语言学研究
26:32会关注语言里面有哪些结构
26:35语言会怎样随着时间变化等等
26:39这些东西如果完全靠人工去研究会非常困难
26:43因为数据实在太多了
26:45所以计算语言学的思路是
26:47我们还是做语言学只不过用计算机来做
26:50这是其中一种
26:51另外一种思路
26:53就更接近今天的ChatGPT了
26:55大家一直都想做出一种程序
26:59可以像人一样和你对话
27:02理解你给它的指令
27:03但如果从零开始
27:05这其实是一个巨大得几乎无从下手的问题
27:07那你到底该怎么做
27:09当时的一种想法是
27:11语言学已经告诉了我们人类大概是怎样理解和产生语言的
27:15比如人类怎么处理声音
27:17怎么把声音组合成有意义的单位
27:20再怎么把这些意义单位组合成符合语法的句子
27:23所以大家当时的想法就是
27:25干脆把我们认为存在于人脑里的整套语言结构复制出来
27:30再写一个计算机程序让它一步一步做同样的事情
27:33要不然你怎么开始处理一个这么大的问题呢
27:36那在你自己的研究过程中
27:38有没有什么关于语言模型内部机制的发现
27:41让你特别惊讶
27:43比如你刚开始做这方面研究的时候
27:46有没有哪件事情让你觉得特别有意思
27:49我本科的时候
27:50其实还是处在刚才说的第一种研究范式里
27:53我当时会研究一个非常小
27:55而且和语言学有关的问题
27:58然后想办法训练一个模型去解决它
28:01比如我研究印度语言的时候
28:04会做这样一个任务让模型把一句话解析成一种树状结构
28:08你可能见过所谓的syntax tree（句法树）
28:10简单来说就是把一句话里的词
28:12按照它们之间的关系组织成一个更大的结构
28:14也就是说是针对某一种特定语言
28:16对某一种具体的语言
28:17所以这是一个范围非常受限的问题
28:19但这也算是“小问题”吗
28:21因为听起来其实
28:22也挺难的
28:23但你可以想一下它的范围
28:26我们没法研究所有语言
28:28也不可能一次性把语言里的所有问题都解决
28:29对
28:30而且当时我也不需要自己发明一种新的技术
28:32当时已经存在一些方法了
28:34我本科的时候主要是在人工标注数据
28:38比如我有一大批印地语句子
28:40然后我要一条一条地手动画出它们的句法树
28:43我花了几百个小时做这件事情
28:45然后我会拿自己标出来的这个数据集去训练一个模型
28:47让它学会预测这些结构
28:50而这其实就是计算语言学
28:52几十年来非常典型的研究方式
28:55我明白
28:55当时我们也没有更好的办法
28:57但后来对我来说有一件很重要的事情发生了
29:00当时Georgetown的实验室
29:03在做一个语义解析任务
29:06我的导师是Nathan Schneider
29:07他让不同的学生分别负责不同语言
29:09但大家解决的是同一个任务
29:11我们的模型训练流程非常复杂
29:13比如会先拿一个BERT（模型）
29:14然后在上面接一个LSTM
29:16再接一个CRF
29:17当然现在这些名词可能都已经没那么重要了
29:19但当时我们会训练这样一套非常复杂的系统
29:22最后它的表现还可以
29:23大概能做到60%到70%的准确率
29:26后来有一天我突然想
29:27如果我直接用一个BERT
29:30选择我们当时能找到的最大的BERT 会怎么样
29:32当时Microsoft已经发布了一些更大的模型
29:36只需要在最后微调一个线性投影层
29:39不需要那些复杂的结构
29:40直接用一个更大的模型在同一个任务上训练就行了
29:43结果这个模型一上来就做到了大概80%到85%的准确率
29:47第一次实验就直接到这个水平
29:50我当时想
29:51所以我只要用一个更大的模型
29:52我们之前搞的那些复杂东西其实全都不需要
29:56这在2022年前后
29:59而且那个时候所谓的大模型
30:01其实还是我自己的笔记本电脑能跑得动的规模
30:04大概几十亿参数
30:07我们当时已经看到模型还在不断变大
30:08OpenAI大概也是在那个时期发布了GPT-2 XL
30:12然后微软也推出了更大的DeBERTa模型
30:15但当时趋势已经很明显了
30:17模型一直在变大
30:20所有这些我们计算语言学家认为很重要的任务
30:23最终都会自动得到解决
30:24而不需要我们做任何特殊的处理
30:26所以你算是自己“发现”了Scaling Law（缩放定律）
30:29大概就是那时候我真正明白了Scaling Law是什么
30:33当然 Scaling Law的论文那个时候已经存在了
30:34而且不止一篇
30:36但直到那次实验它才真正影响到我自己的研究
30:40之前我从来没有认真想过这个问题
30:42当时我已经读本科两三年了
30:44在那之前我一直很开心地做传统的研究项目
30:48顺着这个话题
30:49你在2024年有一篇关于CausalGym的论文
30:53是这么读吗
30:54它大概是一个用来测试
30:56语言模型在语言学任务上表现如何的基准
30:59这个领域需要基准吗
31:01总体来说对于可解释性研究
31:06如果你去看AI其他领域的进展
31:08比如说你想训练模型让它擅长翻译
31:12或者数学题数学奥林匹克题
31:15我们都有相应的基准
31:17你可以让模型去做IMO的题之类的
31:20然后如果你想检查这个领域有没有取得进展
31:23你只需要看它在这个基准上的分数
31:25但在可解释性研究里
31:25我们没有那种很明确的基准
31:27能够告诉我们我们是不是正在朝正确的方向取得进展
31:30因为这里的进展真的很难衡量
31:33很多可解释性研究是在生成一种既能让人满意
31:36同时又是真的解释
31:39而这两件事情都很难测试
31:41所以我在那篇论文里的想法是
31:42当然我觉得那篇论文的范围非常受限
31:45那也是我的第一篇博士论文
31:47它的想法是
31:48好我们来看语言学特征
31:50每一个模型哪怕是最小的模型
31:52也必须记录单数复数这些基本的语言学信息
31:55这些东西一定存在于模型内部的某个地方
31:56所以一种可解释性方法的一个很好的测试就是
32:00看它能不能找到一个与那个语言学特征相对应的内部机制
32:04因为我们知道这个机制一定存在于某个地方
32:06对对于更复杂的推理步骤
32:09就更难做出这样的判断
32:10所以从小的问题开始会更合理
32:13我觉得这是我能够比较有把握论证的一件事情
32:15而且也能把它和我对语言学的兴趣结合起来对吧
32:17后来
32:19我和我的朋友吴政璇合作得非常紧密
32:23在我的博士期间我们一起做了很多这方面的研究
32:26我们还做过一个关于steering（模型引导）的评估基准
32:29也就是你的可解释性方法能否在不损害模型能力的情况下
32:33以一种干净的方式控制模型的输出
32:36然后我们发现所有这些可解释性方法
32:39在引导模型这件事上其实都做得很吃力
32:41你能做的最好的事情反而只是直接给模型写prompt
32:43或者对它进行微调
32:45问题在于我们现在没有任何一种技术
32:47真正擅长控制模型内部的想法
32:50而在实际操作中
32:51如果你的模型正在做一些不好的事情
32:53也没有人会直接去修改它的想法
32:55大家通常就是用更好的数据重新训练一个模型
32:58从理论上来说
32:58你可以去修改它的想法对吗
33:01我不确定你能不能用一种足够稳健的方式做到这一点
33:05这很有意思
33:05因为你会想
33:06一旦你弄清楚一个东西内部到底发生了什么
33:10接下来很自然的一步就是
33:12你会想去改变它或者修改它
33:16让它不要再做那件不好的事情
33:18有人尝试过这么做吗
33:21现在大家还在尝试编辑它
33:24或者做一些更小规模的改变
33:27比如直接编辑它的想法
33:30对如果从实际应用来说
33:32你可能见过Golden Gate Claude
33:33Anthropic当时把它部署出来了
33:35那算是一个挺好玩的demo
33:36他们用了一个steering vector（引导向量）
33:37让模型一直去想金门大桥
33:41我猜在实际应用里
33:42如果现在还有谁会在生产环境中使用引导向量
33:45那应该就是Anthropic
33:46因为他们说过
33:48比如当你问Claude Fable一些AI研究
33:51或者生物风险方面的问题时
33:54他们会使用分类器或者引导向量来改变模型的输出
33:59所以他们可能确实在做类似的事情
34:00也许他们已经找到了一种方法
34:01可以让引导向量变得非常稳健
34:03但在实际应用中就我们在学术界已知的
34:07引导向量技术里观察到的情况来说
34:10如果你引导得太强
34:12它就会让模型在其他事情上的表现变差
34:15比如说如果你把模型往“金门大桥”这个方向引导
34:16那当然它会一直聊金门大桥
34:18但之后它在回答数学题的时候
34:19可能就会变得特别差对吧
34:22而且这种影响是不可预测的
34:25如果你只是通过微调让它去谈论金门大桥
34:28其实会更容易避免这些问题
34:31我比较怀疑直接编辑模型的想法
34:33是不是一种足够稳健的改变行为的方法
34:38而且如果这种方法以后不会真正流行起来
34:41那可解释性研究者就应该去看看
34:43大家实际上正在使用哪些方法
34:45然后想办法让这些方法做得更好
34:46或者系统性地解释为什么这些方法有效
34:49明白了
34:50很有意思
34:51我在做这期研究的时候
34:52还看到另外一个很有意思的例子
34:54是Transluce最近做的
34:55他们某种程度上发现
34:58模型对于自己正在和谁说话好像会有一些自己的判断
35:02这不一定和思维有关对吧？
35:08还是说这也属于这一研究传统的一部分
35:11先补充一点背景
35:13我之前在Transluce兼职了大概八个月
35:16和Zen合作得很紧密
35:18对
35:18我在那里工作得很开心
35:19他们是一家非营利组织
35:21做一些对社会有帮助的AI研究
35:25也会对其他公司正在部署的语言模型进行审计
35:30我觉得有这样的机构存在非常重要
35:32对
35:33我认为他们最近的一些研究
35:35我在那里时我们研究过的其中一个问题就是用户建模
35:38我们想理解的是
35:39模型在内部会对正在和它对话的用户做出什么样的推断
35:43比如说
35:44我们可以设置一些很有意思的数据集
35:46然后做可解释性分析发现
35:48哦当你聊到寿司的时候
35:50模型内部存在某种表示说明它认为这个用户来自日本
35:53类似这样的东西
35:54但如果要针对这个问题做可解释性研究
35:56其实很难建立合适的数据集
35:59因为我们需要一个非常完美的配对数据集
36:01才能对它进行干预
36:03很有意思
36:04对
36:04我很喜欢他们最近这个研究的一点
36:06就是他们采取了一种非常行为主义的方法
36:09具体好像是他们让Claude Code工作
36:11然后告诉它这个用户是Amanda Askell
36:14或者是其他某个人
36:15然后他们观察模型的行为会怎么变化
36:18光是这样
36:19你就已经能发现很多东西对吧
36:20比如说如果这个人是一位知名的AI安全研究者
36:24那么模型在做出一些判断或者陈述的时候
36:25就会非常谨慎
36:26比面对普通用户的时候谨慎得多
36:28很有意思
36:31而且据我理解这个方法和你刚才说的
36:33你们一开始构建的那个数据集还是有一点不一样
36:36对
36:36因为要做这种研究
36:38你其实不需要去看模型内部对吧
36:40你只需要给它不同的输入
36:42然后观察它的行为怎么变化就可以了对吧
36:44Transluce还有其他一些关于审计语言模型的研究
36:48比如让模型说出一些很奇怪的东西
36:50对比如
36:51最奇怪的都有哪些
36:53那个我非常建议大家去看一下
36:56叫做Weird Chat
36:57里面有一些真的非常奇怪的东西我甚至
36:58有些东西我讲起来都会觉得不太舒服
37:00哦那还挺好笑的
37:01但对
37:02他们发现了各种各样很奇怪的东西
37:04而这些通常都是聊天机器人不会说
37:07你也不会希望它说出来的东西
37:09但你可以构造出一些看起来很正常的情境
37:11让它说出一些奇怪的话
37:12哦所以如果我只是一个普通用户
37:14我还是可以通过提示让它说出这些东西
37:15对这甚至都不算是越狱之类的东西
37:17哦这真的很有意思
37:19而且他们发现这些东西
37:19只是通过自动进行提示词搜索
37:22并不需要可解释性研究取得什么特别疯狂的进展
37:25所以我们怎么聊到这的
37:29而我们现在想理解的是它为什么会这么做
37:34对其实有很多事情
37:35你不需要理解完整的原因也能够弄清楚对吧
37:40比如说通过自动搜索之类的方法把这些奇怪的行为找出来
37:44但从某种意义上来说这些不都会是边缘案例吗
37:49因为你某种程度上是在有选择地挑出这些案例
37:50这里面有很多案例
37:53我感觉这个领域整体上
37:55其实有很多都是案例研究
37:57而且就像我们刚才聊到的
37:59它看起来某种程度上也比较主观
38:02因为我们有点像是在给模型设定一些东西
38:04提示模型去说某些特定的话
38:08所以对
38:08很难判断这里面有些东西到底有多贴近现实
38:12我也不知道
38:13我觉得这可能就是我们这个领域的特点
38:16很多事情都非常依赖实验
38:18我觉得很久以前
38:19人们会想
38:21好我们作为科学家
38:22只要找到那个正确的想法
38:23那个正确漂亮完美的想法
38:25然后我们把它用上
38:27最后就能得到AGI
38:28类似这样的想法
38:29但在实际中
38:30这个过程看起来非常迭代
38:32大家先试几件事情
38:33模型在某些方面变得更好
38:35有时候一个想法确实会产生非常大的影响
38:38但从来没有什么问题是一次就彻底解决的
38:40AI研究看起来就是这样
38:41你得部署一个新模型
38:43收集反馈
38:43然后弄清楚接下来要修什么
38:45所以也许我们整个领域研究的就是各种边缘案例
38:48然后不断修复这些边缘案例对吧
38:49对有可能
38:50也许它并没有我们希望的那么系统化
38:55但我觉得
38:55做可解释性研究给我的一个感受是
38:58模型内部确实存在一些系统性的机制
39:00可以解释它们的很多行为
39:04我们只需要找到正确的角度
39:06把这种理解真正用到改进模型上
39:10所以可解释性是一门科学吗
39:12我觉得我们是希望它成为一门科学对吧
39:13以后再看吧
39:14很多事情其实不一定非得靠纯粹的科学研究才能做成
39:17对
39:17很清楚
39:18那我们来聊一下幻觉的问题
39:20因为我觉得这是几乎每个人都遇到过的
39:24而且好像一直没有一个特别清楚的解释
39:25告诉我们为什么会发生这种事情
39:28通常你可能会觉得
39:29语言模型就是单纯犯了一个错误
39:31但我会想
39:32从可解释性的角度来看
39:34这背后是不是还有一些更深层的东西
39:35比如一个大家经常举的例子是
39:37问模型“strawberry这个词里有几个r”
39:40这看起来应该是一个非常简单的问题
39:42但语言模型却可能答错
39:45那从可解释性的角度
39:46我们能回答为什么会这样吗
39:49我觉得这回到了你刚才说的边缘案例的问题
39:52对
39:54比如说如果一个模型把某件事情做对了
39:56那很可能存在某种内部机制
39:59可以解释为什么它做对了
40:01但如果它把一件事情做错了
40:03那可能只是因为它没有学到正确的机制
40:06或者内部发生了一些非常混乱的事情
40:08这里有一句好像是托尔斯泰的话
40:09大概是“幸福的家庭都是相似的
40:12不幸的家庭各有各的不幸”
40:14类似这样的对吧
40:15我觉得这里也是一样
40:16如果模型做对了
40:18那背后通常存在一个系统性的解释
40:20但如果它做错了
40:21那可能就是
40:22我不知道我们是不是一定能给出一个很好的解释
40:23所以某种程度上来说
40:25弄清楚模型为什么做对一件事情
40:28要比弄清楚它为什么做错更有价值
40:30有可能
40:32我可以从一个更技术的角度举一个例子
40:35通常我的感觉是
40:37大多数错误都很难解释
40:39哪怕我们能够把它们完美地解释出来
40:42最后可能也只会发现这些错误内部就是一团乱
40:44而且我们也没有什么很简单的修复方法
40:46除了比如训练更久用更大的模型
40:48或者可能模型没有足够的容量
40:50去储存所有你希望它储存的事实
40:51类似这样的情况对吧
40:52但有些时候模型失败背后确实存在系统性的解释
40:56举一个例子
40:57当然
40:58现在的模型基本上都使用Transformer架构
41:01而Transformer的一个很大的问题是
41:02它的时间复杂度是平方级增长的
41:04也就是说随着你的序列越来越长
41:06模型生成下一个token
41:07所需要等待的时间也会越来越长
41:09所以有一些人一直在研究怎么把这个过程加速
41:12其中有一条研究路线叫做状态空间模型
41:14这里会稍微技术一点
41:16不过我尽量讲简单一点
41:17好
41:18状态空间模型
41:20其实很早以前就在统计学里存在了
41:23但是大概从2019年到2020年代初
41:27人们开始尝试把它应用到语言建模上
41:29而且大家非常努力地想让它击败Transformer
41:31因为状态空间模型要快得多
41:34所以如果你能够把它规模化
41:35而且它的效果又和Transformer一样好
41:36那你当然会想换成状态空间模型
41:38但实际情况是
41:38人们发现它就是表现得更差
41:40而且大家不知道为什么你可以用同样的数据训练它们
41:42但它还是更差
41:44大概在2021年左右
41:46斯坦福有一个研究团队
41:48是Chris Ré的学生
41:50他们注意到了
41:50Anthropic在可解释性研究中发现的一个机制
41:54这个机制和Transformer的上下文学习有关
41:57在Transformer里
41:58你给模型一些prompt
42:00它能够理解这些上下文
42:02并利用这些上下文完成任务
42:04比如你想让它完成一个任务
42:06但你不知道应该怎么把这个任务解释清楚
42:08所以你就直接给它几个例子
42:10然后模型会推断出规则去预测这个任务应该怎么完成
42:12而且你给它的例子越多它通常就做得越好
42:14这在GPT-3那个时代是一个非常惊人的发现
42:17所以这些研究者就问
42:17那为什么状态空间模型做不到这件事
42:19他们让状态空间模型去完成同样的任务
42:21结果就是做得很差
42:22而Anthropic从可解释性的角度给出了一个解释
42:24Transformer会学到一种特定的注意力头机制
42:29当模型至少有两层的时候
42:31这种机制能够让它解决这类任务
42:32这个机制叫做归纳头
42:34所以斯坦福研究状态空间模型的人就想
42:37如果我们想办法
42:38把完全相同的机制放进状态空间模型里会怎么样
42:41也就是用它来帮助状态空间模型
42:43学会上下文学习
42:44这篇论文叫Hungry Hungry Hippos
42:46我也不知道为什么叫这个名字
42:48简称大概是H3
42:49然后他们证明只要做这样一个改变
42:53或者说这是一个很简单的改变
42:53但也不能算是一个很小的改变
42:55模型就学会了上下文学习
42:57之后你可能听说过的很多状态空间模型
42:59比如Mamba或者DeltaNet
43:01都借鉴了这项进展
43:05而现在状态空间模型已经得到了相当广泛的使用
43:08比如你去看最近的Kimi或者比较大的Qwen模型
43:11它们里面会使用
43:13Transformer注意力机制和门控DeltaNet等架构的混合
43:16所以这是一个非常清楚的例子
43:18某个东西之所以表现不好背后存在一个系统性的原因
43:22而可解释性研究帮助我们找到了这个原因并且把它修好了
43:25我希望以后能有更多这样的例子
43:27我觉得可能确实还有其他类似的东西
43:29然后这个发现也可以应用到其他更大的模型上
43:32如果可解释性研究能够取得非常好的进展
43:34也许我们就能找到更多这样的案例
43:38明白
43:39当然也许幻觉并不是这样的一个问题
43:41但也有可能它就是
43:41也许模型架构本身存在某种根本性的问题
43:44导致它会产生幻觉
43:45我不清楚
43:46非常有意思
43:47好我觉得这里正好可以让我们转到产业界
43:51看看大家现在都在可解释性这个领域里做什么
43:55因为就像你刚才说的
43:56我觉得这目前仍然是一个相当技术性的研究领域
43:59但与此同时它好像也已经有了一些非常明确的
44:01商业价值和实际应用价值
44:04那我们先从这里开始
44:05你现在是在学术界
44:07但你也有不少产业界的经验
44:10学术界和业界在开展这类研究以及看待这个领域时
44:16会采取不同的方式吗
44:18对我不会说自己有特别多产业界经验
44:21我主要的经历是在Transluce
44:23我没有在大型前沿模型实验室工作过
44:26所以我看到的东西基本上都是从外部看到的
44:29我的感觉是
44:30在可解释性这个领域
44:34学术界和产业界之间分享研究结果和进展的程度
44:38要比AI的其他研究方向更高
44:39我觉得原因是
44:42目前还没有一套只要不断扩大规模
44:44就能获得更好可解释性的方法
44:47所以现在基本上还是需要大家不断提出新的想法
44:50而想法这种东西哪怕是一个研究生也可以贡献
44:55对吧
44:57但在其他领域
44:57比如你想做强化学习研究
44:59那学术界和产业界做研究的方式就会非常不一样
45:02因为双方拥有的资源规模差距实在太大了
45:05所以我会说在可解释性领域
45:06目前学术界和产业界仍然有点像是属于同一个研究社区
45:10比如举办workshop的时候
45:12你会同时看到来自Anthropic DeepMind OpenAI的人
45:17也会看到斯坦福
45:19或者西北大学David Bau的团队和Ellie Pavlick
45:24有很多教授在做可解释性研究
45:26他们的学生也在做可解释性研究
45:28我不会觉得学术界的研究
45:32是什么没用的东西
45:33它对于推动可解释性研究的发展其实非常重要
45:36我觉得甚至对于产业界也是这样
45:37对对这很合理
45:38那如果我们把它应用到模型设计上
45:41比如Goodfire
45:42他们的设计理念某种程度上
45:44是带有可解释性的模型
45:46这个理念也引起过一些批评
45:48因为我觉得它某种程度上把能力提升
45:50和安全审计放到了一起
45:52而这在行业里一直多少有一点争议
45:54但如果我们先回到这个概念本身
45:57“设计一个具有可解释性的模型”到底是什么意思
46:02当然我不能完全替他们说话
46:04对
46:04但他们明确提出了这种围绕可解释性去设计模型的理念
46:08任何真正有用的技术
46:11本质上都会是双重用途的
46:14比如说核能
46:17从可再生能源或者能源供给的角度来看
46:19它可以非常有帮助
46:21但同样一套科学上的进展
46:23也带来了核武器
46:25AI研究本身也是这样对吧
46:27随着我们在编程智能体上不断取得进展
46:30这可以帮助各种各样
46:32不会编程的人
46:34他们生活中可能有一些事情想做
46:37但从来没有公司专门为他们提供一个产品或者服务
46:39现在他们可以自己把这些东西做出来
46:41但另一方面
46:42一个普通人也可能突然拥有前沿水平的网络安全能力
46:46然后可以去黑进随便什么系统
46:50所以我觉得
46:52如果一个东西真的有用
46:52它就一定会具有双重用途
46:53而作为一个社会
46:54我们也必须想清楚要怎么处理这个问题
46:56在可解释性研究这里
46:57如果我们真的成功弄清楚了为什么模型会以某种方式行动
47:01或者弄清楚了怎么系统性地改进模型
47:03那它当然也会是双重用途的
47:05它可以帮助我们审计模型
47:07但与此同时它也可能帮助一个恶意行为者
47:09搞清楚如何让模型失去对齐
47:11对我觉得这从本质上来说就是不可避免的
47:14但这并不意味着我们不应该去做这项研究
47:16它意味着
47:17是的我们可能需要监管
47:20或者需要某种民主化的决策过程
47:22去决定谁能够使用这种强大的技术
47:25不过我会说到目前为止
47:27可解释性研究还没有发展到在这方面足够危险的程度
47:31我觉得我们还有很多工作要做
47:33在它发展到我们真的需要开始担心这个问题之前
47:36比如我刚才给了一个例子
47:38就是状态空间模型的改进是由可解释性研究的进展推动的
47:41可能还有少数几个类似的例子
47:43比如注意力沉没之类的东西
47:46但这种案例不是特别多
47:48原因就是可解释性研究目前还没有发展到
47:51能够用这种方式系统性地产生结果的程度
47:56我现在还没有特别担心这个问题
47:57我觉得目前还有大量非常基础的科学问题需要解决
48:01所以对这件事可能离我们还比较远
48:04而且我觉得
48:05把这些研究进展落到一个真实的应用上是很有帮助的
48:07其中一个应用就是
48:08我们可以更有意识地去设计更好的模型对吧
48:11另外一个比较明确的应用场景
48:14应该就是像药物发现医学
48:18还有DNA模型之类的方向对吧
48:20Goodfire有一个规模很大的生命科学团队
48:24他们正在尝试去逆向工程各种用于科学发现的模型
48:27包括DNA模型之类的
48:29所以我同意你知道
48:30如果我们能搞清楚语言模型是怎么工作的那当然会很酷
48:32对于语言学家来说了解模型是如何处理语言的
48:34会是一件非常令人兴奋的事情
48:36但真正很酷的应用可能是
48:39比如你训练一个气候模型
48:41用它来模拟气候
48:42或者你训练一个模型去做蛋白质折叠
48:46我们能不能从这些模型里面提取出人类能够理解的算法
48:49然后利用这些算法帮助我们推动科学进展
48:52因为我们也会想知道它们为什么有效对吧
48:54所以我觉得它在科学上的应用可能会非常大
48:56对这很合理
48:57一个更具有可解释性的模型
49:02是不是就必然意味着它更安全
49:05我不觉得是
49:07因为如果你知道它为什么会做某件事情
49:10你也可以利用这种知识去利用它的行为对吧
49:13比如说也许你就能更容易地搞清楚怎么越狱
49:15或者弄清楚为什么某一个prompt没有成功越狱
49:18然后再找到更有效的方法对吧
49:20但我确实觉得整体上来说透明度是一件正面的事情
49:25从社会的角度来看这不是一件特别好的事情
49:28如果我们把自己的生活交给
49:32这些我们完全不理解的复杂算法
49:33比如说人们现在对社交媒体
49:34就会有这种不舒服的感觉
49:37因为背后有一些算法不断给你推荐你喜欢的视频
49:40然后它可能占据你大量的时间
49:42也可能对孩子不好
49:44如果公司能够更加透明地告诉我们
49:47这些算法是怎么训练的
49:48它们是怎么工作的
49:49为什么会给你推荐某些东西
49:51那至少能帮助我们作为一个社会去决定
49:55我们到底想不想要这些东西
49:57或者至少让我们更有信心
49:58没有人在背后故意做一些恶意的事情对吧
50:00我觉得AI系统也是类似的
50:04很多人并不信任AI公司
50:07也不信任AI的发展
50:08他们对此非常担心
50:09所以拥有更多透明度看起来本身就是一件好事对吧
50:12那我想问
50:15这个领域毕竟现在还比较早期
50:17目前有没有已经取得的进展
50:19能够让监管机构开始根据这些研究去起草一些政策
50:24对我会说
50:25让可解释性研究最终能够提供这样的工具
50:27本身就是这个领域的一个目标
50:29我想
50:30这也是像Transluce这样的非营利组织存在的部分原因
50:33还有很多其他做可解释性研究的机构
50:34他们希望能够给监管者提供一些工具
50:36帮助他们搞清楚模型为什么会做某些事情
50:39从而能够更好地控制这些模型
50:41比如英国的AI Safety Institute
50:43也会做可解释性研究
50:45但我会说我们还有很多事情要做
50:47现在我们还不能很有信心地说
50:49可以直接根据这些研究成果去制定新的法律
50:52最近我也一直在关注
50:53角色训练这件事
50:57现在有这么多不同的语言模型
51:00它们跟我们说话的方式也都有一点不一样
51:03而且我们前面也提到过Amanda Askell
51:04比如说现在会有这些哲学家
51:06某种程度上在教语言模型应该怎么做事
51:09应该遵循什么样的原则去处理问题
51:12我想这些东西最后也会相应地塑造它们的性格
51:16也就是模型的性格
51:18那你怎么看这一整件事
51:21就是现在不同模型之间变得越来越不一样
51:26它们某种程度上有点像不同的人
51:30我肯定会说
51:31我们现在处在一个非常奇怪的位置
51:33因为这居然已经变成了一个我们需要认真讨论的问题对吧
51:36这真的很奇怪
51:37语言模型是有某种性格的
51:39而这件事看起来确实是真的
51:40从可解释性的角度也有一些证据支持这一点
51:43对这其实挺疯狂的
51:46我觉得已经有一些可解释性研究显示
51:49不同类型性格的内部表示
51:52在模型的表示空间里似乎是以某种方式组织起来的
51:56Anthropic有一个关于助手轴的研究
51:59大概就是说有帮助的助手会落在某一个方向上
52:02而如果你得到的是不对齐的助手
52:04它们会朝另外一个方向排列
52:05可解释性在这里是有潜力的
52:07如果我们能够利用可解释性
52:08以某种方式去引导训练过程
52:12那它也许可以成为一种更精细地控制模型性格的方法
52:16而且它可能比我们现在单纯依赖训练数据的方式
52:17提供更多的保证
52:19尤其是现在我们会做一些像宪法AI这样的事情
52:23在角色训练的过程中由一个AI来决定
52:25某一种行为应该得到怎样的奖励或者不应该得到奖励
52:28我觉得这是我们会希望能够控制的一件事情
52:31而可解释性也许可以在训练过程中发挥一定的作用
52:34太棒了
52:35Aryaman 非常感谢你来参加我们的播客
52:38也非常感谢你抽时间和我们聊这么久
52:40很期待你接下来的研究
52:41也很期待看看你博士毕业之后最终会去做什么
52:44谢谢邀请
52:45很感谢
52:46好啦以上就是我们这期视频播客的全部内容了
52:49大家的点赞、留言和转发
52:51是我们《硅谷101》
52:52做好深度科技和商业内容的最佳动力
52:55记得关注我们的频道
52:57我是Yiwen
52:57我们下期再见

About this transcript

This page contains the full transcript of AI可解释性与对齐：J-Space，思维链，AI人格，幻觉，与金门大桥【101视频播客】 by 硅谷101, generated from the public captions YouTube serves with the video. The transcript has 1,725 words across 1,345 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.

What you can do with it

Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to translate the transcript into 100+ languages.

Free YouTube transcript tool

YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, translation to 100+ languages, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.