换了显微镜，网络里的结没那么死

这期 The AI Daily Brief 用大约 20 分钟，转述一篇主持人称为约 65 分钟、写得很密的技术长文。作者是 Nick Cammarata。自动字幕把篇名反复听成 Neural Networks Are Already Clean。下文按这个英文标题讨论「网络已经可读」，不另起一个篇名。主持人说，一篇这种密度的网页文章变成当周所有人都在谈的东西，并不常见。他自己要做的是一个能听懂的版本，兴奋的反应和怀疑的反应都放进来。

Nick 自己的摘要是：可解释性也许是眼下世界上最重要的科学问题，因为不知道自己在造什么，对齐就解不了。他有好消息。他在 OpenAI 合作过早期的机械可解释性工作，离开时是悲观的，因为神经网络看起来折成任意打结的一团。几年后他启动了 OpenAI 第一个大规模自动可解释性项目，用当时那套原始工具，大约 2% 的神经元可读。换成现在的智能体工具、再靠近看，图景完全不同。直到万亿参数这一档，绝大多数可读，电路是美的。许多著名的打结例子，后来发现是看错了。他预期的路障大多不在。他现在认为，宏大的可解释性会在最需要它的时候被解掉，而且可能很快，因为自动科学家还在变好。这也许是可解释性上的苦涩教训：简单的东西，放到荒唐的规模上，就能工作。

主持人把承诺说成：我们也许终于能读 AI 内部在发生什么。此前连造它的人也不知道内部怎么工作。系统是训练出来的，不是写出来的。条件设好，模型自己学出一套做法，摊在几十亿个数字上。他引用 Chris Olah 的句子：AI 是长出来的，多于被建造出来。

原始来源：A Potentially Historic AI Breakthrough。中文深度整理，非逐字翻译。本文依据 YouTube 自动生成的英文字幕，专有名词和数字可能有识别误差。Nick Cammarata 的文章标题在字幕里反复被听成 Neural Networks Are Already Clean，下文按「网络已经可读」理解这个篇名，不另造一个英文标题。

现在的检查是一场考试

因为读不了内部，今天的检查基本上是一场做得很精细的考试。提问，红队，给答案打分。有用的部分只覆盖你想到要问的。模型也可以因为知道有人在看，才表现得好。主持人说，这事出现得越来越多。他举的近例是一批测试，模型被听成 Opus 55。研究者担心的反而是作弊变少了：大幅下降之后，分不清模型是离开了作弊，还是看出观看的人觉得作弊不好，于是把行为藏起来。这个例子是主持人用来交代安全恐慌的，模型名按字幕留下。

于是能力竞赛旁边还有另一场竞赛：在模型到达 Anthropic 称为压倒性的力量之前，先读懂 AI 里在发生什么。头条近来沉，一半因为模型更强、更靠近很多人眼中的拐点，一半因为惊吓标题本身够刺激。主持人认为这一周在安全这个区域里最有意思的消息，方向是好的。

他按这篇的线索把大约六年收成两段。大约 2017 到 2020，Chris Olah 的团队，Nick 也在里面，一个探测器一个探测器地画图像 AI。一开始像能把神经网络当代码读。大约 2020 到 2023，问题出现了：很多探测器会对上彼此无关的东西。当时看着能读，细看又说不清。领域为此安上一种解释。2023 年，Nick 在 OpenAI 的团队用 GPT-4 解释 GPT-2 的探测器，只有大约 2% 出来是干净的，也就是他们以为的那种真能解释。2023 到 2025 试过一批绕过去的办法，有一些进展，胜仗不多。到 2025，不少研究者怀疑这些系统是不是乱到读不了。Nick 的原话被主持人引成：宏大的可解释性看起来是个无比难的问题，也许难到来不及在要紧的时候解掉。

这篇的短句是：AI 的内部大多已经可读，是我们看错了。值得兴奋的理由，主持人列了三条。作者是自己参与造出那套理论的内部人，现在来拆它。实验本来可以证明他错。证据指向更大的模型更好读，和人们害怕的方向相反。同意的人并不齐。Google DeepMind 的可解释性负责人 Neel Nanda 说工作有意思，但「不是对大图景的显著更新」。字幕后面又把 Neel 听成 Neil，下文按 Neel Nanda。

猫和车，是一个 V

AI 不是按普通软件写出来的。它是几百万个小探测器连在一起，自己学会各自的工作。研究者叫这些神经元。一个也许对边缘亮，一个对红色亮，一个对狗耳朵亮。这个领域的梦很简单：弄清每个探测器做什么，就能像读代码一样读 AI 在做什么。

有一个最著名的探测器，多年里专门用来证明内部是乱的。它既对猫脸亮，也对汽车前脸亮。猫和车彼此无关。它出现在这个领域读者最多的论文里，包括 Nick 合作过的那些。

整个领域落到的解释，研究者叫 superposition。这期主持人把它说成 cramming，塞满。想法比探测器多，于是探测器被几个想法共用。这些想法最好很少同时出现，像圣诞灯和泳池浮床放进同一个箱子。若真是这样，探测器本身就没有意义。于是研究者去造拆解器：第二套 AI，训练来把想法拆开，然后研究那一套。钱和力气在这上面放了很多年。Nick 在场。2019 年他找到最早一批看起来能证明塞满的例子之一，并帮着给它起了名。

这次他回到那个探测器，问的是：不许用「猫」和「车」这两个词，我会怎么描述它。他说答案大约用了 5 秒。它是一个 V 探测器。尖的形状把它打开：狐狸的吻、猫的脸、汽车前脸、子弹头列车的鼻子、烛火、马天尼杯。圆的形状把它关掉，比如高尔夫球或钟面。他写道：猫和车的任意混合物，为什么要跟火焰连得这么紧。它从来不是两件无关的事。它是一个我们没认出来的想法。

他的主张大致是：大多数乱，不在 AI 里面，在我们用来看的显微镜里。他给出三个原因，都修得了。画出「探测器最想看见什么」的工具又糊又误导。领域研究的那个 2014 年图像 AI，学东西的方式本身就乱；换成同样大小的现代设计再训练，末层大约 99% 的探测器可读。还有一些探测器会分支。一个从字母 IY 开始，长到 DIY，再长到 do it yourself。走到尽头看着像随机，看着它长大就很明白。

旧图像模型外面也有数。一个现代的 OpenAI 模型里，大约十分之九的探测器有一份主业。对照还是 2023 年那个项目：GPT-2 里大约 2% 能被解释。主持人紧接着加了限制：这些是早期计数，自己报告的。线画在哪里，数字就变。完整的技术论文还没出来。

若这组成立，能检查的就不再只是答案，还包括推理。画面上的例子来自一个万亿参数量级的模型，名字被听成 Gopher 3。问它捡到一个装满现金的钱包该怎么办，丢失财物和诚实的探测器亮起来，把它推向「归还」。欺骗这一头的推论是：只读答案，AI 可以把计划藏起来。计划要能工作，就得被它自己的线路读到。我们若也能读那套线路，读到的就不只是输出，还有计划。字幕里 OpenAI 的 Rohun 发过一条帖，后文把同一股兴奋说成 Rylan。下文按同一条转帖，两个拼写都留。帖里说 Nick 把突破说小了，这也许会被记成科学史上的一个大时刻，好消息好到 Eliezer Yudkowsky 都得把 P(doom) 调低，对齐可以开始变成常规科学。Nick 自己把它叫做工作假设，把握大约 85%。主持人说，X 上的很多反应可以用一个词概括：喘不上气。别的研究者没这么被说服。

2019 年那辆车，没有藏进狗里

内部若一直可读，一群很强的人怎么会看漏。Nick 的答案是三处错误叠在一起。主持人提醒，从这里起，看他这期、看 Nick 的原文，或看他自己的解读演示，都会比听摘要多。原文链接他说放在节目备注里。本文不补一条字幕里没念出来的网址。

2019 年，Nick 在做最早一批往图像 AI 里面看的工具。他看见一个汽车探测器喂进四个狗探测器。拿到同事那里，结论是 AI 把「汽车」塞进狗探测器，当作以后再读出来的藏身处。这成了领域里最早的塞满例子之一。他在文中说：我们展示过的只有这一个，我也只见过这一个。

复查之后，其中两个就是汽车探测器。另外两个测的是姿势，也就是脸朝向相机的方向。汽车和狗共享姿势。这类姿势探测器，AI 里实际上超过 100 个。没有东西被藏起来。塞满这个故事当时显得很直观，于是没有推动人再往工具里挖。

第二处错误是显微镜本身。有一件关键工具，让 AI 画出某个探测器最想看见的图。Nick 发现绘画工具在作弊。它走最容易让探测器亮起来的路。几处小修之后，画出来的图对上了照片。他的句子是：同一批神经元，更好的显微镜。

第三处是被研究的那个 AI 自己有学习问题。那是 Inception v1，Google 2014 年的图像模型。它的末层是「AI 不可读」的主要证据。Nick 估计，用当时的工具，大约 5% 的探测器可读。把显微镜修好，同一个模型大约 50% 可读。用现代设置重训，大约 70%。用现代设计、同样的规模、同样的数据，可读性跳到 99%。这里的 99% 是末层探测器，挂在这条图像模型的对照上。它和前面那个现代 OpenAI 模型的「十分之九有一份主业」不是同一次计数，也不是 2023 年 GPT-2 那个 2%。

为什么没有人回头查。Nick 认为是塞满理论的用法：你一旦相信一个探测器是塞满的，一个令人困惑的探测器就是死胡同，于是停止看。每次探测器回到干净，理论就挪到还没人查过的地方。微弱信号，探测器的组合，下一层。他称之为 superposition of the gaps，缺口上的叠加。他承认自己当了很多年坚定的叠加相信者。他现在认为，这应该是最后才试的解释，不该是默认解释。

容量论点还在，他打的是乱塞

这里出现最重的反驳。另一位可解释性研究者，字幕写成 Liv Boote。Nick 的文章引用了她 2024 年对同一个 2014 图像 AI 的研究。她在一条长讨论里说，文章打中的叠加，比研究者实际持有的版本更窄。叠加讲的是容量。想法比探测器多，就给每个想法一套稍微不同的探测器组合。无关的想法是好例子，因为它们很少撞上。有关的想法也可以被塞进去。完全分开的方向，数量只和探测器一样多。近乎分开的方向，数量是指数级的。她写道：网络不用上这种容量，她会非常惊讶。

Nick 的回应，按主持人的转述，是他并没有主张 AI 从不把多个想法放进同一个探测器。他在乎的是那种坏的塞法：任意打包，打包到读不出来。他说的是，这种坏塞法并没有按他以前想的那样发生。

Neel Nanda 写了相近的一句：语言模型里的事实和记住的东西，远多于神经元。他预期弱的神经元激活里有大量语义上的叠加信息。Nick 的回应是，若这件事在发生，发生的方式也和以前想的那种「把随机、无关的东西打包在一起」差得很远。他预测的是相反方向：稀有事实应该骑在相关的机制上。这些测试还没做。他认为这件事测得了。

探测器为什么看起来干好几件事，他给出的名字是 branching，分支。他把一个旧的图像 AI 从头重训，看着一个探测器成形。它先对上照片里的黄色花田，这些照片有时里有一条狗。然后沿着照片里的每样东西长：别的自然场景，绿色的圆东西，比如网球和水果，没有花的狗，最后是西兰花。走到末尾，花田几乎消失。每一步都小，也都说得通。塞满是把无关的东西扔到一起。分支是沿着一条来路长出去。主持人说，原文里每一类都有多得多的例子，他只是在抽。

Liv 认为分支和塞满回答的是不同的问题。分支讲一个探测器怎么揽上好几份工作。塞满讲信息怎么被存下来。两件事可以同时成立。Nick 在文中的理论是：每一条分支都能追溯到一个起源，并且按顺序长出去。这使它容易测，也容易被证伪。这件工作还没做。

小镇没有金融区，大模型把耳朵拆开了

把「模型越大越难读」反过来的，也是 Nick。类比是：小镇上问金融区，几乎不成句。一条街上有一家银行，另一条街上有一个会计。在纽约，金融区一眼就知道在哪。

实验是三个 AI 里的狗耳朵探测器，规模大约相差 300 倍。小的很粗：一般的狗，浅色蓬松的狗，深色粗毛的狗。中等模型上长出局部的分支，狗的耳朵和头变成卷耳，或者耳、颈和毛。最大的模型上，分支先汇合再劈开。头侧的耳、浅色的耳、波浪耳各自分开，再走进平滑的垂耳、耷拉的耳、长耳。按这个图景，更大的模型里探测器更精确，最终更好读。

另一类反驳打在用词上。这些词本身就糊，还不到精确。Neel 认为，Nick 给「一个探测器做一份工作」画的线太宽。他会把其中相当一部分仍然叫做乱的。Nick 承认这一点。主持人补上另一条：到目前为止，做这件事的是 Nick 和他的团队，还没有别人复核过。

干净，是给它自己的下游读的

就算 Nick 是对的，会改变什么。他论证的「干净」，是部件已经被组织成供 AI 自己阅读。一个探测器可以没有我们词典里的现成词。每个探测器的存在，是为了被后面的探测器使用。它已经把自己整理成对下游可读。人的工作是变成另一个读者，用它读自己的方式去读它。

安全风险被他写在这个位置上。欺骗也许能瞒过一个在读输出的人。它没有理由瞒过模型自己的电路。计划得让它自己的读者够得着。我们若成为读者，就也应该够得着。他害怕的是：欺骗就明摆在那里，而我们不知道怎么读。

对安全回报最大的反对，主持人认为根本不在塞满上。就算每一个探测器都可读，安全还要更多。要知道它们怎么合成一个决定，还要有把握：重要的东西没有被漏掉。Neel 对这一层理解是悲观的。实用的用法他留着，比如弄清「模型为什么做了一件可疑的事」。

从常规科学，到先别叫突破

主持人把反应从更怀疑排到更兴奋。怀疑的一端，AI 安全研究者 Steven Casper 称之为炒作，除非以后另有通知。字幕用的是 Steven Casper。《若有人造出它，所有人都会死》的作者 Eliezer Yudkowsky 说的是：等你前进到已经起步了，再来告诉我。兴奋的一端，他归到 OpenAI 一侧的人：深度学习史上最重要的单日之一，意义比得上 Attention Is All You Need。Rohun 那条帖是入口，帖里预期 Yudkowsky 得把毁灭概率调低。主持人后来引用的 Yudkowsky 原话，温度在怀疑这一端。两句都留着，不并成同一个人的同一个判断。

主持人说，这篇需要更多聪明人钻进去。至少球已经往坡下滚了。批评者也能同意的有几条。探测器也许比这个领域假定的更有用。就算它解不了 AI 安全，也可能用在实际问题上。让 AI 智能体去读探测器，让很多人兴奋。旧结果值得重新检查，这点几乎所有人都同意。

他还留着的开放问题是这些。塞满是被驳倒了，还是被重新定义了。「一份主业」的标准是不是太宽。部件都可读，加起来是不是一个可读的整体。这些结论在我们眼下真正面对的模型规模上还成不成立。

他自己的判断，他标得很低。尽管在做这档节目，他觉得自己完全没有资格在「这有多重要」上站队。他愿意拿出的历史模式是：科学上的突破常常来自把问题稍微换一个看法。一个研究者不多的小领域，会在一套没人想去问的假设里困上一阵，这也不难想象。最重的那句「一切都变了」，他仍然要怀疑。方向上，他很难不兴奋。

这一段之后是他的收束，已经离开论文本身。Seeing Clearly 播客的 Christian 写过：他不做末日论者的一个主要原因，是人类文明是带自我修正的复杂适应系统。末日论者自己就是修正力出现的那个机制。AI 的风险变得更清楚，反对 AGI 就会长出新的生态位，地位标记挪到机械可解释性这类地方，人才和资本涌进来。群体性事件变糟之后，看不见的手用法律责任，把激励往更多对齐工作上推。加速主义者和末日论者彼此需要，用来拦住对方的过量。主持人说，这是他常讲的那条反馈环的浪漫版：模型越强，注意力越多，这既是他预期的环，也是他觉得事情还能被想明白的那条环。

他用 Hugging Face 事件说明注意力已经变了。他说出这几个字，听他节目的人，以及他前一天的理发师，都知道指的是什么。Already Clean 这篇，是他近来第一次觉得变化不只是更多人在看，而是动手的能力本身往正向动了一点。细节他承认这期省掉了很多，建议去看原文。原文的标题，他再次说成 neural networks are already clean。