防御窗口还开着，安全支出凭什么超过写软件

OpenAI 抽走大约四分之一负责生产环境的工程师，手头项目全部暂停，只用当时最强的模型去捅自己的基础设施，找到漏洞就修，直到这版模型再也找不到新的。Greg Brockman 把这件事接到预算上：安全支出应当大幅超过写软件。他自己补了一句，这个判断未必对。

原始来源：Revolutionizing Cybersecurity and AI-Driven Science with OpenAI President Greg Brockman。中文深度整理，非逐字翻译。本文依据 YouTube 自动生成的英文字幕，专有名词和数字可能有识别误差。

将近四百道旧题被解掉，洞见还要人来读

他这周最想讲的是数学。过去一千年里，生活质量往上走，靠的是技术和科学发现。现在他认为科学发现可以被大幅加快。AI 能不能给出新知识，他的回答是可以，而且已经无法否认。限度紧跟在后面：整套全新的理论还没有出现。眼下能做的，是解开有一百年历史的数学问题。

他在意人拿着这些工具能做成什么。以前想不到的事，现在撬得动的变多了。有数学题就可以拿去解。同一套能力可以拿去看生物，也可以交给小企业主去经营。调到那个领域上的智能，会把符合你目标的结果放到够得着的地方。

主持人问的是传递。早年的模型连算术都不稳，现在在解高深定理。一个领域里，真正能裁定一条定理的人一直很少。证明写出来之后，谁来读懂。

Brockman 学过数学，曾以为自己会走这条路。字幕里他提起的人名听成 Gawwa 或 Gaus，常会让人想到伽罗瓦或高斯，本文不把名字坐实。他记得的是那种以一百年到四百年为尺度工作的人。数学是发明还是发现，他不拿来做结论。美和意义在看的人眼里。有一部分像物理定律，讲究简单和压缩。还有一部分就是人的。

所以这周的结果不该停在一份没人看懂的证明上。他们公布了将近四百道重要的开放问题，现在被解掉。数学共同体正在翻这些工作，找里面的洞见。领域专家的反应是：怎么把那个结果用到这里，这条路出人意料。他用四色定理做反面：机器把大量情形核完，证明成立，里面没有美。他认为机器发现进入了另一个阶段。模型若更能体会人已经知道什么、怎样带人走完一条新的理解，路会更顺。他自己中途停过数学，后来用 Math Academy，再用 ChatGPT 学新的内容。他期待“人可以被指望懂多少”的水位一起涨。主持人也把这一点收成：技术应当帮人懂得更多。

核对本身也连着安全。2017 年起他们就在谈辩论和迭代放大，像一枚硬币的两面。书摘是一个好例子：没读过全书，不容易判断摘要好不好。另一个模型专门证明这份摘要是坏的，指出某一段有清楚的情节关键，摘要里没有。你不用读完全书，也能判断这个反驳站得住。训练可以朝这个方向走：人留在驾驶座上，结果讲给人听，让人真的学到一点东西。

将近四百是他的口播，字幕没有题目清单、发表处或复核进度。“无法否认”是他的判断。四色定理是历史对照。书摘辩论用来说明方法，这期没有放一次真实运行。

药的前半段可以变快，数据不在就停

若只挑一个领域彻底改掉，他选药物发现。这是能托起生活质量、也想了很久的应用。理由直接：人极不擅长生物和找药。自然语言贴着人跟世界打交道的方式，生物对人则完全陌生。神经网络没有理由天生更擅长语言，却搞不定生物。语言上已经看到的结果，按第一性原理，应当能用来破解生物的语言。他说很多轴上已经接近了。

数学先被改掉，不全是因为好核对。算术有数字答案，对错一眼能看，适合拿来训练。证明不一样。形式化的证明可以核对。他们现在交出的是自然语言证明，难得多。他认定的核心是数据。数学有大量数据，理论物理也有。生物是数据瓶颈。少数据的技术他们一直在做。深度学习的账他写成三样：算力、数据、算法，等于能力，等于结果。人花了几百年才解的题，AI 现在解得了。数据在不在、拿不拿得到，还没解决。

有些环节会很快掉下来，以前极痛的步骤变得容易，另一些会卡住。监管申报不一定触及深层生物理论：给临床试验写整套材料大约要一年，这类文字可以写得容易很多。数据根本不存在的地方，湿实验和模拟会变得重要。和数学相同的是科学发现，不同的是数据从哪来。并行可以加上去，很多步骤可以变短。

主持人把账摊开。一款药大约十五年、十五亿美元。临床前的小鼠和分子大约五千万，临床试验十四亿以上。前面两三年，后面十二年。早期研究，例如 AlphaFold 那一类，力气多花在设计分子、理解结合上。下游才是把东西变成对人有用的结果。Brockman 同意这条管道很长。他还指出一个能更快见到的用法：有的病，药已经写在文献的某一篇里，找到那一篇就能治这个人。他说先例不少，这种查找可以放大。短期就能见到影响，是可能的。材料科学是下一条。后面还有一长串领域，人类做得到的事会不一样。

监管是主持人担心的刹车。试验一阶比一阶贵，安全考量不同，最后是大规模人体试验。步骤今天由监管规定，理由是好的。技术若真能工作、数据若真能拿到或生成，还得说服监管者改接受标准和步骤。Brockman 说，还要再做工作。一旦能证明药物发现的物理变了，变化应当渗进系统的每一段。

他拿自动驾驶做类比。路怎么运营、安全怎么定，都是按人开车设计的。若自动驾驶安全到人的十倍或一百倍，结果清楚就是你想要的那样，就该重想整个交通系统。某些区域也许只允许自动驾驶。监管各地不同。澳大利亚和美国的临床试验规则就不一样。已经有人把试验搬到规则更合自己打法的地方。具体怎么改，取决于能证明什么。神经网络给出的结果好过真的去做一场临床试验，他说还没有到那一步。可以想象以后会到。主持人补了一句：若对疗效或毒性更会预测，规则就该改。字幕里毒性听成 talks。他同意。长期结局仍难绕开。字幕这一段听得不完整，能确定的是：至少要有一段真实的长时间，才能对上后来的结果。他又判断，可能的事情里大约百分之八十会很快兑现。

十五年、十五亿、五千万、十四亿是主持人的数。十倍、一百倍是设想里的安全倍数，不是这期对现有自动驾驶的测量。百分之八十是他的判断。湿实验和模拟只被点名，没有讲 OpenAI 正在跑哪一项。

一只猫头鹰在后台干活，贵的是算力

离 Astra 发布和开发者日已经有一段日子。字幕多次把 Astra 听成 Astro。他没料到、也确实改变了他们怎么工作的，是 dots。这是一个主动的代理：一直开着，一直在做。你停手，它不停。他自己的那一只，盯他答应过要做的事、该发还没发的消息。早上醒来就有一份待办。日历上的冲突，这场会得早点走才赶得上下一场，他没开口要求，它也会指出来。它知道他的一天、在做的项目、收件箱、Slack，以及他最近在问什么，于是知道他眼前最要紧的是哪几块。

他强调变的是形态，不是能力。用的是 Astra 这一档的模型，自己有一台云上的电脑。放进工作场合、配上这一档智能，形态一变就是另一回事。他自己只开一只。图标是一只小猫头鹰，图标可以换。它包办他工作生活里的这些事。

主持人问，工作助手和消费助手会不会分成两摊。字幕里消费那一侧的名字听成 instincts、muses。Brockman 认为两边会汇合。压力不同。大众产品要能免费或极低价地扩出去。工作场合里，忙碌的主管或个人贡献者，只要多花算力还有回报，就值得把峰值智能用上。主要差别是成本。ChatGPT 把免费档做成很大的规模，把记忆带给全部免费用户，是一场大工程。同样的功能，只给很少的人、用高得多的成本，做起来反而容易。算力档位不同，产品看起来就会不同，嵌进去的功能多少也不一样。支付和旅行更偏消费。根本处都是 AI 在做事，压力只是往不同方向偏了一点。

OpenAI 想合成一条战线。字幕里的用户数写成 “1.2 2 billion”，中间多了一个 2，本文不收成一个精确数字。主持人另说，GPT-6 已经推给超过十亿人。Brockman 同时说到领先的编程和企业业务，认为别人没有把消费和企业都放在自己手里。策略是在一条战线上竞争。他也看到有人辞职去创业，理由是现在有一个靠得住的 AI，门槛里的一大截被拿掉了。

界面往同一个方向收。最好的界面是没有界面。你要的是一个能说话的东西：口头说，走 Slack，走 iMessage，或者打电话。他说 dots 今天就能这样。工作场合仍有管理员、公司安全团队和更多相关方。AI 不只代表你，后果也不只由你一个人承担。这是他看到的企业和家里最大的差别，产品也会因此不同。新功能上线时，企业要自己决定何时打开，于是有管理员开关。开关一关，能用的功能就少一截。没有界面的时候，怎样告诉人少了哪一项，是还在做的难题。ChatGPT 从一只文本框开始，他想走到连文本框都没有。

没有固定界面之后靠什么变好。主持人列了算力、模型、记忆、行为和该想多深。最后一项，他说已经做得不错。GPT-6 放到所有人之后，难的问题可以先给一个快答案，再继续想，然后给更完整的答案。同时有了智能界面。没有固定按钮，没有要学的菜单，模型可以当场生成你要的样子。订机票，你需要能看见各个选项的复杂界面。问怎样装一辆自行车，你可能需要一个一次性的小应用，换作人来写要一个月。没有人会为了装一辆车去雇程序员。模型在你需要的那一刻做出来，可以。界面变成当时正好需要的那样，这是他们在产品各处都在做的事。

dots 的拼写按字幕，这期对不上一份产品说明书。一只猫头鹰和那份待办，是他一个人的用法。用户数的听写有歧义。机票和自行车是用来说明生成界面的例子。

防御窗口用来还旧债，下一版还得重来

网络安全是这期后半的主题。他说这门学科的物理在变，现在处在他们称为防御者窗口的阶段。最强的前沿能力可以帮防守方加固自己，还没有广泛铺开。已经铺开的能力则在一版一版抬高。世界各地的提供者每发一版模型，人人拿得到的网络攻击能力都在上去。苗头已经出现。他举的例子是韩国几起高调的银行入侵，由不同的模型驱动。

Daybreak 是他们给防守方开的口子：趁现在负责任地提供峰值智能，或很强的模型，用来发现并修掉系统里的漏洞。这些缺陷早就在。每一行人写的代码都该问一句：它安全吗，写它的人受过相应的训练吗。系统从根上就不牢，这事大家早就知道。从来没有一位首席信息安全官觉得资源够。主持人补了两件 AI 之前就有的事。一幅 XKCD 画的是，全世界的基础设施压在一个人在地下室维护的开源项目上。还有 Heartbleed。

Brockman 把账算到人怎么建互联网。这些是人的问题，是当时选择的建法。安全是后装上去的。早期蠕虫和病毒之后，才有杀毒软件。请求的加密也是后补的，HTTP 才改成 HTTPS。为了把安全加上去，走的是慢路。互联网按韧性来建，不一定按安全来建。那笔技术债会浮上来，现在该还。公司往这上面靠。十亿美元的承诺，用来让一线防守者用上模型，拿去做防守。他们在找外面的漏洞，并想怎样帮世界接住：事件响应怎么协调，怎样和政府、和社区把修补落地，让人走得过去。

人们还没有真正吸收这件事会变多少。他看到的机会是世界可以更安全：AI 让以前还不起的技术债变得还得起。形式化验证是一条现成的路。这些模型擅长证明，那就去证明软件的安全性质。技术对人来说早就有一点，只是没有人在重要的东西上真的这么做。他认为这些都可以变。

内部已经在按这个节奏走。每掉一个新模型，就拿去加固自己，把漏洞找出来，直到饱和。大约四分之一负责生产环境的工程师，项目全部暂停，只做安全。当时的峰值模型去捅全部基础设施。字幕紧跟着写成 rate team，按语境是做了一轮红队，并做了以后能再跑的工具。找到一批问题，修掉，直到这版模型能找到的到了头。下一版还得重来，而且会一直重来。另一头，现在很大一部分正在写的代码已经有 AI 参与。他们在训练这些模型，从一开始就写出更安全的代码。用对了，系统可以从根上更安全。

主持人听到的行业共识是一段过渡：攻击会变多，人的代码库还在追，等到更多代码由预设更安全的模型写成，防守再追上。Brockman 说，这像是目前最可能的走向。他乐观，但要协同。防守方得自己吸收物理已经变了。窗口不会永远开着。一个组织的安全要看两样。一样是一次做对的基本功。一样是你用来防守的网络能力处在哪一档。每家机构怎么运转要改。关键基础设施也要改，把资源补给以前没拿到的那些。

主持人问预算。传统印象是，安全占 IT 预算的低个位数百分比。是不是网络、终端、公司安全那些工具变得不那么要紧，或者花两倍就够。Brockman 的回答是另一句：安全支出应当大幅超过软件支出。他说自己真这么相信，也可能不对。他看到的世界里，写软件的门槛在变低，接近免费。单有一套能跑的软件不够。你要它可靠、安全、能相信。韧性会变成价值。

XKCD 底下那一块，某个开源维护者撑着整个项目，他认为从来就不合理。会变成那样，是因为写软件、写可靠的软件很难。每家都有供应链，真正去审计供应链的公司很少。有人上传一个恶意包，一批公司中招。这些都得改。靠人去审每一种冷门的第三方包，懂的人太少，以前根本改不动。Socket 一类公司会扫你的开源供应链，把漏洞标出来。还有人的因素：维护者突然接手一个项目，再装进对使用者有害的东西。第三方这一侧也在长出来，配合 OpenAI 和其他人在做的事。

他们和社区一起做，合作方点名 CrowdStrike。他认为 OpenAI 要在这件事上带头，因为前沿模型在自己手里。过去几个月，他们谈开发过程里的安全、安保和对齐。同一套想法要用到外面：让世界从根上更安全，并帮人走过这一段。

韩国的银行、十亿美元、四分之一、Daybreak，都按这期口播。字幕没有案件编号、拨款进度或漏洞清单。饱和指的是这一个模型找不到更多，不是系统已经安全。形式化验证是方向。低个位数百分比是主持人的行业印象，他没有改口确认。“大幅超过”没有倍数，也没有一张预算表。Socket 和 CrowdStrike 是举例。他没有说传统的终端和网络安全工具可以停掉。

知道得更多之后，人仍要能把机器拎起来

主持人问，最早那种让 AI 被广泛、正向使用的气质还在不在。Brockman 说它就在使命里：确保 AGI 惠及全人类。人类这两个字是关键。人要稳稳坐在驾驶座上，掌握未来。技术应当放大人的能动性。模型在能力上超过人之后，这一点更关键。

模型的能力是锯齿状的。有些地方已经超过今天的任何人。字幕写成 GPD4，按 GPT-4 来读：它知道的远多于任何一个人。他想起乔布斯给 iMac 装把手，是为了让人觉得机器可控，可以拎起来扔出窗外。同样的精神要用在 AI 上。人的判断和价值留着。某些领域里，人会更像首席执行官或董事会。下面有领域专家和团队，在很多轴上想法可能比你更好。根本的问题仍是：你高兴吗，这是你要的吗，这让你的生活更好吗。他把这件事放回技术本身。技术托起人类文明，是生活质量提升最根本的驱动。他要 AI 也落在这里。

把手的故事是他转述的产品轶事。驾驶座是价值声明。这期里比较能对上的做法，是书摘那种让人只判断反驳、企业管理员的开关，以及防守方在窗口关上之前把旧债还上。