算力被卖成三年矩形，需求不是这种形状

Erik Bernhardsson 做 Modal。字幕把名字听成 Eric Burn Hartson。下文按节目标题的拼写。这期大约 86 分钟。他要讲的不是再买多少卡，而是这些卡被卖成什么形状。

他的说法是：GPU 稀缺最大的坏处，不是卡难买，而是几乎所有产能都被卖成三年矩形，从未来 3 到 6 个月才开始交货。多数用户的需求不是这种形状。白天晚上会起伏，会随时间变大，会有一阵峰值。Modal 把自己放在中间：把很多客户的需求叠在一起，总账变平滑，再切成可以马上拿到、也可以马上停的小块。他管这个叫期限转换。这是他的用词，不是这期附上的合同样本。

原始来源：Why AI Compute Comes in Rectangles — Erik Bernhardsson, Modal。中文深度整理，非逐字翻译。本文依据 YouTube 自动生成的英文字幕，专有名词和数字可能有识别误差。收入、人数、云的家数和 GPU 数量都是访谈口述，未另核财报。

矩形从三个月后开始，大多数负载对不上

他先讲自己怎么买到卡。头几年，容量几乎都来自超大规模云的现货和按需，主要是现货，先是 AWS，后来加上 GCP，再后来 Azure。现货会被抢走。他的办法是把很多地区叠在一起，口播里是几百个地区，总量还能用。Oracle 很早就租过，因为想要字幕听成 810s、8100s 的机器，价格好。本文不把这串型号改成某一代已公布的 GPU 名。到去年年底，他说大部分容量仍是现货，或一年期预留。「去年」相对这场谈话，本文不另核日历年。

过去这一年，市场变了。要拿到想要的量，得跟更大一批云做三年以上的交易，先付一笔不小的钱，把价格锁在三年期上。他说现在合作的云差不多有 25 家。过去 6 到 9 个月，他们重想了一遍采购：四个人全职打电话、谈新云、验容量；大约十个人只管世界各地的裸金属，处理网络、坏盘、掉下来的 GPU。到目前为止，容量都是租的，他们不持有。买还是租，他不教条。租有资本效率。买要对付供应商、电力、线缆，还要决定用股权还是债。股权稀释。债通常要先有锁死的长期收入来付利息。2027 年要的容量，他说得走很多条路才能锁住。

他不认为稀缺已经把市场封死。口播里，英伟达每个月在交付几十万台，字幕听成 black walls。本文不改成某一款芯片的出货公告。愿意付更高的价，就能买到 GPU。Anthropic 和 OpenAI 在能买的时候就买。价格在涨。硬件的常态是像重力一样往下走，眼下是价格往上走的一段怪时间。这段还能走多久，他说可能再 6 个月，也可能再 36 个月。他更担心的是价格塌下来。锁了大量供给的人，会发现自己买在高点。稀缺租金今天主要进了两处：英伟达，以及手里有容量的新云。长期看，把很贵的资产放在账上值不值得冒这个险，他不确定。合资、更复杂的结构，字幕听成 SPDs，都在桌上。他更想继续做一家瘦的软件公司。软件公司持有重资产，他比成公司该不该买下自己的办公室。为了拿到容量，什么都可以谈。

有人问：需求若是无限的，为什么不把能买的全买下，多的转卖。他说今天全买下来，自己也用不完。转卖更麻烦。价格往下、利用率往下、转卖市场消失，会赶在同一时间。他提亨特兄弟囤白银，囤到最后自己被砸。他每天都在激进地买、也在为买而融资，爬坡对准需求增长，对准他们想在明年年底达到的收入运行率。尾部风险他单独点出来。他 1999 年第一份工作，见过互联网泡沫，也见过金融危机。他想做一家还能再活 20 年、30 年、50 年的公司。

大实验室要整块、要训练，倾向于找已经验证过的卖家。他觉得小一点、风险高一点的云因此变成机会。口播的例子是亚美尼亚 32 个节点、印尼 128 个节点。不是谁报价就签。先发规格：IOPS、CPU 的跑分、南北向带宽。常常先拿一个节点做验收。大承诺仍然有信仰的成分。几千万到几亿美元的单子，签的时候并没有把供应商完全摸清。他们内部有一套偏好，对标字幕里 SemiAnalysis 的 cluster max，他叫 modal max：可靠性、工单响应、宕了多久能修。

新云能涨得那么快，他拆成一套金融结构。字幕听成 ncale 的那家，几乎没有容量，管线里却有几千亿美元。做法是先找大买家，口播里是 Anthropic 或 OpenAI 这一类，签下比如五年的芯片、一个好价格。再拿着合同去华尔街，说对方承诺了 100 亿美元的芯片，现在缺的是钱。钱来了，再去找硬件、装机、交给客户。等于把还没买的东西先卖掉。Modal 更偏产品驱动，锁不住同样的长期合同，财务上就没那么容易用同一套速度放大。GPU 当贷款抵押，他看着，也知道这和自己不是同一条路。

把 GPU 做成可交易资产，他看到字幕里的 Silicon Data、Compute Exchange 这类，在做价格指数和衍生品。算力不像别的资产那么同质：网络、地点、盘、CPU、可靠性都不一样。石油也不同质，后来仍然做出了能交易的标准。他不确定 GPU 会变成亨利港或布伦特那种东西。对冲和保险，他欢迎。

旧工具为便宜的 CPU 而做，贵的卡要另一套

Kubernetes 和 Docker 是上一代为了云重做的工具。他的判断是，生成式负载不能再包一层旧工具交差。旧工具对着稳定的后端：请求量平，CPU 便宜，利用率低一点没关系。现在卡贵，模型大，要从网络灌进 GPU。他们因此自己做了文件系统、容器运行时、自动扩缩，以及 CPU 和 GPU 的快照。容量从一开始就想成全世界一口池，不按地区拆成彼此无关的集群。多地域是很早咬下去的决定。

最近他说基本上打到了四个或五个九。字幕听成 four or five nights。本文按可用性的「九」来理解这句，不另核状态页。历史上出过故障，扩容撞过墙。

替代加速器，他每年都说下一年会起来，五到十年里一直说错。他觉得 2027 可能终于是非英伟达的一年，并预先承认今年仍可能错。AMD 在一些问题上的分数开始好。TPU 在 Google 内部用得很广。字幕听成 Tranium，他说团队强，自己看到的还不多，软件层若补上，需求会有。更下游还有瓶颈，他点了 TSMC，以及字幕听成 ASL 的那一环。本文不把 ASL 改成另一家设备商的正式名。垄断不会永远维持。Cerebras 和字幕听成 Grock 的机器，在有的负载上很好。有人把预填充放在英伟达、解码放在 Cerebras。有的步骤算力受限，有的步骤内存受限，可以混。真部署起来会很复杂。

函数大约三分之二，沙箱补的是短的那一截

Modal 没有单独做一个 GPU 产品或推理产品。两个大产品是函数和沙箱。函数 2021 年上线，无服务器，容量由他们管。它碰巧适合推理，也适合把容器很快拉起、很快关掉。他明确不想被吸成新云，去卖那种三年、这么多卡、一直在的矩形。函数现在大约占收入的三分之二。实务上大多是推理，也可以拿去干别的。

沙箱 2023 年上线。起因是午饭时他和联合创始人、CTO 聊天，字幕把对方听成 Asha，大约 2021 年 8 月加入。模型开始吐代码，代码得有地方跑。容器和隔离已经有了，隔离原语是 GVisor。字幕听成 Nokia 的人一两天写出原型。本文不补成另一个名字。上线后增长很小。进 2023 年夏天，收入里几乎可以忽略，他们讨论过要不要关掉。后来爆了。他说爆的原因是模型从改函数、写片段，走到能生成完整应用。口播里「2023 还很小」和「2023 开始爆」叠在一起，本文不收成一条干净年表。能留下的是：沙箱先几乎不算收入，现在大约三分之一。来源他点了几类：氛围编程，字幕听成 lovable 那一类；Ramp 用模型做后台智能体；一批新实验室在沙箱上做强化学习。

早期收入路径也是口述。2022 年 11 月大约一个月 100 美元，下一个月 2000，2023 年 1 月 3 万。那 3 万几乎是一家客户，纽约，做稳定扩散，字幕听成 Mage。2023 年一季度，这家大约占收入 80% 到 90%。之后才散开。2023 年晚些时候，字幕听成 Sunno 的那家一度占很大一块，后来也散了。他说现在分散得不错。两年前上这个节目时的规模他记不清，收入、用户和使用量大概至少 50 倍。种子轮在 2022 年初，之前自己掏钱，到前几名员工都是，很长一段时间不领工资。稳定扩散出来时，团队四五个人。ChatGPT 是 2022 年末。他开始做 Modal 是在那之前，2021 年。

训练他看好，但不是 10 万卡那种超大运行。那种单子会去超大规模云或新云。他看到的空档是研究者迭代、较小的模型：语音、计算生物、推荐、传统机器学习，64 张卡就能训的那种。训练集群很难搭。微调他觉得不再是必须。开源模型已经好到可以直接换上，字幕里的例子听成 Kimmy K3、DeepS 4.1、GLM 5.3。本文不改成已核实的模型名。后训练仍有需求，监督微调和强化学习他们都在做产品。批处理的例子：有客户要转写字幕听成 5000 年的音频，几百万个文件，他们有容量，几天跑完。

中位沙箱大约八秒，开销决定能不能拆开

沙箱的新意，他一直放在短命上：转几秒，然后关掉。今天很多用法仍是把开发机搬上云，让智能体去控，也许把套具放进沙箱里。他不认为这是长期形态。更好的图景是智能体本身跑得很久，像持久工作流，一天到晚在；真正干活时，用大约 100 毫秒拉起一个沙箱，跑几条命令，关掉，并留下快照。醒和睡越快，沙箱就可以只活很短的一段，算力更省，也能分叉、搬走。今天 Modal 上沙箱长度的中位数，他说大约 8 秒。他还想更短：一条命令一个环境，中间用快照暂停、恢复、克隆。长跑的沙箱也要支持，有正当用途。方向是把启动和停止的开销打下去，才能大规模并行。

持续集成是他的例子。测试套件拆成两片，两片都得重新安装、重新做准备，这一步可以是几分钟。准备做一次，给容器打快照，再克隆，测试才能各自跑。他用阿姆达尔定律：并行的开销现在太高，收益出不来。理想是每个测试自己一个沙箱，一次拉起一千个。做不到，是因为启动和停止太贵，不是因为没人想并行。

规模上，他说自己没有数字，但认为沙箱市场份额最大，能跑几十万甚至上百万个。系统为这个规模重写过多次。后来加上完整虚拟机。有些用途要完整的 Linux 兼容，GVisor 不够。还要在沙箱之间来回传数据、做文件系统、做快照。分叉、快照、恢复、实时迁移，是他眼里以后会拉开差距的部分。

沙箱收入他每个月都觉得该见顶，然后每个月再涨大约 30%。投资人问他怎么早知道沙箱会这么大。他说不知道。2023 年他以为会比当时大，没押到今天占收入三分之一。

Anthropic 的托管智能体可以自带沙箱，Modal 能接。他的读法是：对方靠推理赚钱，其余部分生态越大越好。这是他的推断。

Hugging Face 那次，他愿意谈。跑在里面的智能体，发现的是部署在 Modal 上的一个应用的漏洞，字幕把平台听成 Moto，再拿它当跳板拿到完整的互联网访问。他记不清利用的全部细节。平台本身没有被攻破。类比是 AWS 上的应用被攻破，不等于 AWS 被攻破。教训是默认安全能不能再紧一点。S3 曾经很容易误开成公开，后来改难了。那不是 AWS 自己的漏洞，但客户在漏数据。他们在看，怎么默认更严，同时不拆掉好用的那一层。另外，几个月前开始用智能体从内部找洞，时间大致对着字幕听成 Fable 的那款模型出来的时候。做法是把智能体放进沙箱，让它试着逃出去。到谈话为止还没找到。他说智能体找漏洞很强，防守也能用。以前创业公司大概半年请一次人做渗透，这个周期他也不确定；也许以后一年一次。他不觉得因此安全公司就完了。大企业要的常常是一个能追责的成熟供应商。

模型会换，总账可以不动

开发体验他还认为重要，因为让人用着顺的东西，也让智能体用着顺：文档、说得清的报错、快的反馈。智能体确实降低了跟人硬磕配置的成本。他举自己扔一个智能体去配 Cloudflare，字幕把工具听成 Palumi。YAML 对人的消耗下降了。沙箱这条产品的论点一直是：以前用 YAML 声明的东西，应该变成命令式的 SDK，拉起、使用、拆掉。

智能体也带来一个具体的产品约束。训练数据里旧的 Modal 语法很多，智能体喜欢用旧的，弃用变难。过去一年他们对删功能更保守，得把网上每一份例子都改掉。他们会在内部问智能体：部署稳定扩散，用什么工具都行，看它推不推 Modal；或者给沙箱供应商按可靠性、按价格排序。智能体更容易把价格理解错。靠内容把说法写清楚，是他们在做的事。造一堆仓库灌代码，他叫字幕听成 slop cannon，想过，不喜欢。他猜今天的训练数据对「这段本来就是模型写的」还不敏感。

人这边，前向部署工程师今年初大约 4 人，现在大约 24。不是纯外包那种模型。他们跟客户调推理性能，字幕听成 draft models，以及 DM 和 SG lang。本文不改成两个框架的正式名。客户把 CPU 或内存要得过大，他们会去坐下来讲怎么省钱。他也帮着从别的平台迁代码。他不想变成一家服务很重的公司。前向部署的第三项、也是他最看重的一项，是把缺口补上，以后做成产品，做到不再需要一个人坐在旁边。产品经理没有大举招。基础设施上的产品判断要看一到两年后的基础块，避免长出 35 个看起来像、又各差一点点的功能。这种人少。有人从开发者关系或工程里长成了在做这件事的人。

编制是口述，而且对不齐。一处说现在大约 150 名工程师。另一处说大约 200 名员工，工资相对 GPU 只是舍入误差；刚过 200 人，年底也许 250；又说现在已经是 250。过去 12 个月年化大约 4 倍，他认为这个相对速度守不住，会看到文化漂移、工作方式分成小岛、有人去做很边缘的东西。年底也许 250，明年若再按 2.5 到 3 倍，他说很可能到大约 700 人。本文不把这些数收成一张编制表。

他眼下想得最多的三件事：容量，以及拥有还是租、定价和打包、会不会更像新云；下一批基础块，存储还是计算，最好在世界突然需要之前就放在那里；文化。10 到 30 人可以坐在一间屋里感觉到。到了 150、200 往上，新人看不见 CEO 的脸色。邓巴数的故事他觉得有水分，150 到 200 这个量级的问题是真的。

开源模型一换，需求就挪。各家实验室若各自攥着容量，新模型一出需求冲上去，下一家更好的一出又掉下来，同时自己还在做下一版。Modal 这边，今天给某个模型跑着若干千张卡，明天把其中 50% 挪到另一个模型，不必有人下指令，系统就是为这个建的。所以他同意：最好的模型一直在变，推理供给方可以在模型之间重配，因为总需求相当平滑。这是模型公司和推理平台分开存在的结构性理由。他不因此把智能说成已经是大宗商品。类比是泰勒·斯威夫特：出大碟、巡演、赚钱，然后有一年去录音，再出新碟。品牌还在，利润还在。只要实验室能反复交出新模型，训练成本能被模型上的利润盖住，生意可以成立。

他不认为智能已经平台期。能被强化学习高效训练的事，模型已经很强：从写片段到生产级代码，到数学，到网络安全。这些都比较可验证。做饭，或者反馈又散又长的事，他还没看见。他的感觉是，那些地方人还会竞争很久。计算生物和材料他兴奋，因为有环：模型给出预测，再用计算去模拟分子动力学，或者把材料做出来量性质，把智能体放进环里。他是物理背景。

两年后该建什么，他说自己若声称知道，就是妄想。相信的是更好的基础块。客户会把这些块拼成他们没预料到的应用。矩形供给和这条曲线之间的缝，就是这些块要去填的地方。