DeepSeek, China, OpenAI, NVIDIA, xAI, TSMC, Stargate, and AI Megaclusters

00:00

The following is a conversation with Dylan Patel and Nathan Lambert.

以下是与Dylan Patel和Nathan Lambert的对话。

00:04

Dylan runs semi-analysis, a well-respected research and analysis company

Dylan运营着Semi-Analysis，一家备受尊敬的研究分析公司，专注于半导体、GPU、CPU以及AI硬件领域。

00:10

that specializes in semiconductors, GPUs, CPUs, and AI hardware in general.

Nathan是Allen Institute for AI的研究科学家，并撰写了名为Interconnects的精彩AI博客。

00:16

Nathan is a research scientist at the Allen Institute for AI

两人在AI领域的专家、研究人员和工程师中享有高度声誉，备受关注与倾听。

00:21

and is the author of the amazing blog on AI called Interconnects.

就我个人而言，我只是他们俩的粉丝。

00:27

They are both highly respected, read, and listened to

他们在AI领域的专家、研究员和工程师中备受尊敬、被广泛阅读和聆听。

00:30

by the experts, researchers, and engineers in the field of AI.

就我个人而言，我只是他们俩的粉丝。

00:34

And personally, I'm just a fan of the two of them.

借此机会与他们坐下来，把一切摊开来讲。

00:38

So I use the deep-seek moment that shook the AI world a bit

所以我趁DeepSeek那个震动AI圈的时刻，跟他们坐下来把一切摊开聊透。从DeepSeek、OpenAI、Google、xAI、Meta、Anthropic，到Nvidia和台积电，再到美中台关系，以及AI前沿正在发生的所有事。这场对话深入探讨了AI行业许多关键层面。虽然内容确实非常技术性，但我们尽量确保圈外的人也能听懂。

00:43

as an opportunity to sit down with them and lay it all out.

从DeepSeek、OpenAI、Google、xAI、Meta到Anthropic，

00:47

From deep-seek open AI, Google XAI met an anthropic

再到Nvidia和台积电，以及美中台关系，

00:51

to Nvidia and DSMC and to US-China-Taiwan relations

还有AI前沿正在发生的所有其他事情。

00:57

and everything else that is happening at the cutting edge of AI.

这场对话深入探讨了AI行业的许多关键方面。

01:01

This conversation is a deep dive into many critical aspects of the AI industry.

这段对话深入探讨了AI行业的许多关键方面，同时确保圈外人士也能听懂，避开那些废话和浅薄的分析，详细讨论技术原理及其影响。请允许我顺便提一下新发布的OpenAI-03 mini推理模型，它确实紧随其后就出来了。它的能力和成本与我们之前所说的预期相符。OpenAI-03 mini确实是个很棒的模型，但需要说明的是——

01:07

While it does get super technical, we try to make sure

虽然内容确实非常技术化，但我们努力通过那些废话和低分辨率分析，让圈外人也能听懂，同时详细讨论这些东西的工作原理及其影响。请允许我顺便提一下新发布的OpenAI-03 mini-receding模型，它确实是在那之后紧接着推出的。它的能力和成本与我们之前所说的预期相符。OpenAI-03 mini确实是个很棒的模型，但需要说明的是——

01:12

that it's still accessible to folks outside of the AI field

让圈外人也能听懂AI领域的内容，绕过那些废话和粗浅的分析，详细聊聊技术到底怎么运作、会带来什么影响。

01:15

by defining terms, stating important concepts explicitly,

通过定义术语、明确陈述重要概念、拼写缩略词，并始终在多个抽象层次和细节层面之间切换。

01:19

spelling out acronyms, and in general, always moving across the several layers

媒体上关于AI是什么、不是什么，有很多炒作。

01:23

of abstraction and levels of detail.

这个播客的部分目的，就是穿透这些炒作、废话和低分辨率分析，

01:26

There is a lot of hype in the media about what AI is and isn't.

详细讨论技术如何运作以及其影响。

01:32

The purpose of this podcast, in part, is to cut through the hype,

请允许我顺便评论一下新的OpenAI-03 mini-receding模型。

01:36

through the bullshit, and the low-resolution analysis,

另外，请允许我顺便提一下OpenAI新出的O3-mini推理模型——它确实紧接着就发布了。

01:41

and to discuss in detail how stuff works and what the implications are.

它的能力和成本，跟我们之前说的一样，符合预期。

01:46

Let me also if I may comment on the new OpenAI-03 mini-receding model,

O3-mini确实是个好模型，但需要说明的是，它的训练步骤对标的是DeepSeek V3，而让人困惑的是，DeepSeek的基座模型也叫V3。

01:51

the release of which we were anticipating during the conversation,

我们当时在对话中期待的那个发布，后来确实很快就出来了。它的能力和成本跟我们之前说的一致。OpenAI-03 mini 确实是个好模型，但需要指出的是，deep-seek R1 在基准测试上表现相近，价格更便宜，而且它公开了思维链推理过程，而 O3 mini 没有——它只展示推理摘要。另外，R1 是开源权重的，O3 mini 不是。

01:55

and it did indeed come out right after.

而且它确实紧接着就发布了。

01:58

Its capabilities and costs are on par with our expectations as we stated.

它的能力和成本跟我们之前说的预期差不多。

02:04

OpenAI-03 mini is indeed a great model, but it should be stated

OpenAI-03 mini 确实是个很棒的模型，但需要说明的是，

02:09

that deep-seek R1 has similar performance on benchmarks,

那个Deep-Seek R1在基准测试上表现差不多，

02:13

it's still cheaper, and it reveals its chain of thought reasoning,

但它更便宜，而且会展示它的思维链推理过程，

02:17

which O3 mini does not. It only shows a summary of the reasoning.

而O3 mini不会。它只显示一个推理摘要。

02:22

Plus R1 is open weight, and O3 mini is not.

另外R1是开源权重的，O3 mini不是。

02:28

By the way, I got a chance to play with O3 mini,

顺便说一句，我试玩了一下O3 mini，

02:32

and anecdotal vibe check-wise, I felt that O3 mini,

从个人体感来看，我觉得O3 mini，

02:37

specifically O3 mini-high, is better than R1.

特别是O3 mini-high，比R1要好。

02:41

Still, for me personally, I find that Claude Sonna35 is the best model for programming,

不过对我个人来说，编程最好用的模型还是Claude Sonna35，

02:47

except for tricky cases where I will use O1 Pro to brainstorm.

除非遇到复杂情况，我会用O1 Pro来头脑风暴。

02:51

Either way, many more better AI models will come, including reasoning models,

不管怎样，未来还会有更多更好的AI模型出现，包括推理模型，

02:57

both from American and Chinese companies. They will continue to shift the cost curve.

无论是美国公司还是中国公司都会继续推动成本曲线下移。

03:03

But the, quote, deep-seek moment is indeed real. I think it will still be remembered five years

但那个所谓的“deep-seek时刻”确实是真实的，我觉得五年后人们依然会记得它。

03:09

from now as a pivotal event in tech history, due in part to the geopolitical implications,

从现在起，这将成为科技史上的一个关键事件，部分原因在于其地缘政治影响，但也出于其他原因，我们将在本次对话中从多个角度详细探讨。这里是Lex Friedman播客，欢迎支持。请查看描述中的赞助商信息。现在，亲爱的朋友们，有请Dylan Patel和Nathan Lambert。很多人对中国的Deep-Seek AI模型感到好奇，所以我们来梳理一下。Nathan，你能描述一下Deep-Seek V3和Deep-Seek R1R的工作原理以及它们的训练方式吗？我们先看整体框架，再深入细节。好的，Deep-Seek V3是Deep-Seek推出的一个新的mixture of experts transformer语言模型。

03:16

but for other reasons too, as we discuss in detail from many perspectives in this conversation.

不过还有其他原因，我们在这次对话中从多个角度详细讨论了。

03:22

This is the Lex Friedman podcast to support it. Please check out our sponsors in the description,

这里是Lex Friedman的播客，支持一下。请查看简介里的赞助商，

03:27

and now dear friends, here's Dylan Patel, and Nathan Lambert.

现在，亲爱的朋友们，有请Dylan Patel和Nathan Lambert。

03:33

A lot of people are curious to understand China's deep-seek AI models,

很多人很好奇想了解中国的Deep-Seek AI模型。

03:37

so let's lay it out. Nathan, can you describe with deep-seek V3 and deep-seek R1R,

那我们来梳理一下。Nathan，你能讲讲DeepSeek V3和DeepSeek R1是怎么工作的、怎么训练的吗？我们先看整体框架，然后再深入细节。

03:43

how they work, how they're trained? Let's look at the big picture and then we'll zoom in on the details.

嗯，DeepSeek V3是一个新的混合专家模型，基于Transformer架构的语言模型，来自DeepSeek。

03:49

Yeah, deep-seek V3 is a new mixture of experts, transformer language model from deep-seek,

基本上，这是一个开放权重的模型，也是一个指令模型，类似于你在ChatGPT里用的那种。

03:56

who is based in China. They have some new specifics in the model that we'll get into.

这个人base在中国。他们这个模型里有一些新的具体细节，我们待会儿会聊到。基本上，这是一个开放权重的模型，也是一个指令模型，就像你在ChatGPT里用的那种。他们还发布了所谓的基座模型，也就是在应用那些后训练技术之前的版本。现在大多数人用的都是指令模型，各种应用里提供的也是这种。这个模型我记得是在12月26号或者那周发布的，然后几周后，1月20号，Deep-Seek又发布了Deep-Seek R1，这是一个推理模型，真的让这场讨论加速了很多。这个推理模型和Deep-Seek V3有很多重叠的训练步骤，而且有点让人困惑的是，基座模型叫V3。

04:03

Largely, this is an open-weight model, and it's an instruction model like what you would use in

他们还发布了所谓的基座模型，也就是在那些后训练技术之前的版本。

04:09

chat GPT. They also release what is called the base model, which is before these techniques of

现在大多数人用的都是指令模型，各种应用里部署的也是这类模型。

04:14

post-training. Most people use instruction models today, and those are what's served in all sorts

这个模型我记得是在12月26号左右发布的，或者那周，然后几周后，

04:20

of applications. This was released on, I believe, December 26th, or that week, and then weeks later

1月20号，DeepSeek又发布了DeepSeek R1，这是一个推理模型。

04:29

January 20th, deep-seek released deep-seek R1, which is a reasoning model, which

1月20号，Deep-Seek发布了Deep-Seek R1，这是一个推理模型，它的训练步骤是基于Deep-Seek V3。让人困惑的是，你有一个叫V3的基础模型，还有一个推理模型。我觉得现在整个AI行业都在面临这种沟通上的挑战，连OpenAI自己都吐槽自家的命名方式。他们有什么GPT-4o、OpenAI o1，模型类型一大堆，所以我们今天就来拆解一下每个都是什么。这里面有很多训练方面的技术细节，我们会从宏观到具体，逐个过一遍。能聊的东西太多了，但要不先从open weights开始吧。模型是open weights到底意味着什么，以及它有哪些不同的形式？

04:35

really accelerated a lot of this discussion. This reasoning model has a lot of overlapping

这确实大大加速了相关讨论。这个推理模型和Deep-Seek V3有很多重叠的训练步骤，让人困惑的是，你有一个叫V3的基础模型，还有一个推理模型。我觉得现在很多AI行业都在经历这种沟通上的挑战，连OpenAI都拿自己的命名方式开玩笑。他们有GPT 40，有OpenAI 01，模型类型五花八门，所以我们来拆解一下每个都是什么。训练方面有很多技术细节，我们会从宏观到具体逐一梳理，把每个都过一遍。能聊的地方太多了，但也许我们先从open weights说起吧。模型open weights到底是什么意思，以及它有哪些不同的形式？

04:40

training steps to deep-seek V3, and it's confusing that you have a base model called V3,

训练步骤指向了 deep-seek V3，而且让人困惑的是，你有一个叫 V3 的基础模型。

04:46

that you do something to to get a chat model, and then you do some different things to get a

你为了得到一个聊天模型会做一些事情，然后为了得到一个推理模型又会做一些不同的事情。我觉得现在很多AI行业都在经历这种沟通上的挑战——OpenAI自己都吐槽自己的命名方式。他们有GPT 40，有OpenAI 01，还有各种类型的模型，所以我们来拆解一下每个模型到底是什么。训练方面有很多技术细节，我们会从宏观到具体逐一过一遍，每个都聊一聊。这个话题能展开的地方太多了，但也许我们先从open weights开始吧。模型是open weights意味着什么？以及开源整体上有哪些不同的形式？嗯，这个讨论其实已经持续很久了。

04:52

reasoning model. I think a lot of the AI industry is going through this challenge of communications

推理模型。我觉得现在整个AI行业都在经历这种沟通上的挑战，OpenAI自己都吐槽自家的命名方式。他们有GPT 40，有OpenAI 01，模型种类特别多，所以我们来拆解一下每种模型到底是什么。训练方面有很多技术细节，我们会从宏观到具体逐一梳理，把每个都过一遍。能聊的方向太多了，不过要不先聊聊开放权重？模型开放权重到底意味着什么，以及不同的软件许可。有些公司专门设计了特定的许可证。像Llama、Deepseek、Kuan、Mistral这些开放权重模型里的热门名字，都有自己专属的许可证。

04:56

right now where OpenAI makes fun of their own naming schemes. They have GPT 40, they have OpenAI

现在 OpenAI 自己都在吐槽他们的命名方式。他们有 GPT 40，有 OpenAI 01，

05:03

01, and there's a lot of types of models, so we're going to break down what each of them are.

还有很多种类型的模型，所以我们来拆解一下每个模型到底是什么。

05:08

There's a lot of technical specifics on training, and go through them high-level to specific,

训练方面有很多技术细节，我们会从宏观到具体地过一遍，

05:13

and kind of go through each of them. There's so many places we can go here, but maybe let's go

然后逐个分析。这里可以聊的地方太多了，但也许我们先从……开始吧。

05:18

to open weights first. What does it mean for model to be open weights, and what are the different

先说说开放权重。模型开放权重到底是什么意思，以及有哪些不同的形式。

05:21

flavors of open source in general? Yeah, so this discussion has been going on for a long time in

说到开源的不同形式？其实这个讨论已经持续很久了，核心在于模型的使用条款。有些许可证源自开源软件的历史传统，有些则是公司专门设计的。像Llama、Deepseek、Kuan、Mistral这些开放权重模型的热门名字，都有各自专属的许可证。情况很复杂，因为并非所有模型都遵循相同的条款。目前争论的焦点是：什么才算真正的开放权重模型？我们为什么要用这个术语？这词念起来有点拗口，听起来像是"开源AI的灵魂"。开源软件在修改自由、自主使用自由、以及使用限制方面有着深厚的历史积淀。

05:26

AI. It became more important since chat GPT, or more focal since chat GPT at the end of 2022.

AI。自从ChatGPT出现，或者说2022年底ChatGPT成为焦点之后，它就变得更重要了。

05:32

Open weights is the accepted term for when model weights of a language model are available

Open weights（开放权重）是一个公认的术语，指的是语言模型的模型权重可以在互联网上供人下载。这些权重可能有不同的许可证，这实际上就是你可以使用该模型的条件。有些许可证源自历史和开源软件，有些则是公司专门设计的。所有Llama、Deepseek、Kuan、Mistral这些开放权重模型中的热门名字，都有它们自己的一些许可证。

05:38

on the internet for people to download. Those weights can have different licenses, which is effectively

情况很复杂，因为并非所有相同模型都有相同的使用条款。目前争论的焦点在于，什么才算是真正的开放权重模型。我们为什么要用这个术语？它说起来有点拗口，听起来也……

05:44

the terms by which you can use the model. There are licenses that come from history and open source

你可以使用这些模型的条款各不相同。有些许可证源自历史和开源软件，有些则是公司专门设计的。像Llama、Deepseek、Kuan、Mistral这些开源权重领域的知名品牌，都有自己专属的许可证。情况很复杂，因为并非所有同类模型都遵循相同的条款。目前争论的焦点在于：什么才算真正的开源权重模型？我们为什么要用这个术语？这词说起来有点拗口，听起来像是开源AI的灵魂。开源软件有着悠久的历史，强调修改的自由、自主使用的自由，以及对软件使用方式、训练时长和实验速度的诸多限制。但如果没有完全开源，这些就无从谈起。

05:49

software. There are licenses that are designed by companies specifically. All of Lama, Deepseek,

有些公司专门设计了特定的许可证。像Llama、Deepseek、Kuan、Mistral这些开放权重模型里的热门名字，都有自己的许可证。

05:56

Kuan, Mistral, these popular names in open weight models have some of their own licenses.

那什么才算是开放权重的模型？我们为什么要用这个词？这词说起来挺拗口的，听起来像是开源AI的灵魂。开源软件在自由修改、自由拿去用、自由使用限制方面有着丰富的历史，包括你怎么用这个软件、训练要花多久、实验能多快。

06:03

It's complicated because not all the same models have the same terms. The big debate is on

这个问题比较复杂，因为并不是所有模型都用同样的术语。现在大家争论的焦点是：什么才算一个“open weight”模型？我们为什么要用这个词？说起来还挺拗口的，听起来像是开源AI的灵魂。开源软件在自由修改、自由使用、以及使用软件时的各种限制方面有着丰富的历史，包括训练需要多长时间、实验能有多快。如果没有完全开源，你自己也能做，但如果没有数据，复现的成本会高得多得多，代码也是一样。我们也要说明，这可能是前沿模型里比较开放的一个了。在整个光谱里，它大概是最接近完全开源的那一类。

06:09

what makes a model open weight. Why are we saying this term? It's kind of a mouthful. It sounds

如果没有完全开源，你自己也能做，但如果没有数据，复现成本会高得多得多，而且同样。

06:14

close to open source, but it's not the same. There's still a lot of debate on the definition and

接近开源，但又不完全一样。关于开源AI的定义和本质，目前还有很多争论。开源软件在自由修改、自由使用、以及使用限制方面有着丰富的历史，而这对AI意味着什么，还在被定义中。我在艾伦人工智能研究所工作，我们是非营利组织。我们希望让AI对所有人开放，并努力在什么是真正的开源方面起到引领作用。社区里并没有完全达成一致，但对我们来说，这意味着发布训练数据、发布训练代码，同时还要有开放的权重。我们会深入探讨模型的细节。一次又一次，当我们试图更深入地了解这些机制时——

06:20

soul of open source AI. Open source software has a rich history on freedom to modify,

开源AI的灵魂。开源软件有着丰富的传统，强调修改的自由、自主使用的自由，以及在使用软件时不受过多限制的自由，包括训练时长和实验速度。如果没有完全开源，但缺少数据，复制成本将远远更高，前沿模型也是如此。在这个完整的谱系中，最彻底的开源可能更偏向自由，就开源运动而言，这些算是“好人”。Deepseek在传播AI理解方面做得非常出色。他们的论文极其详细地阐述了所做的工作，对全球其他团队而言也是如此。

06:26

freedom to take on your own, freedom for many restrictions on how you would use the software,

可以自由地自行部署，也摆脱了诸多关于软件使用方式的限制，

06:31

and what that means for AI is still being defined. I work at the Allen Institute for AI,

这对AI意味着什么，目前还没有定论。我在艾伦人工智能研究所工作，

06:39

we're a nonprofit. We want to make AI open for everybody and we try to lead on what we think is

我们是非营利机构。我们希望让AI对所有人开放，并努力在真正开源的方向上起到引领作用。

06:44

truly open source. There's not full agreement in the community, but for us that means releasing

社区内部并没有完全达成一致，但对我们来说，开源意味着发布训练数据、发布训练代码，并且像这样开放权重。

06:48

the training data, releasing the training code, and then also having open weights like this.

我们会深入探讨模型的细节。一次又一次，当我们试图更深入地理解时，

06:54

We'll get into the details of the models. Again and again, as we try to get deeper into how the

模型质量的首要决定因素。而很多训练代码则决定了训练需要多长时间，以及你的实验速度有多快。

07:00

models were trained, we will say things like the data processing, data filtering, data quality is

模型训练的时候，我们会说数据处理、数据过滤、数据质量是决定模型质量的第一要素。而大部分训练代码则决定了训练时长和实验迭代的速度。如果没有完全开源的模型，你就拿不到这些数据，很难知道具体细节，或者说复现起来会更困难。我们会讲到Deepseek V3的成本数字，主要是GPU小时数，以及你自己租用这些资源要花多少钱，但如果没有数据，复现成本会远远更高，代码也是一样的情况。另外也要说明，这可能是前沿模型里比较开放的一个了。在整个开源光谱上，它大概算是开源程度最高的那一类。

07:06

the number one determinant of the model quality. Then a lot of the training code is the determinant

如果没有完全开源的模型，无法获取这些数据，就很难知道——或者说更难复现。我们将会——

07:12

on how long it takes to train and how fast your experimentation is. Without fully open source

包括训练所需的时间以及实验迭代的速度。如果没有完全开源，

07:18

models where you have access to this data, it is hard to know, or it's harder to replicate. We'll

对于你能接触到这些数据的模型来说，很难判断，或者说复现起来会更困难。你自己可以尝试复现，但如果没有数据，复现成本会高得多得多，代码也是一样。我们也要指出，这可能是前沿模型里相对更开放的一个。在整个光谱上，它大概是最接近完全开源的——数据和权重都开放，许可证是MIT，或者不同模型之间有些细微差别，但整体上偏向自由。从开源运动的角度看，他们算是“好人”。Deepseek在推动AI认知普及方面做得非常出色，他们的论文对自己所做的工作描述得极其详细，对全球其他团队来说，

07:24

get into cost numbers for Deepseek V3 on mostly GPU hours and how much you could pay to rent

我们来聊聊Deepseek V3的成本数字，主要看GPU小时数，以及你自己租这些资源要花多少钱。但如果没有数据，复制成本会高得多得多，代码也是一样。另外要提一句，这可能是前沿模型里比较开放的一个。在整个开源光谱里，它大概是最彻底的开源——数据、开放权重，许可证是MIT，虽然不同模型有些细微差别，但整体偏向自由。在开源运动里，他们算是“好人”。Deepseek在推动AI知识普及方面做得非常出色，他们的论文极其详细，对全球其他团队来说，

07:31

those yourselves, but without the data, the replication cost is going to be far, far higher and same

但缺少数据的话，复现成本会高得多得多，前沿模型也是如此。

07:36

codes for the code. We should also say that this is probably one of the more open models

代码归代码。我们还得说，这可能是前沿模型里比较开放的一个。在整个光谱上，如果说最彻底的开源模型各有不同，但就开源运动而言，它偏向自由派，这些算是“好人”。Deepseek在传播AI理解方面做得非常出色，他们的论文极其详细地说明了所做的一切。对全球其他团队来说，这实际上意味着没有下游商业使用限制，也没有使用场景限制——太棒了。我觉得最接近的同行是像Llama这样的，你拿到权重，还有一份技术报告，而Llama的技术报告非常好，是阅读量最高的PDF之一。

07:42

out of the frontier models. In this full spectrum, where probably the fullest open source,

在这个完整的光谱中，最彻底的开源模型，

07:48

like you said, open code, open data, open weights, this is not open code, this is probably not open

就像你说的，开放代码、开放数据、开放权重——但这次既不是开放代码，大概率也不是开放数据，只是开放了权重，而且用的是MIT许可证。不同模型之间确实有些细微差别，但整体上偏向自由。从开源运动的角度看，他们算是“好人”。DeepSeek在推动AI知识普及方面做得非常出色。他们的论文极其详细地说明了每一步操作，对全球其他团队来说，在改进自身训练技术方面非常有实操性。我们后面还会聊到许可证的问题。DeepSeek R1模型的许可证非常宽松，叫MIT许可证，实际上意味着下游商业使用没有任何限制，也没有使用场景的限制。

07:58

data and this is open weights and the licensing is a MIT license or there's some nuance in the

数据和这个，是开放权重，许可证是MIT许可证，或者不同模型之间有些细微差别，但整体偏向免费。从开源运动的角度看，他们算是“好人”。Deepseek在传播AI理解方面做了非常出色的工作。他们的论文极其详细地说明了他们做了什么，对全球其他团队来说，这意味着下游商业使用没有限制，用例也没有限制，非常棒。我觉得最接近的同行是像Llama这样的，你有权重，还有一份技术报告。Llama的技术报告非常好，是去年阅读量最高的PDF之一，也就是Llama 3的论文。但在某些方面，它的可操作性稍差一些，内容也更少。

08:07

different models but it's towards the free, in terms of the open source movement, these are

虽然各有不同，但更偏向自由——就开源运动而言，它们算是“好人”。

08:12

kind of the good guys. Deepseek is doing fantastic work for disseminating understanding of AI.

Deepseek 在推动AI认知普及方面做得非常出色。

08:18

Their papers are extremely detailed in what they do and for other teams around the world,

他们的论文极其详细地阐述了所做的工作，对全球其他团队来说，

08:25

they're very actionable in terms of improving your own training techniques and we'll talk about

它们在改进你自己的训练技巧方面非常实用，我们还会再聊聊许可证的问题。Deepseek R1 模型采用了一个非常宽松的许可证，叫做 MIT 许可证，这意味着在商业使用上没有任何下游限制，也没有使用场景的限制，非常棒。我觉得最接近的同类产品是像 Llama 这样的模型，你拿到权重，还有一份技术报告，Llama 的技术报告写得很好，是去年阅读量最高的 PDF 之一，也就是 Llama 3 论文，但在某些方面它稍微没那么实用，训练细节更少，图表也更少，而且 Llama 3 的许可证比 MIT 更严格。至于 Deepseek 的自定义许可证和 Llama 许可证之间，我们可以深入探讨这个复杂的问题。

08:32

licenses more. The Deepseek R1 model has a very permissive license, it's called the MIT license

许可证方面更宽松。Deepseek R1 模型采用了一个非常宽松的许可证，叫做 MIT 许可证，这意味着它对商业使用没有任何下游限制，也没有使用场景的限制，非常棒。我觉得最接近的同类产品是像 Llama 这样的模型，你拿到权重，还有一份技术报告。Llama 的技术报告写得很好，是去年阅读量最高的 PDF 之一，也就是 Llama 3 的论文。但某种程度上，它的可操作性稍差一些，训练细节不够多，图表也比较少，而且 Llama 3 的许可证比 MIT 更严格。在 Deepseek 的自定义许可证和 Llama 的许可证之间，我们可以深入探讨一下你提到的“开源”问题——关键在于有多少细节被公开了，所以你到底有多开放。

08:38

that effectively means there's no downstream restrictions on commercial use, there's no use case

这实际上意味着在商业使用上没有下游限制，也没有使用场景的限制。

08:43

restrictions, you can use the outputs from the models to create synthetic data and this is all

限制方面，你可以用模型的输出来生成合成数据，这完全没问题。我觉得最接近的对比对象是像Llama这样的模型，你拿到权重，还有一份技术报告，而且Llama的技术报告非常出色，是去年阅读量最高的PDF之一，也就是Llama 3的论文。但某种程度上，它的可操作性稍弱一些，训练细节更少，图表也更少，等等。而且Llama 3的许可证比MIT协议更严格。至于DeepSeek的自定义许可证和Llama许可证之间的比较，我们可以深入探讨这个复杂问题。我觉得在具体讨论之前，得先确认我们是否真的想钻这个许可证的牛角尖。是啊，我的意思是，应该指出的是，DeepSeek带来的一个影响是它施加了压力。

08:49

fantastic. I think the closest peer is something like Lama, where you have the weights and you have

太棒了。我认为最接近的同类产品是像Llama这样的，你拥有权重，还有一份技术报告，而Llama的技术报告非常出色，是阅读量最高的PDF之一，涵盖了多个层面，比如他们如何实现高效训练，这与目前大多数语言模型的使用方式不同——目前主要是通过API来使用。

08:54

a technical report and the technical report is very good for Lama, one of the most read PDFs of

能解释一下混淆的可能性吗？是的，首先我非常理解很多人会对这两个模型名称感到困惑，所以我认为最好的理解方式是：

08:59

the year, last year is the Lama 3 paper but in some ways it's slightly less actionable, it has less

去年是Llama 3的论文，但从某些角度来看，它的可操作性稍弱一些，内容也没那么深入。

09:04

details on the training specifics, less plots and so on and the Lama 3 license is more restrictive than

关于训练的具体细节，图表少一些，而Llama 3的许可证比MIT更严格。然后，在Deepseek的自定义许可证和Llama许可证之间，我们可以深入探讨这个完整的话题——你提到的“开源”，其实取决于有多少细节被公开，所以你到底有多开放？他们是含糊其辞，还是真的有具体内容？而Deepseek做得好的地方之一，就是他们公开了很多细节。是的，尤其是在Deepseek V3，也就是他们的预训练论文里，他们非常清楚地表明，他们在技术栈上进行了多层次的干预。例如，为了实现高效训练，他们的做法与目前大多数语言模型的实际使用方式（主要通过API）截然不同。

09:12

MIT and then between the Deepseek custom license and the Lama license, we can get into this whole rabbit

在Deepseek的自定义许可证和Llama的许可证之间，我们可以深入探讨这个问题。

09:17

hole. I think we'll make sure we want to go down the license around a hole before we do specifics.

嗯，我觉得在讨论具体细节之前，我们得先搞清楚我们想围绕这个许可问题走到哪一步。

09:21

Yeah and I mean so it should be stated that one of the implications that Deepseek puts pressure

对，而且我想说的是，Deepseek带来的一个压力点在于，你提到的开源程度，其实很大程度上取决于他们公开了多少细节，也就是你对代码背后的思路有多开放，比如技术报告写得怎么样？是含糊其辞，还是真的有实质内容？而Deepseek做得好的地方之一，就是他们公开了很多细节。没错，尤其是在Deepseek V3那篇预训练论文里，他们非常清楚地说明了他们在技术栈上做了多层次的干预，比如为了实现高效训练，他们……

09:26

on Lama and everybody else, on OpenAI to push towards open source and that's the other side of

关于Llama和其他所有公司，包括OpenAI，都在推动开源方向——你提到的开源另一面是：有多少细节被公开？也就是说，你对代码背后的洞见有多开放？比如技术报告的质量如何？它们是含糊其辞，还是包含实际细节？这正是Deepseek做得好的地方之一，他们公开了大量细节。是的，尤其是在Deepseek V3，也就是他们的预训练论文中，他们非常清楚地表明，他们在技术栈的多个不同层面进行了干预。例如，为了实现高效训练，他们对Nvidia芯片的Cuda层或更低层级做了修改。我自己从未在那里工作过。

09:32

open source that you mentioned is how much is published in detail about it, so how open are you

你提到的开源，关键在于有多少细节被公开了，所以你到底有多开放？

09:38

with the sort of the insights behind the code, so like how good is the technical reports? Are

关于代码背后的那些洞见，比如技术报告的质量到底怎么样？它们是泛泛而谈，还是真有干货？Deepseek 做得好的地方之一，就是他们公开了很多细节。没错，尤其是在 Deepseek V3 那篇预训练论文里，他们非常清楚地说明了在技术栈的多个层面进行了干预。举个例子，为了实现高效训练，他们的做法和现在大多数语言模型的使用方式很不一样——现在大家主要通过 API 调用，把你的 prompt 发给某些公司运营的 GPU，这些公司对于你的数据如何存储、是否用于训练未来模型，会有不同的分发策略和政策。

09:45

they hand wavy or is there actual details in there and that's one of the things that Deepseek did

他们是含糊其辞，还是真的有实际细节在里面？而Deepseek做得好的地方之一，就是他们公开了很多细节。

09:50

well is they published a lot of the details. Yeah especially in the Deepseek V3 which is their

是的，尤其是在Deepseek V3，也就是他们的预训练论文里，他们非常清楚地表明，他们在技术栈的多个不同层面进行了干预。

09:54

pre-training paper, they were very clear that they are doing interventions on the technical stack

例如，为了实现高效训练，他们的做法和现在大多数语言模型的实际使用方式——主要是通过API——很不一样。

10:00

that go at many different levels, for example on their to get highly efficient training, they're

它会帮你补全句子，但用起来会比ChatGPT更困难，而DeepSeek则……

10:06

making modifications at or below the Cuda layer for Nvidia chips. I have never worked there myself

对Nvidia芯片在Cuda层或以下进行修改。我自己没在那里工作过

10:13

and there are a few people in the world that do that very well and some of them are at Deepseek

世界上有少数人能把这件事做得非常好，其中一些就在Deepseek。

10:18

and these types of people are at Deepseek and leading American frontier labs but there are not many

这类人才既在Deepseek，也在美国的前沿实验室，但数量并不多。

10:24

places to help people understand the other implication of open weights, just you know there's a

为了帮大家理解open weights的另一个影响——你知道我们经常绕回这个话题——就是有人担心中国这个国家可能有意窃取美国数据、侵犯美国公民隐私。那么关于open weights，我们能说些什么来帮助理解这些weights在窃取数据方面到底能做什么呢？

10:30

topical return to often here so there's a fear that China the nation might have interest in

嗯，这些你可以从Hugging Face或其他平台下载的weights，其实是很大的数字矩阵。你可以把它们下载到自家一台没有联网的电脑上。

10:41

stealing American data, violating privacy of American citizens, what can we say about open

窃取美国数据，侵犯美国公民隐私，关于开放权重我们能说些什么，来帮助我们理解这些权重在窃取人们数据方面能做什么

10:46

weights to help us understand what the weights are able to do in terms of stealing people's data.

是的，这些你可以从Hugging Face或其他平台下载的权重是非常大的数字矩阵。你可以把它们下载到自家没有联网的电脑上

10:54

Yeah so these weights that you can download from hugging face or other platforms are very big

这与目前很多语言模型的实际使用方式不同，现在主要通过API进行

10:59

matrices of numbers. You can download them to a computer in your own house that has no internet

你把你的prompt发送给某些公司运行的GPU，这些公司会有不同的数据存储策略和政策，比如你的数据是否会被用于训练未来的模型

11:04

and you can run this model and you're totally control of your data. That is something that is

而且你可以运行这个模型，完全掌控自己的数据。这一点和目前大多数语言模型的使用方式不同——现在大家主要通过API来用，你把提示词发送到某些公司运营的GPU上，这些公司对于你的数据如何存储、是否用于训练未来模型、存在哪里、是否加密等等，都有不同的规定和策略。而开放权重意味着，你的数据命运掌握在自己手里，这和开源精神的核心是紧密相连的。所以，不是模型本身会偷你的数据，而是托管模型的平台——比如你用Deepseek的App，那可能是中国公司；或者你用Proplexity、OpenAI，你都是在把自己的数据托付给它们。

11:11

different than how a lot of language model usage is actually done today which is mostly through APIs

这与如今大多数语言模型主要通过API使用的方式截然不同。

11:15

where you send your prompt to GPUs run by certain companies and these companies will have different

你把提示词发送给某些公司运营的GPU，这些公司对于你的数据如何存储、是否用于训练未来模型，会有不同的分发规则和政策。数据泄露不是模型本身在偷，而是托管方的问题——比如你用Deepseek App，托管方可能在中国；或者你用Proplexity、OpenAI这些公司，本质上都是在信任它们处理你的数据。好，回到基础问题：Deep Seek V3和Deep Seek R1到底有什么区别？我们能不能把容易混淆的地方理清楚？可以，首先我非常理解很多人被这两个模型名字搞糊涂，所以我觉得最好的理解方式是——

11:20

distributions and policies on how your data is stored if it is used to train future models where it

关于你的数据如何存储、是否用于训练未来模型的分发策略和政策，

11:25

is stored if it is encrypted and so on. So the open weights are you have your fate of data in your

如果数据是加密存储的，那情况又不一样了。所以开源权重意味着你对自己的数据有掌控权，这跟开源精神的核心是紧密相连的。其实不是模型本身在偷你的数据，而是托管模型的那一方——比如你用Deepseek的App，那可能是中国那边；或者你用Proplexity，又或者是OpenAI这些公司。你信任的是他们，但模型本身并不会偷数据，偷数据的是托管方。好了，回到基础问题：Deep Seek V3和Deep Seek R1到底有什么区别？我们能不能试着理清容易混淆的地方？可以。首先，我非常理解很多人会被这两个模型名字搞糊涂。我觉得最好的理解方式是——

11:31

own hands and that is something that is deeply connected to the soul of open source. So it's not the

亲手参与，这正是开源精神的灵魂所在。所以，并不是模型在窃取你的数据，而是托管模型的一方——比如你用Deepseek的app，那可能是中国；或者你用Proplexity，你是在信任它们处理你的数据；又或者OpenAI这些公司。但模型本身并不会偷数据，偷数据的是托管方。好了，回到基础问题：Deep Seek V3和Deep Seek R1到底有什么区别？我们能不能试着理清这个容易混淆的点？好的，首先我非常理解很多人会被这两个模型名字搞糊涂。我觉得最好的理解方式是：预测大量互联网文本时，你其实是在预测下一个token。

11:37

model that steals your data, it's covers hosting the model which could be China if you're using the Deepseek

模型本身并不会窃取你的数据，问题出在托管方——比如你用Deepseek应用，数据可能在中国；或者用Proplexity、OpenAI，你也是在信任这些公司。但模型本身不负责偷数据，是托管方的问题。好，回到基础问题：

11:43

app or it could be proplexity. You know you're trusting them with your data or open AI you're

DeepSeek V3和DeepSeek R1到底有什么区别？我们能不能把容易混淆的地方理清楚？

11:50

trusting them with your data and some of these are American companies some of these are Chinese

把数据托付给它们，有些是美国公司，有些是中国公司，但模型本身不会偷数据，偷数据的是托管方。好，那回到基础问题，Deep Seek V3和Deep Seek R1到底有什么区别？我们能不能试着理清这个容易混淆的点？可以，我完全理解很多人会被这两个模型名字搞糊涂。我觉得最好的理解方式是：训练语言模型时，有一个阶段叫pre-training，就是预测大量互联网文本，试图预测下一个token。关于这些新的Deep Seek模型，要知道它们确实做了这种大规模互联网训练。

11:53

companies but the model itself is not doing the stealing it's the host. Alright so back to the basics

可以。首先，我非常理解很多人对这两个模型名字感到困惑。我觉得最好的理解方式是：

12:02

what's the difference between deep seek V3 and deep seek R1 can we try to like

它帮你补全句子，但用起来会比ChatGPT更费劲。而DeepSeek这边呢——

12:08

lay out the confusion potential? Yes so for one I have very understanding of many people

先说说容易混淆的地方？是的，首先我非常理解很多人

12:14

being confused by these two model names so I would say the best way to think about this is that

会对这两个模型名字感到困惑。所以我觉得最好的理解方式是

12:19

when training a language model you have what is called pre-training which is when you're

训练语言模型时，首先会进行所谓的预训练，也就是通过大量互联网文本数据来预测下一个token。关于这些新的Deep Seek模型，你需要知道的是，它们同样基于这种大规模互联网数据训练，能帮你自动补全句子，但用起来会比Chat GPT更棘手。而Deep Seek的做法是，在预训练之后采用了两种不同的后训练方案，让模型具备特定的理想行为。那么，从过去几年AI领域的常规模型来看，所谓的指令模型、聊天模型、所谓对齐模型、有用模型——这些说法有很多——其实都属于更标准的后训练范畴，比如指令微调、强化学习（RLHF）这类技术。

12:22

predicting the large amounts of mostly internet text you're trying to predict the next token

预测大量互联网文本时，你其实是在预测下一个token，帮你把句子补完。这用起来会比ChatGPT更麻烦。而DeepSeek的做法是，他们做了两种不同的post-training（后训练）方案，让模型具备特定的理想行为。那么，从过去几年AI领域的常规模型来看，什么是instruct model（指令模型）、chat model（聊天模型）、所谓的aligned model（对齐模型）、helpful model（有用模型）？有很多种说法。这其实更接近标准的post-training，包括instruction tuning（指令微调）和reinforcement（强化学习）。这也和OpenAI的o1类似，就是大家听过的另一个reasoning model（推理模型）。不过我得更详细地拆解一下R1的训练过程，因为首先，我们有一个……

12:29

and what to know about these new deep seek models is that they do this internet large scale

关于这些新的Deep Seek模型，你需要知道的是，它们会大规模地在互联网上帮你把句子补全，用起来会比Chat GPT更麻烦。而Deep Seek所做的，是采用了两种不同的后训练方案，让模型具备特定的理想行为。那么，从过去几年AI领域的常规角度来看，所谓的“更正常的模型”——也就是指令模型、聊天模型、所谓的对齐模型、乐于助人的模型，有很多种叫法——这种更标准的后训练，包括指令微调、强化学习等等。这也类似于OpenAI的o1，也就是大家听过的另一个推理模型。至于R1的训练细节，我之后会更详细地拆解，因为一方面我们……

12:34

pre-training once to get what is called deep seek V3 base this is a base model it's just going to

先做一次预训练，得到所谓的DeepSeek V3基础版，这是个基座模型，它只会帮你把句子续写下去，用起来会比ChatGPT难操作。然后DeepSeek做了两套不同的后训练方案，让模型具备特定的理想行为。那么，从过去几年AI领域的常规角度来看，更常见的模型是指令模型、对话模型、所谓的“对齐”模型、有用模型——这些说法有很多种。这种更标准的后训练包括指令微调、基于人类反馈的强化学习，我们后面会详细解释这些术语。这就是他们用来打造DeepSeek V3模型的方法，这也是第一个发布的模型，而且它的发布水平非常高。

12:41

finish your sentences for you it's going to be harder to work with than chat GPT and then what deep seek

帮你把话说完——它用起来会比Chat GPT更麻烦。而Deep Seek

12:47

did is they've done two different post-training regimes to make the models have specific desirable

他们做了两种不同的后训练方案，让模型具备特定的理想行为。那么，从过去几年AI发展的常规角度来看，更标准的模型——比如指令模型、聊天模型、所谓的“对齐”模型、有帮助的模型——有很多说法来描述它，这属于更常规的后训练，包括指令微调、强化学习等。这也类似于OpenAI的o1，就是大家听过的另一个推理模型。而关于R1的训练，我得更详细地拆解一下，因为首先他们转向了自己的爬虫，DeepSeek很可能也这么做了，大多数前沿实验室都是这样。然后你还可以看看这些GPU用了多少小时，基本上就是这么多。

12:54

behaviors. So what is the more normal model in terms of the last few years of AI and instruct

行为。那么在过去几年的AI发展中，更常规的模型是什么？指令模型、聊天模型、所谓的对齐模型、有帮助的模型——有很多种描述方式。这更接近标准的post-training阶段，包括instruction tuning和reinforcement learning from human feedback。这也类似于OpenAI的o1，也就是大家听过的另一个reasoning模型。不过我需要更详细地拆解R1的训练过程，因为首先他们转向了自己的爬虫，DeepSeek很可能也这么做了，大多数前沿实验室都是如此。然后你还可以看看这些GPU被使用了多少小时，基本上是一个主要指标。最后阶段则更新很多，我们会链接到具体做法。

13:00

model a chat model a quote unquote aligned model a helpful model there are many ways to describe

模型、聊天模型、所谓的对齐模型、有用模型，有很多种叫法

13:04

this is more standard post-training so this is things like instruction tuning reinforcement

这更像是标准的后训练阶段，也就是指令微调、强化

13:10

learning from human feedback we'll get into some of these words and this is what they did to create

从人类反馈中学习（learning from human feedback），我们会讲到这些术语，这就是他们用来创建DeepSeek V3模型的方法，这是第一个发布的模型，而且是一个非常高质量的发布。

13:15

the deep seek V3 model this was the first model to be released and it is very high-release

人们听说过的新的推理训练（reasoning training）被用来创建名为DeepSeek R1的模型，这个对话中的“R”有助于推理的 grounding，这个名字也和人们听说的另一个推理模型OpenAI的o1类似。

13:22

performance it's competitive with GPT4 llama 405b so on and then when this release was happening we

性能上它跟GPT-4、Llama 405B这些模型不相上下，然后这次发布的时候，我们

13:30

don't know their exact timeline or soon after they were finishing the training of a different training

不清楚他们的具体时间线，或者就在那之后不久，他们正在完成另一个训练流程——基于我之前提到的同一个next token prediction基础模型，但采用了不同的训练方式。这时候，大家听说的那个新的reasoning训练就登场了，用来打造那个叫DeepSeek R1的模型。这个对话里的“R”很适合用来指代reasoning，而且这个名字也跟OpenAI的o1很像，o1就是大家听说的另一个reasoning模型。

13:35

process from this same next token prediction base model that I talked about which is when this

不过我得把R1的训练过程拆开细讲，因为一方面我们有论文详细说明了它，另一方面它对AI社区来说是一套新得多的技术，所以这要复杂得多。

13:42

new reasoning training that people have heard about comes in in order to create the model that

我需要更详细地拆解R1的训练过程，因为一方面我们有相关的论文，另一方面这对AI社区来说是一套更新的技术，所以它非常……

13:46

is called deep seek R1 the R through this conversation is good for grounding for reasoning and the name

还有什么是后训练（post-training），以及后训练这个总称下有哪些不同的分支。

13:52

is also similar to open a eyes oh one which is the other reasoning model that people have heard about

这也类似于OpenAI的o1，就是大家听过的另一个推理模型

13:57

and while I'll have to break down the training for R1 in more detail because for one we have a

不过我得更详细地拆解R1的训练过程，因为首先他们

14:02

paper detailing it but also is a far newer set of techniques for the AI community so it's a much

详细阐述这篇论文，但同时也是AI社区一套全新的技术体系，所以它非常前沿。

14:09

more rapidly evolving area of research maybe we should also say the big two categories of training

更快速演进的研究领域，或许我们该提一下训练的两大类别——预训练和后训练，这些是人们常用的总称。那么什么是预训练？什么是后训练？后训练这个总称下又有哪些不同的分支？

14:15

of pre-training and post-training these umbrella terms that people use so what is pre-training

对，预训练——我用一些同样能准确传达意思的词来说——就是做所谓的自回归预测，预测一系列文档中的下一个token。标准做法是处理数万亿个token，所以这是海量数据，大部分是从网络上抓取的。DeepSeek早期的一些论文提到，他们的训练数据经过数学蒸馏——我还不该用这个词——但其实是来自Common Crawl。

14:22

and what is post-training and what are the different flavors of things underneath post-training umbrella

那么什么是后训练，以及后训练这个总称下包含哪些不同的技术分支？

14:27

yeah so pre-training I'm using some of the same words that really get the message across is

嗯，预训练阶段，我用一些同样的词来传达核心意思就是——你在做所谓的自回归预测，也就是预测一系列文档中的下一个token。标准做法是处理数万亿个token，所以数据量非常庞大，大部分是从网络上抓取的。DeepSeek早期的论文里提到，他们的训练数据经过数学蒸馏——我还不该用这个词——但确实是从Common Crawl抓取的。Common Crawl是一个公开维护的爬虫网站。对，其他科技公司后来都转向了自己的爬虫，DeepSeek很可能也这么做了，大多数前沿实验室都是如此。但这种数据是大家可以入门用的，你只需要做预测就行。

14:31

you're doing what is called auto regressive prediction to predict the next token in a series of

你正在做所谓的自回归预测，也就是预测一系列文档中的下一个词元。

14:36

documents this is done over standard practice is trillions of tokens so this is a ton of data

这个过程的标准做法是使用数万亿个词元，所以数据量非常庞大。

14:44

that is mostly scraped from the web and some of deep seeks earlier papers they talk about their

这些数据大部分是从网络上抓取的，DeepSeek早期的几篇论文提到过，他们的训练数据经过数学蒸馏——我还不该用这个词——但确实是从Common Crawl中提取的。

14:49

training data being distilled for math I shouldn't use this word yet but taken from common crawl

Common Crawl是一个公开维护的爬虫网站。是的，其他科技公司后来都转向了自己的爬虫，DeepSeek很可能也这么做了，大多数前沿实验室都是如此。

14:56

and that's in public access that anyone listening to this could go download data from the common

这些数据是公开可访问的，任何收听本期节目的人都可以去Common Crawl网站下载数据。这是一个公开维护的爬虫。后来其他科技公司逐渐转向使用自己的爬虫，DeepSeek很可能也这么做了，大多数前沿实验室也是如此。但这种数据是人们可以入门使用的。你只是在预测一系列文档中的文本，但这可以扩展到非常高效的程度。在AI训练中，有很多数字被频繁提及，比如使用了多少次浮点运算（FLOPs），你也可以查看这些GPU使用了多少小时。这基本上就是一个损失函数，被应用到极其庞大的计算量中——你只需要搭建好中继系统。

15:01

crawl website this is a crawler that is maintained publicly yes other tech companies eventually

爬取网站，这是一个公开维护的爬虫，其他科技公司最终也会转向自己的爬虫，DeepSeek 很可能也这么做了，大多数前沿实验室都是这样做的。然后你还可以看看这些GPU被使用了多少小时，基本上就是把一个损失函数应用到极大的计算量上，你只需要设置好中继。实际上，这个过程在如何出现或演变，以及你会使用哪些不同类型的训练损失方面，要复杂得多。我认为很多技术都源于自然语言处理领域的文献。最古老的技术至今仍在使用，叫做指令微调，或者也称为监督式微调，这些缩写词是……

15:06

shift to their own crawler and deep seek likely has done this as well as most frontier labs do

转向了自己的爬虫，而Deep Seek很可能也这么做了，大多数前沿实验室都是如此

15:11

but this sort of data is something that people can get started with and you're just predicting

但这种数据是人们可以上手开始使用的，你只是在做预测。然后你还可以看看这些GPU被使用了多少小时，基本上就是用一个损失函数，在极大的计算量下运行，你只需要设置好中继。实际上，这个过程在如何出现或演变，以及你会使用哪些不同类型的训练损失函数方面，要复杂得多。我认为很多技术都源于自然语言处理领域的文献。其中最早、至今仍在使用的一种技术，叫做指令微调，也被称为监督式微调。这些缩写词会……偏好微调是一个广义术语，源自强化学习。

15:15

text in a series of documents this is but can be scaled to be very efficient and there's a lot of

在一系列文档中，这个流程可以规模化并变得非常高效。AI训练中经常提到各种数字，比如用了多少次浮点运算（flops），或者这些GPU跑了多少小时。本质上，它就是把一个loss function应用到巨大的算力消耗上——你只需要设置好relay就行。

15:24

numbers that are thrown around in AI training like how many floating point operations or flops are

但这个过程在如何涌现或演变，以及你会使用哪些不同类型的training losses方面，其实要复杂得多。我认为很多技术都根植于自然语言处理领域的文献。其中一种最古老、至今仍在使用的技术，叫做instruction tuning，也被称为supervised fine tuning。这些缩写术语

15:28

used and then you can also look at how many hours of these GPUs that are used and it's largely one

使用后，你还可以查看这些GPU被使用了多少小时，其中大部分用于

15:36

loss function taken to a very large amount of compute usage you just you set up relay

损失函数被应用到非常大的计算量中，你只需要设置好中继就行。

15:44

efficient systems and then at the end of that you have the space model and pre-training is where

高效系统，最后是空间模型，而预训练阶段在流程如何涌现或演变以及你会用到哪些不同类型的训练损失函数方面，复杂度要高得多。我认为很多技术都根植于自然语言处理文献中，最古老且至今仍在使用的技术叫做指令微调，或者也叫监督微调，这些缩写就是IFT或SFT，大家经常混着用，我大概也会这样。这种技术就是给模型添加一种格式，让它知道如何接收类似“给我讲讲罗马帝国的历史”这样的问题，或者某种类型的问题，你会看到。

15:49

there is a lot more of complexity in terms of how the process is emerging or evolving and the

这个过程在如何涌现或演变方面要复杂得多，而且你会用到不同类型的训练损失。我认为这很多技术都源于自然语言处理文献。

15:57

different types of training losses that you will use I think this is a lot of techniques grounded

最古老且至今仍在使用的技术叫做指令微调，或者也叫监督式微调，这些缩写术语会涉及。

16:03

in the natural language processing literature the oldest technique which is still used today

微调以符合人类偏好，而最后阶段则更新得多，并且会关联到R1和这些推理模型中的做法。我觉得OpenAI为此起了个名字，他们在秋天推出了这个新API。

16:07

is something called instruction tuning or also known as supervised fine tuning these acronyms will

我们可以深入探讨，但微调语言模型让它们能生成答案，然后……

16:13

be IFT or SFT that people really go back and forth throughout them and I will probably do the same

无论是IFT还是SFT，大家在这些方法之间反复争论，我可能也会这样。

16:19

which is where you add this formatting to the model where it knows to take a question that is like

这个阶段就是给模型添加格式，让它知道如何接收类似“给我讲讲罗马帝国的历史”这样的问题，你会看到那种提问方式。

16:26

explain the history of the Roman Empire to me and or something you'll sort of question you'll see

这种格式的核心就体现在指令微调阶段，然后还有另外两类损失函数现在被广泛使用。

16:32

on reddit or stack overflow and then the model will respond in a information dense but presentable

在 Reddit 或 Stack Overflow 上提问，模型就会以信息密集但呈现得体的方式回应。这种格式化的核心在于指令微调阶段。而如今还有另外两类损失函数被广泛使用，其中一类我称之为偏好微调。偏好微调是一个广义术语，源自基于人类反馈的强化学习，也就是 RLHF。这种基于人类反馈的强化学习被认为是帮助 ChatGPT 实现突破的关键技术。它的作用是让模型生成的回答——比如像 Reddit 上那些格式工整的回复——更符合人类喜欢阅读的风格。实现方式是先收集真实人类对回答的成对偏好数据，而现在也开始用 AI 来辅助完成。

16:38

manner the core of that formatting is in this instruction tuning phase and then there's two other

其中一类我归类为偏好微调。偏好微调是一个广义术语，源自基于人类反馈的强化学习，也就是RLHF。

16:43

categories of loss functions that are being used today one I will classify as preference fine

这种基于人类反馈的强化学习被认为是帮助ChatGPT取得突破的关键技术，它是一种让模型输出更优回答的方法。

16:48

tuning preference fine tuning is a generalized term for what came out of reinforcement learning

tuning preference fine tuning 是一个广义术语，源自 reinforcement learning 的技术

16:54

from human feedback which is RLHF this reinforcement learning from human feedback is credited as

来自人类反馈的强化学习，也就是RLHF，这种基于人类反馈的强化学习被公认为是帮助ChatGPT取得突破的技术。它通过收集真实人类在现实世界中给出的成对偏好数据来开始，现在AI会在好答案和坏答案之间建立一个损失函数，模型通过学习来掌握这些趋势。有不同的实现方式，比如你可以用奖励模型，也可以用直接对齐算法，有很多非常具体的方法可以尝试，但所有这些的核心都是针对人类偏好进行微调。而最后一个阶段则更新一些，我们会联系到R1和这些推理模型中所做的事情——我认为OpenAI给这个起了个名字，他们在秋天推出了一个新的API。

17:01

the technique that helped chat GPT break through it is a technique to make the responses that are

正是这项技术帮助 chat GPT 实现了突破，它通过收集真实人类提供的 pairwise preferences 来优化回答

17:08

nicely formatted like these reddit answers more in tune with what a human would like to read this is

像这些Reddit回答一样排版清晰，更符合人类阅读习惯。这是通过从真实世界中收集人类对答案的成对偏好开始的，现在AI会在好答案和坏答案之间计算损失函数，模型学会捕捉这些趋势。有不同的实现方式，比如你可以用奖励模型，也可以用直接对齐算法，有很多非常具体的方法可以尝试，但所有这些都围绕根据人类偏好进行fine-tuning。最后阶段则更新，我们会链接到R1和这些推理模型的做法——我认为OpenAI为此命名了，他们在秋天推出了一个新API，叫做reinforcement fine-tuning API。这个思路是，你利用这些技术来...

17:14

done by collecting pairwise preferences from actual humans out in the world to start and now AIs

一开始是用人类标注的好答案和坏答案之间的 loss function，让模型学会捕捉这些趋势

17:20

are also labeling this data and we'll get into those trade-offs and you have this kind of contrastive

也在标注这些数据，我们稍后会讨论这些权衡。你有一个对比损失函数，区分好答案和坏答案，模型通过学习来捕捉这些趋势。有不同的实现方式，比如你可以用reward models，也可以用direct alignment algorithms，有很多非常具体的方法可以尝试，但所有这些都围绕着一个核心：针对人类偏好进行fine tuning。而最后一个阶段更新，我们会链接到R1和这些推理模型的做法——我认为OpenAI在去年秋天为这个新API取了个名字，叫做reinforcement fine tuning API。这个思路是利用reinforcement learning的技术，而reinforcement learning本身是AI的一个完整框架，背后有深厚的文献积累，这里简单总结一下。

17:26

loss function between a good answer and a bad answer and the model learns to pick up these trends

有不同的实现方式，比如你可以用 reward models，也可以用 direct alignment algorithms，有很多非常具体的方法

17:30

there's different implementation ways you have things called reward models you could have direct

但所有这些都围绕 fine tuning to human preferences，而最后阶段更新，我们会联系到 R1 和这些 reasoning models 的做法

17:35

alignment algorithms there's a lot of really specific things you can do but all of this is about

我认为 OpenAI 给这个起了名字，他们在秋天推出了这个新 API

17:40

fine tuning to human preferences and the final stage is much newer and we'll link to what is done

针对人类偏好的微调，而最后阶段则更新得多，我们会链接到具体做法

17:47

in R1 and these reasoning models is I think open AIs named for this they had this new API in the fall

在R1和这些推理模型上，我觉得OpenAI给这个起了个名字，他们秋天的时候推出了这个新API。

17:53

which they called the reinforcement fine tuning API this is the idea that you use the techniques of

他们称之为强化微调API，核心思路是运用序列决策的技术，在某种潜在的不确定环境中——其实有很多方向可以深入——但具体到微调语言模型时，就是让模型生成一个答案，然后你去检查这个答案是否匹配数学或代码问题的真实解。数学题有精确的正确答案，代码题可以用单元测试来验证。我们做的事情就是：检查语言模型的输出，针对同一个问题给它多次尝试机会，看它能不能答对。如果持续这样做，模型就能在可验证的领域内学会大幅提升。这个效果非常好，在学术文献里算比较新的技术，之前已经在一些场景中被使用过。

17:59

reinforcement learning which is a whole framework of AI there's a deep literature here to summarize

强化学习是AI的一个完整框架，这方面的文献非常丰富，简单来说就是在一个可能带有噪声的环境中进行序列决策，有很多种实现方式。但在微调语言模型时，具体做法是让模型生成一个答案，然后检查这个答案是否与数学或代码问题的真实解匹配——数学题有精确答案，代码题可以用单元测试验证。我们做的就是检查语言模型的工作成果，并针对同一问题给它多次尝试机会，看它能否答对。如果持续这样做，模型就能在可验证的领域内学会大幅改进。这个方法效果非常好，是学术界较新的技术，已经在实际中被采用。

18:05

it's often known as trial and error learning or the subfield of AI where you're trying to make

这通常被称为试错学习，或者是AI的一个子领域，你需要在某种可能带有噪声的环境中做出连续决策。有很多方法可以深入探讨这一点，但微调语言模型时，让它们生成答案，然后检查答案是否与数学或代码的真实解法匹配——数学题有精确正确答案，代码可以用单元测试来验证。我们正在做的是检查语言模型的工作，并给它在同一问题上多次尝试的机会，看它是否能答对。如果持续这样做，模型就能在可验证的领域内学会大幅改进。这种方法效果非常好，在学术文献中算是一种较新的技术，已经在一些地方被应用了。

18:11

sequential decisions in a certain potentially potentially noisy environment there's a lot of ways

在某个可能带有噪声的环境里做序列决策，有很多种方法可以尝试。但微调语言模型时，让它们生成答案，然后检查答案是否与数学或代码的真实解法匹配——数学题有精确答案，代码可以用单元测试。我们正在做的是检查语言模型的工作，并给它们多次机会回答同一道题，看它是否答对。如果持续这样做，模型就能在可验证的领域内大幅提升学习效果。这个方法效果非常好，是学术界较新的技术，之前被用在——如果你是专家，那些接近知识边界的问题，模型仍然会……

18:16

we could go down that but fine tuning language models where they can generate an answer and then

我们可以深入聊聊这个，但微调语言模型让它们能生成答案，然后——

18:22

you check to see if the answer matches the true solution for math or code you have an exactly correct

你检查答案是否与数学或代码的真实解法匹配，数学题有精确正确答案，代码题可以用单元测试。我们正在做的是验证语言模型的工作，并给它在同一问题上多次尝试的机会，看它能否答对。如果持续这样做，模型就能在可验证的领域内学会大幅提升。这个方法效果非常好，是学术界较新的技术，已经被应用过。如果你是专家，那些接近知识边界的内容仍然会存在。这些推理模型的特点是，当你看到它们输出的token时，一开始会是一个很长的思维链过程——我待会儿再详细讲思维链——看起来就是一大堆token。

18:28

answer for math you can have unit tests for code and what we're doing is we are checking the

对于数学问题，你可以用单元测试来验证代码，而我们正在做的是检查语言模型的工作，给它多次机会回答同一个问题，看它是否答对。

18:33

language models work and we're giving it multiple opportunities on the same questions see if it is

如果你持续这样做，模型就能在可验证的领域里学会大幅改进。

18:37

right and if you keep doing this the models can learn to improve in verifiable domains to a great

这个方法效果很好，是学术界比较新的技术，之前也被用过。

18:43

extent it works really well it's a newer technique in the academic literature it's been used at

但如果你是专家，面对接近知识边界的问题，这些推理模型仍然会——

18:48

frontier labs in the US that don't share every detail for multiple years so this is the idea of

美国的前沿实验室不会在多年内分享每个细节，所以这个想法就是

18:55

using reinforcement learning with language models and it has been taking off especially in the

把强化学习用到语言模型上，而这一趋势在Deep Seek那个节点尤其开始起飞。我们得说，现在整个技术栈上都有很多令人兴奋的事情在发生，

18:59

steep seek moment and we should say that there's a lot of exciting stuff going on on the

但后训练这块——今年很可能会有大量有趣的发展，尤其是在后训练的角色上。我们回头会聊这个，我差点忘了说

19:04

again across the stack but the post-training probably this year there's going to be a lot of

Deep Seek V3和R1在用户体验上的区别。所以先别管技术细节，别管那些——就假设是完全不懂AI的人，他们打开一看，实际体验是什么？每个模型的使用场景是什么？当他们真的打字和它对话时，感受有何不同？

19:08

interesting developments in the post-training role we'll talk about it I almost forgot to talk about

在训练后阶段的有趣进展，我们待会儿会聊到——我差点忘了说

19:13

the difference between deep seek v3 and r1 on the user experience side so forget the technical

Deep Seek V3 和 R1 在用户体验上的区别。所以先别管技术细节，

19:20

stuff forget all that just people that don't know anything about AI they show up like what's

别管那些，就单说那些完全不懂 AI 的人，他们一上来会问：

19:24

the actual experience what's the use case for each one when they actually like type and talk to it

实际用起来到底什么感觉？每个模型的使用场景是什么？当他们真的打字或语音跟它对话时

19:29

what what's each good at that kind of thing so let's start with deep seek v3 again it's what more

那它们各自擅长什么，这类问题。所以我们还是从Deep Seek V3开始吧。更多人可能试过类似的东西——你问它一个问题，它会非常快地开始生成token，这些token看起来像一段非常易读的人类回答，可能是某种Markdown列表，可能带有格式来帮你抓住答案中的核心细节。它会生成几十到几百个token。一个token通常对应一个常见单词，或者一个长单词里的子词部分。整体看起来就像一篇高质量的Read It或Stack Overflow回答。这些模型真的越来越擅长处理各种领域的问题了。我觉得即使是那些——如果你是专家的话——接近知识边缘的东西，它们依然能应对。

19:34

people would have tried something like it you ask it a question it'll start generating tokens very

人们可能试过类似的东西：你问一个问题，它会非常快地开始生成 token，

19:39

fast and those tokens will look like a very human legible answer it'll be some sort of markdown list

那些 token 看起来像一段非常易读的人类回答，可能是某种 markdown 列表，

19:46

it might have formatting to help you draw to the core details in the answer and it'll generate

可能带格式帮你突出答案里的核心细节，然后它会生成

19:53

tens to hundreds of tokens a token is normally a word for common words or a sub word part in a

几十到几百个 token——一个 token 通常对应一个常见单词，或者一个子词部分。

20:00

longer word and it'll look like a very high quality read it or stack overflow answer these

更长的回答看起来会像一篇质量很高的文章，或者像Stack Overflow上的答案。这些模型确实在广泛领域内变得越来越擅长处理这类任务，我觉得即使是那些——如果你是专家的话——接近知识边缘的内容，它们仍然能作为学习辅助工具，并且会定期更新。而真正带来变化的是DeepSeek R1，也就是所谓的推理模型。当你看到这些模型生成的token时，一开始会是一长串思维链过程——我待会儿再详细讲思维链——看起来就是很多token，模型在解释问题，它常常会拆解问题，比如“好的，他们问我这个，让我先分解问题，我需要做这个”，然后你会看到所有内容。

20:07

models are really getting good at doing these across a wide variety of domains I think even things

模型在各种领域的表现确实越来越好了，我觉得即使是那些接近知识前沿的东西——如果你是某个领域的专家——它们仍然能作为学习辅助工具，而且还会定期更新。但这种情况在Deep Seek R1出现后发生了变化，这种所谓的推理模型，当你看到这些模型生成的token时，一开始会有一个很长的思维链过程——我待会儿再详细讲思维链——看起来就是一大堆token，模型在解释问题，它经常会拆解问题，比如“好的，他们问我这个，让我先分解一下问题，我需要做这个”，然后你会看到很多很多token，很多文字，速度非常快，在屏幕上不停地滚动。

20:12

that if you're an expert things that are close to the fringe of knowledge they will still be

当你看到这些模型输出的token时，一开始会是一大段内容。

20:18

fairly good at I think cutting edge AI topics that I do research on these models are capable for

我觉得自己在前沿AI话题上还算擅长，毕竟我研究这些模型，它们能当学习助手，而且会定期更新。但变化出现在Deep Seek R1这种所谓的推理模型上——当你看到这些模型输出的token时，一开始会有一大段思维链过程（我待会儿再细讲思维链），看起来就是很多token，模型在解释问题，它通常会拆解问题，比如“好，他们问了我这个，我来分解一下问题，我需要做这个”，然后你会看到模型生成所有这些内容。在大多数用户体验中，这些API速度非常快，所以你会看到大量token、大量文字飞速涌现，在屏幕上不断滚动。

20:25

study aid and they're regularly updated where this changes is with the deep seek r1 what is called

学习辅助工具，而且会定期更新。但Deep Seek R1带来的变化在于——这种所谓的推理模型，当你看到这些模型生成的token时，一开始会有一长串思维链过程（稍后详细讲思维链），看起来就是大量token，模型在解释问题，它会经常拆解问题，比如“用户问了我这个，让我先分解问题，我需要做这个”，然后你会看到所有内容。你会看到大量token、大量文字飞速闪过，在屏幕上不断滚动。这和第一类模型不同。而Deep Seek的情况——这也是它即使在AI社区之外也如此受欢迎的原因之一——就是你能看到语言模型是如何拆解问题的。

20:31

these reasoning models is when you see tokens coming from these models to start it will be a large

这些推理模型的特点是，当你看到这些模型生成的token时，一开始会是一个很大的

20:38

chain of thought process will get back to chain of thought in a second which looks like a lot of tokens

chain of thought 过程会先回到 chain of thought，这看起来会消耗大量 token

20:44

where the model is explaining the problem the model will often break down the problem be like okay

模型在解释问题时，往往会先把问题拆解开，比如它会说“好的，用户问了我这个，那我来分解一下这个问题，我需要做这几步”，然后你会看到大量token、大量文字飞速滚动，在屏幕上不断流动。

20:49

they ask me for this let's break down the problem I'm going to need to do this and you'll see all

但DeepSeek的情况不同——这也是它在AI圈外也如此受欢迎的原因之一——你能看到语言模型是如何一步步拆解问题的。

20:54

of this generating from the model it'll come very fast in most user experiences these APIs are very fast

模型生成的内容在用户体验中会非常快，这些API响应速度极快。你会看到大量token和文字飞速涌现，持续在屏幕上滚动，模型会写出答案，同时总结自己的阅读推理过程，并生成与第一类模型类似的回答。但在DeepSeek的案例中——这也是它即使在AI社区外也如此受欢迎的部分原因——你可以看到语言模型如何拆解问题，然后得到答案。从技术层面来说，他们专门训练模型做到这一点：模型有一个推理部分，然后生成一个特殊token（大多数时候可能对用户隐藏），表示“好了，我开始回答了”。也就是说，模型是经过这样训练的。

20:59

so you'll see a lot of tokens a lot of words to a really fast it'll keep flowing on the screen and

它有一个专门的“推理”阶段，然后会生成一个特殊token（通常对用户隐藏），表示“好的，我开始回答了”。

21:03

this is all the reasoning process and then eventually the model will change its tone in our one

这就是整个推理过程，最终模型会在我们的对话中改变语气。它会写出一个答案，总结自己的阅读推理过程，并给出与第一类模型类似的回答。但在 DeepSeek 的案例中——这也是它即使在 AI 社区之外也如此受欢迎的部分原因——你可以看到语言模型是如何拆解问题的，然后得到这个答案。从技术层面来说，他们专门训练模型这样做：模型有一个推理部分，然后生成一个特殊 token（这个 token 很可能对用户隐藏），表示“好了，我开始回答了”。所以模型被训练成自主完成这个两阶段过程。如果你使用类似的模型，比如 OpenAI 的界面——

21:09

it'll write the answer where it summarizes its reading reasoning process and writes a similar answer

它会写出答案，在总结自己的阅读推理过程之后，写出与第一类模型类似的答案。但在DeepSeek的案例中——这也是它在AI社区之外如此受欢迎的部分原因——你可以看到语言模型是如何分解问题的，然后得到这个答案。从技术层面来说，他们专门训练模型这样做：模型有一个推理部分，然后生成一个特殊标记（这个标记大部分时间对用户是隐藏的），表示“好了，我开始回答了”。所以模型被训练成追求新颖性——它实际上是在挑战自己，要更创新、更反直觉、更不“尴尬”吧。因此，一些推理过程只是快照；另一种说法是，人类拥有独特的特质。

21:14

to the first types of model but in deep seeks case which is part of why this was so popular

所以这个模型被训练成追求新颖性，它实际上是在挑战自己，要更创新、更反直觉、更不尴尬。

21:21

even outside the AI community is that you can see how the language model is breaking down problems

即使在 AI 社区之外，你也能看到语言模型是如何拆解问题的

21:26

and then you get this answer on a technical side they train the model to do this specifically where

然后你在技术层面得到了这个答案，他们专门训练模型这么做——模型有一个推理部分，然后生成一个特殊token（大多数时候对用户隐藏），表示“好了，我开始回答了”。所以模型被训练成追求新颖，实际上是在挑战自己变得更创新、更反直觉、更不尴尬吧。有些推理说这就像快照，另一种说法是人类有一种独特的……这不算真正的智能，更像是某种意识的萌芽，因为就像你几秒钟内，人类本能地把自私的欲望转化为合作系统，通过集体游戏或竞争，暗中将其导向群体利益，把冲突变成社会。

21:31

they have a section which is reasoning and then it generates a special token which is probably hidden

它们有一个专门用于推理的部分，然后会生成一个特殊 token，这个 token 很可能对用户隐藏

21:35

from the user most of the time which says okay I'm starting to answer so the model is trained to do

大多数时候，这个 token 表示“好的，我开始回答了”，所以模型被训练成这样做

21:40

this two-stage process on its own if you use a similar model and say open AI open AI's user interface

这个两阶段过程本身，如果你用类似的模型，比如OpenAI，OpenAI的用户界面

21:46

is trying to summarize this process for you nicely by kind of showing the sections that the model is

它试图通过展示模型正在执行的各个步骤，来帮你清晰地总结这个过程——它会一步步推进，显示“分解问题”、“进行X计算”、“清理结果”，然后给出答案。对于像OpenAI这样的模型，这里或许值得通过一个DeepSeek R1推理的例子来具体说明。对，如果你现在看屏幕，你会看到DeepSeek聊天应用的一个截图，顶部写着“思考了151秒”，旁边有一个下拉箭头。如果我们正在运行这个应用，点开下拉箭头就能看到推理过程。在这个例子中，具体的问题是——你知道的，我既是个哲学爱好者又是个老烟枪——所以这个问题是问DeepSeek R1的。

21:54

doing and it'll kind of click through it'll say breaking down the problem making x calculation

它会一步步展示，说“分解问题”、“进行X计算”、

22:00

cleaning the result and then the answer will come for something like open AI maybe it's

“清理结果”，然后答案就出来了。对于OpenAI来说，可能

22:04

useful here to go through like an example of it deep seek r1 reasoning yeah so if you're looking

这里通过一个例子来讲解DeepSeek R1的推理过程会更有用。对，如果你现在

22:10

at the screen here well you'll see as a screenshot of the deep seek chat app and at the top is thought

看屏幕，你会看到DeepSeek聊天应用的截图，顶部显示“思考了151秒”，

22:17

for 151 seconds with the drop down arrow underneath that if we were in an app that we were running

下面有个下拉箭头。如果我们是在运行这个应用，

22:22

the drop down arrow would have the reasoning so in this case the question the specific question which

下拉箭头下面会显示推理过程。在这个例子里，具体的问题是——

22:28

you know I'm philosophically slash pot head and client so this is asking deep deep seek r1

你知道，我这个人既爱哲学又爱抽大麻——所以这是问DeepSeek R1的。

22:35

for one truly novel insight about humans and it reveals the reasoning and basically the truly novel

关于人类的一个真正新颖的洞察，它揭示了推理过程，而本质上这个真正新颖的点在于，它不断推动模型自我追问“这真的新颖吗”，所以实际上是在挑战自己变得更新颖、更反直觉、更少些尴尬吧。于是有些推理说这不过是快照而已；另一种说法是，人类有一种独特的元情绪，他们会对自己的情绪产生情绪——比如因为愤怒而感到内疚。这种情绪分层产生了复杂的动机驱动力，这在其他动物身上是不存在的。关键在于，人类的情绪是嵌套的，所以它就像在推理人类如何感受情绪，它在思考元情绪，会生成一页又一页的内容，是的，几乎太多了。

22:44

aspect is what's pushing the reasoning to constantly sort of the model asking itself is this truly

aspect 就是推动推理不断让模型自我追问“这真的新颖吗”，所以它实际上在挑战自己变得更新颖、更反直觉、更不尴尬。有些推理说这不过是快照，而人类有一种独特的元情绪，会对自己的情绪产生感受——比如因为愤怒而感到内疚。这种情绪分层创造了其他动物没有的复杂动机驱动力。核心在于人类情绪是嵌套的，所以它是在推理人类如何感受情绪，是在推理元情绪。这会生成好几页的内容，几乎像意识流一样，然后它突然说“等等，他们过去想要一些没见过的东西”。

22:49

novel so it's actually challenging itself to be more novel more counter intuitive more less cringe I

新颖，所以它实际上是在挑战自己，要更创新、更反直觉、更不尴尬

22:56

suppose so some of the reasoning says it's just snapshots alternatively humans have a unique

这么说吧，有些推理其实只是快照，而人类则拥有一种独特的——这倒不是说那种“平均智能”，更像是某种近乎意识的苗头，因为你看，人类本能地会把自私的欲望转化成合作系统，通过集体行动，把游戏或竞争暗中导向对群体有利的方向，从而将冲突转化为社会结构。混合专家模型可不会这么干，对吧？那人类到底是怎么运作的呢？就好像说，嗯，我的视觉皮层在我思考视觉相关的事情时会活跃起来，比如问你某个问题——你大脑的不同区域会专注于不同的事情。混合专家模型试图在一定程度上模拟这一点，但它离真正的大脑架构还差得远，只是模型的不同部分各司其职罢了。

23:03

meta-emotion where they feel emotions about their own emotions g-feeling guilty about being angry

元情绪，就是他们对自己的情绪产生情绪——比如因为生气而感到内疚。

23:08

this occurs to emotional layering creates complex motivational drives that don't exist in other

这种情绪分层产生了其他动物没有的复杂动机驱动力。

23:12

animals the inside is that human emotions are nested so it's like it's reasoning through how humans

关键在于，人类情绪是嵌套的，所以它就像在推理人类如何感受情绪，它在推理元情绪。

23:18

feel emotions it's reasoning about meta-emotions gonna have pages and pages yeah it's almost too much

会有好几页好几页的内容，几乎像是意识流一样。

23:23

to actually read but it's nice to skim as it's coming it's a stream of ca- it's a James Joyce

实际上读起来挺费劲的，但边看边扫一眼还挺有意思的——它就像一股意识流，有点像詹姆斯·乔伊斯那种写法。然后突然冒出一句：“等等，他们过去想要某种别处没见过的东西，让我再深挖一下。”接着又考虑人类同时持有矛盾信念的能力，认知失调这个概念大家都知道，但也许它的功能是为了让人能灵活适应，诸如此类。我的意思是，这真的抓住了公众的想象力——我靠，这不就是某种智能吗？甚至有点像一丝微弱的意识，因为你在通过自己思考、反思、权衡，而经过157秒后，最终得出的结论是：“人类本能地通过集体协作，将自私的欲望转化为合作体系。”

23:28

like stream of consciousness and then it goes wait they used to want something that's not seen

然后它又说：“等等，他们曾经想要一些看不到的东西。”

23:33

anywhere else let me dig deeper and consider the human ability to hold contradict your belief

其他地方呢？让我再深入想想，人类有一种能力，可以同时持有相互矛盾的信念——认知失调这个概念大家都知道，但它的功能或许是为了让我们能灵活适应，诸如此类。我的意思是，这确实抓住了公众的想象力，让人惊呼“我靠，这不就是……某种意义上的智能吗？几乎有点像……一丝丝意识的苗头”，因为你正在通过自己思考、反思、权衡，而经过157秒后得出的最终结果是：人类本能地将自私的欲望转化为合作系统，通过集体游戏或竞争，暗中将个人利益导向群体利益，把冲突变成社会的燃料——相当深刻。我知道这是个常见的题外话，但确实有很多人发现了这一点。

23:39

simultaneously cognitive dissonance is known but perhaps the function is to allow flexible

认知失调是已知的，但也许它的功能是为了允许灵活适应，等等等等。

23:44

adaptation so on and so forth I mean that really captures the public imagination that holy shit

我的意思是，这真的抓住了公众的想象力——天哪，这不只是普通智能，几乎有点像意识的萌芽，因为你就像……

23:52

this isn't uh mean intelligence slash almost like like an inkling of sentience because like you're

这并不算是……嗯，通用智能，或者说有点像一丝感知的迹象，因为就像你

24:01

thinking through yourself reflecting you're deliberating and the final result of that after 157

自己反复琢磨、深思熟虑，然后157秒后得出最终结果——人类本能地把自私的欲望转化为合作系统，通过集体游戏或竞争，暗中引导其造福群体，把冲突变成社会的燃料。挺深刻的，对吧？你知道，这是个常见的题外话，但很多人发现混合专家模型并不是这么运作的。那人类到底是怎么工作的呢？就像，哦，我的视觉皮层在我思考视觉相关问题时是活跃的，你大脑的不同部分专注于不同的事情。混合专家模型试图在一定程度上模拟这一点，但它远不及大脑架构的复杂程度，只是模型的不同部分各司其职。

24:07

seconds is humans instinctively converts selfish desires into cooperative systems by collectively

人类在几秒钟内本能地将自私的欲望转化为合作系统，通过集体

24:14

pretending abstract rules money laws rights are real these shared hallucinations act as quote

假装抽象的规则、金钱、法律、权利是真实的，这些共享的幻觉实际上充当了所谓的“游戏”或“竞争”，但暗中被重新导向为群体利益服务，把冲突变成社会的燃料。挺深刻的，你知道，这是个常见的题外话，但很多人发现这些reasoning models有时能生成更优美的文本，至少算个有趣的例子。我觉得取决于你有多开放，你可能会觉得language models有趣，也可能不会，这有个光谱。嗯，我们也会聊到不同的benchmarks，有些纯粹是种感觉，这本身就是一条所谓的“火推”。如果我想写点东西让人“哦靠，有点意思”，那可能就得靠运气了，我觉得我们大概会回到这个话题。

24:20

games or competition is secretly redirected to benefit the group turning conflict into society's

游戏或竞争被暗中引导去造福群体，将冲突转化为社会的基础

24:27

fuel pretty profound I mean you know this is a common to digression but a lot of people have found

这确实挺深刻的。你知道，这是个常见的题外话，但很多人发现——混合专家模型（mixture of experts model）并不是那样运作的。那人类大脑到底是怎么工作的呢？就像，哦，我的视觉皮层在我思考视觉相关问题时会被激活，大脑的不同区域专注于不同的事情。混合专家模型在某种程度上试图模拟这一点，但它离真正的大脑架构还差得远。模型的不同部分——如果你把参数数量看作是在训练过程中压缩所有知识的总嵌入空间——当你嵌入这些数据时，不需要在每次训练或运行推理时激活每一个参数。

24:35

that these reasoning models can sometimes produce much more eloquent text as a at least interesting

这些推理模型有时能生成非常优美的文本，至少挺有意思的。

24:42

example I think depending on how open-minded you are you find language models interesting or not

举个例子，我觉得取决于你有多开放的心态，你会觉得语言模型有趣或者不有趣。

24:46

and there's a spectrum there well I mean some of the we'll talk about different benchmarks as well

这其实是一个光谱，嗯，我们也会聊到不同的benchmark。

24:51

some is just a vibe like that in itself is a let's say quote fire tweet yeah if I try and produce

有些纯粹是一种感觉，比如这本身就可以算是一条“火推”。

25:00

something something where people are oh shit okay so that's chance I thought we'll probably return

如果我想写点东西让人看了说“哦靠，有点东西”，那可能就得靠运气了。

25:05

more how are they able to achieve such low cost on the training in the inference maybe you could

那他们是怎么做到训练和推理成本这么低的呢？要不你先讲讲训练方面？好，主要来说，他们用了两种核心技术，这大概占了他们效率提升的大头。当然还有很多实现细节，我们可能先简单带过，或者后面再深入聊，那些也起到了一定作用。但这两个核心点：第一是他们采用了mixture of experts模型，这个我们待会儿解释一下；第二是他们发明了一种新技术叫MLA latent attention。这两件事都挺重要的。mixture of experts在学术界已经存在好几年了，而OpenAI的GPT-4是第一个把mixture of experts模型产品化的。

25:13

talk the training first yeah so there's there's two main techniques that they implemented

我想我们大概会先聊训练部分。

25:19

that are probably the majority of their efficiency and then there's a lot of implementation details

对，他们主要用了两种技术，可能占了大部分效率提升。

25:25

that maybe we'll gloss over or get into later that sort of contribute to it but those two main

然后还有很多实现细节，我们可能会略过或者后面再深入，那些也有贡献。

25:29

things are one is they went to a mixture of experts model which which we'll define in a second

第一件事是他们转向了混合专家模型，这个我们待会儿会解释。

25:35

and then the other thing is that they invented this new technique called MLA latent attention both

另一件事是他们发明了一种新技术叫MLA潜在注意力。

25:40

of these are our big deals mixture of experts is something that's been in the literature for a handful

这两件事都很重要。混合专家模型在学术界已经存在好几年了，OpenAI的GPT-4是第一个把它产品化的模型。

25:45

of years and OpenAI with GPT-4 was the first one to productize a mixture of experts model and what

而你看，Llama是密集模型，也就是说，你生成每个token时，模型里的每一个参数或神经元都会被激活。

25:52

this means is when you look at the common models around that most people have been able to interact

也就是说，当你看看目前市面上大多数人能接触到的那些常见开放模型，比如Llama，Llama是一个dense模型，也就是说，你在模型里生成每一个token的时候，每一个参数或者说神经元都会被激活。但现在用mixture of experts模型，就不是这样了。那人类大脑实际上是怎么运作的呢？就好比说，我的视觉皮层在我思考视觉相关的事情时会被激活，而我的杏仁核在我感到害怕时会被激活——大脑的不同区域专注于不同的事情。mixture of experts模型试图在一定程度上模拟这一点，虽然它远不及大脑架构的复杂程度，但模型的不同部分确实会各司其职。

25:58

with that are open right think llama llama is a dense model i.e every single parameter or neuron is

但在混合专家模型里，情况不是这样。

26:05

activated as you're going through the model for every single token you generate right now with a

人类大脑是怎么工作的呢？比如，我的视觉皮层在我思考视觉相关问题时才会活跃。

26:11

mixture of experts model you don't do that right how does the human actually work right is like oh

mixture of experts model 你其实不会那样做，人类大脑到底是怎么运作的呢？就像，哦，我的视觉皮层在我思考视觉相关的问题时会活跃起来，大脑的不同区域专注于不同的事情。mixture of experts 模型试图在一定程度上模拟这一点，但它离大脑的架构还差得远。模型的不同部分承载着你在训练过程中压缩的知识，当你嵌入这些数据时，不需要每次训练或运行 inference 时都激活每一个参数。参数空间就是这样，而 deep seeks 模型大概有六千多亿个参数对吧？相对而言，这个模型在技术上拥有更大的信息嵌入空间来进行压缩。

26:16

well my visual cortex is active when I'm thinking about you know vision to ask certain like you

嗯，我的视觉皮层在我思考视觉相关问题时是活跃的，比如要问某些像你

26:20

know other things right my my amygdala is when I'm scared right these different aspects of your

知道吧，我的杏仁核是负责恐惧的，大脑的不同区域各司其职。混合专家模型（Mixture of Experts）在某种程度上试图模拟这一点，虽然远不及真实大脑架构的复杂程度，但每次只激活模型的不同部分，这能大幅降低训练和推理成本。因为你想，参数数量可以理解为训练时压缩所有知识的整体嵌入空间，在嵌入数据时，不必每次训练或推理都激活所有参数，现在只需激活一个子集，模型会学会针对不同任务路由到对应的专家模块。

26:25

brain are focused on different things a mixture of experts models attempts to approximate this to

大脑的不同区域专注于不同的事情，混合专家模型试图在一定程度上模拟这一点

26:29

some extent it's nowhere close to what a brain architecture is but different portions of the model

但它远不及大脑架构的复杂程度，不过模型的不同部分

26:34

activate right you'll have a set number of experts in the model and a set number that are activated

激活后，模型里会有一组固定的专家，每次只激活其中一部分。这能大幅降低训练和 inference 的成本，因为你想啊，如果把参数数量看作训练时压缩所有知识的总 embedding 空间，那么每次训练或跑 inference 时，就不需要激活每一个参数了。现在你只需要激活一个子集，模型会自己学会针对不同任务路由到对应的专家。所以这绝对是个巨大的创新——意味着我可以继续扩大总的参数 embedding 空间。你看 DeepSeek 的模型，参数规模大概在 6000 多亿对吧？

26:40

each time and this dramatically reduces both your training and inference cost because now your you

每次这样操作，就能大幅降低你的训练和推理成本，因为现在你——你知道，如果你把参数数量想象成所有知识的总嵌入空间，这些知识在训练过程中被压缩进去，当你嵌入这些数据时，不再需要每次训练或运行推理时激活每一个参数，现在你只需激活一个子集，模型会学会针对不同的参数空间路由到哪个专家。所以DeepSeek的模型有大约6000多亿个参数，对吧？相对而言，这个模型在技术上有更大的信息嵌入空间来压缩互联网上的所有世界知识，但同时它只激活了其中一部分。

26:46

know if you think about the parameter count as the sort of total embedding space for all of this

如果你把参数数量理解为一种总体的嵌入空间，用来压缩训练过程中嵌入的所有知识，而不是每次训练或推理时都要激活每一个参数——那么DeepSeek的模型有6000多亿个参数对吧？相比之下，这个模型理论上拥有更大的信息嵌入空间，用来压缩互联网上所有的世界知识。但同时，每次训练数据或推理数据时，它只需要计算其中一部分。而相比之下，Llama模型有700亿个参数必须全部激活，或者4050亿个参数必须全部激活。

26:50

knowledge that you're compressing down during training when you're embedding this data in instead of

对应着你在训练过程中压缩的知识，当你嵌入这些数据时，不必

26:56

having to activate every single parameter every single time you're training or running inference

在每次训练或运行推理时激活每一个参数

27:01

now you can just activate a subset and the model will learn which expert to route to for different

现在你只需要激活一部分参数，模型就会自己学会针对不同的参数空间路由到对应的专家。所以DeepSeek这个模型，你知道的，大概有6000多亿个参数对吧？相对参数来说，这个模型在技术上有更大的嵌入空间来压缩互联网上所有的世界知识，但同时每次训练或推理数据时，只有一部分参数需要被计算。相比之下，Llama模型要么是700亿参数全部激活，要么是4050亿参数全部激活。这样一来，你在训练和推理时的计算成本就大幅降低了。这个话题被讨论得很多，我们不会覆盖每个细节——本质上，transformer就是建立在这个基础之上的。

27:06

tasks and so this is a humongous innovation in terms of hey I can continue to grow the total embedding

任务方面，这绝对是一个巨大的创新——你看，我可以持续扩展参数的总嵌入空间。所以DeepSeek的模型大概有6000多亿个参数对吧？相对而言，这个模型在技术上拥有更大的信息嵌入空间，用来压缩互联网上所有的世界知识。但与此同时，它每次只激活大约370亿个参数。也就是说，每次训练数据或进行推理时，只需要计算这370亿个参数。相比之下，Llama模型必须激活700亿个参数，或者4050亿个参数。这样一来，你在训练和推理时的计算成本就大幅降低了。

27:12

space of parameters and so deep seeks model is you know 600 something billion parameters right relative

参数空间方面，DeepSeek这个模型你知道有6000多亿个参数对吧？参数多意味着它有更大的嵌入空间来压缩信息，每次训练或推理数据时都需要计算。相比之下，Llama模型需要激活700亿或4050亿个参数，但在评估分数上却能实现相同的性能，而且计算量减少了大约30%。我觉得关键是要意识到，这种技术创新能带来巨大的收益，我预计大多数提供模型服务的公司都会转向这种混合专家架构。历史上之所以不是所有人都这么做，是因为它——

27:18

to llama 405b it's 405 billion parameters right llama relative to llama 70b it's 70 billion

对于llama 405b，它有4050亿个参数对吧，而llama 70b是700亿个参数。所以这个模型理论上拥有更大的嵌入空间来压缩互联网上的所有知识，但与此同时，它实际上只激活了大约370亿个参数。也就是说，每次你训练数据或进行推理时，只需要计算这370亿个参数。相比之下，llama 70b必须激活全部700亿个参数，而405b则需要激活4050亿个参数。因此，采用这种混合专家架构后，你在训练和推理时的计算成本大幅降低了。接下来我们具体分析一下它实际应用在哪些环节，并深入探讨。

27:23

parameters right so this model technically has more embedding space for information right to compress

参数对吧，所以这个模型理论上拥有更大的嵌入空间来压缩信息，每次训练数据或进行推理时都需要计算。相比之下，Llama模型需要激活700亿参数或4050亿参数，而它在评估分数上能达到同样的性能，同时计算量减少30%左右。我觉得关键是要意识到，这种技术创新能带来巨大收益，而且我预计大多数提供模型服务的公司都会转向这种混合专家架构。历史上之所以不是所有人都这么做，是因为研究人员一开始拥有的算力太少，他们把所有算力都投入了好几个月。

27:28

all of the world's knowledge that's on the internet down but at the same time it only is only

互联网上所有的人类知识都被压缩存储，但每次训练或推理数据时，这些知识又必须被完整计算一遍。相比之下，Llama模型需要激活700亿参数或4050亿参数才能运行。而采用混合专家架构后，在评估分数上能达到同等性能，但计算量却减少了30%。我认为关键在于，这类技术创新能带来巨大收益，而且我预计大多数提供模型服务的公司都会转向这种混合专家架构。历史上之所以不是所有人都这么做，是因为——我观察这类技术时发现，他们确实在实现非常复杂的方案。

27:33

activating around 37 billion of the parameters so only 37 billion of these parameters actually need

激活了大约370亿个参数，所以每次训练数据或进行推理时，只需要计算这370亿个参数。相比之下，Llama模型需要激活700亿个参数，或者4050亿个参数，这样你在训练和推理时就能大幅降低计算成本。这个话题被讨论得很多，我们不会覆盖所有细节——本质上，Transformer是由重复的注意力机制模块和传统的密集全连接多层感知器（随便你怎么称呼这个普通神经网络）构成的，这些模块交替排列。还有其他细节，而混合专家模型（mixture of experts）就是应用在这个密集模型上的。

27:39

to be computed every single time you're training data or inferencing data out of it and so versus

每次训练或推理数据时都需要重新计算，相比之下，Llama模型需要激活700亿参数或4050亿参数。在评估分数上性能几乎相同的模型，计算量却少了30%左右。我认为重要的是要意识到，这种技术创新能带来巨大收益，而且我预计大多数提供模型服务的公司都会转向这种混合专家（mixture of experts）实现方式。从历史上看，并非所有人都这么做，是因为研究人员一开始拥有的算力太少，他们把全部算力投入了数月之久。这大概要到2030年之后了，所以我不会——我得先明确这个定义，因为对我来说这有点……

27:45

versus again the llama model 70 billion parameters must be activated or 405 billion parameters must

再对比一下llama模型，70B参数必须全部激活，或者405B参数必须全部激活。实际上在评估分数上性能相同的模型，计算量却少了30%左右，我觉得。关键是要意识到，这种技术创新能带来巨大的收益，而且我预计大多数正在部署模型的公司都会转向这种mixture of experts架构。从历史上看，不是所有人都这么做，是因为这是研究人员在计算资源极少的情况下摸索出来的，他们把好几个月所有的算力都投进去了。大概2030年之后吧，所以我不太——我会这么说来定义它，因为对我来说，这有点像那种“被scaling洗脑”的状态，就是说认定scaling laws才是最重要的，对吧？

27:49

be activated so you've dramatically reduced your compute cost when you're doing training and inference

激活后，你在训练和推理时的计算成本就大幅降低了

27:54

with this mixture of experts architecture so we break down where it actually applies and go into

在这种混合专家架构下，我们拆解它实际应用的场景，并深入探讨。虽然这个话题被广泛讨论，我们不会覆盖每一个细节——本质上，transformer 是由重复的 attention 机制模块，再加上传统的 dense 全连接多层感知机（或者随便你怎么称呼你的普通神经网络）构成的，这些模块交替排列。还有其他细节，而混合专家应用的地方就在这个 dense 模型上。如果你数一数 transformer 模型中的参数，dense 模型占据了大部分权重，因此通过混合专家在参数效率上能获得巨大提升，无论是在训练还是 inference 阶段，因为这种效率来自于不激活所有这些参数。我们还需要说明一点，transformer 本身……

28:00

the transformer is that useful let's go let's go into the transformer transformer is a thing that

transformer 确实很有用，我们来深入聊聊 transformer。transformer 是一个被广泛讨论的东西，我们不会覆盖每一个细节。本质上，transformer 是由重复的 attention 机制模块，再加上一个传统的 dense 全连接多层感知器——随便你怎么称呼你的普通神经网络——然后你交替这些模块。还有一些其他细节，而 mixture of experts 应用的地方就是这个 dense 模型。如果你数一下 transformer 模型里的参数，dense 模型占了大部分权重。所以通过 mixture of experts，你可以在训练和推理的参数效率上获得非常大的提升，因为这种效率来自于不激活所有这些参数。另外我们还要提一句，transformer

28:05

is talked about a lot and we will not cover every detail essentially the transformer is built on

这个被讨论得很多，我们不会覆盖每个细节，基本上transformer是建立在

28:11

repeated blocks of this attention mechanism and then a traditional dense fully connected multi layer

重复的注意力机制模块，加上传统的密集全连接多层感知机——随便你怎么称呼这种常规神经网络——然后交替堆叠这些模块。当然还有其他细节，而混合专家模型应用的地方就在这个密集模型上。混合专家模型在训练和推理时带来的参数效率提升非常显著，因为这种效率来自于不激活所有参数。另外需要说明的是，Transformer架构的设计初衷就是为了让这些神经网络的训练和推理变得极其高效。没错，每种不同类型的模型都有各自不同的缩放定律，这实际上意味着，在给定计算投入的情况下，不同架构会达到不同的性能水平。

28:18

perception on whatever word you want to use for your normal neural network and you alternate these

你对普通神经网络所用的感知（或者随便你怎么称呼）之上，然后交替使用这些

28:22

blocks there's other details and where mixture of experts is applied is at this dense model the

模块。还有其他细节，而混合专家模型应用的地方就是在这个密集模型上

28:28

dense model holds most of the weights if you count them in a transformer model so you can get really

dense model 里的大部分权重都集中在 transformer 模型里，所以通过 mixture of experts 在参数效率上能获得很大提升，无论是训练还是 inference，因为这种效率来自于不激活所有参数。另外需要说明的是，transformer 架构本身就是用来构建这些神经网络的，目的是让训练和 inference 都极其高效。没错，每种不同类型的模型都有不同的 scaling law，这实际上意味着，如果你不考虑 inference 带来的好处（虽然这些好处也很大），在训练时投入同样的算力，不同架构会得到不同的效果。如果只看评估分数，用大约少 30% 的算力就能达到同样的性能水平。

28:34

big gains from those mixture of experts on parameter efficiency at training inference because you

混合专家模型在训练和推理时带来的参数效率的巨大提升，是因为

28:40

get this efficiency by not activating all of these parameters we should also say that a transformer

你通过不激活所有这些参数获得了这种效率。我们还得说一句，transformer

28:46

is a giant neural network yeah and then there's four 15 years now this was called the deep learning

是一个巨大的神经网络，没错。然后到现在大概十五年了，这被称为深度学习革命。网络变得越来越大，到了某个节点，scaling laws出现了——人们意识到这其实是个scaling law的规律，后来变得更正式化了，就是“越大越好”，而且这个“大”体现在多个维度上。不过我们说的这些都还是神经网络，只是不同的架构，用来构建这些神经网络，让它们的训练和inference变得超级高效。对，每种不同类型的模型都有自己不同的scaling law，说白了就是，你往这个架构里投入多少算力，最终会得到不同的结果。

28:53

revolution networks gotten larger and larger in a certain point the scaling laws appeared where

revolution networks 变得越来越大，到了某个节点，scaling laws 就出现了——人们意识到这其实是一个 scaling law 的规律，后来 scaling laws 被更正式地表述出来，核心就是“更大更好”，而且这个“更大”体现在多个维度上。

28:59

people realized this is a scaling law shirt better representing scaling laws where it became more

不过我们讨论的这些其实都是 neural networks，只是不同的架构设计，目的是让 training 和 inference 变得超级高效。

29:06

more formalized that bigger is better across multiple dimensions of what bigger means so

是的，每种不同类型的模型都有自己对应的 scaling law，本质上就是：你往架构里投入多少 compute，就会得到不同的结果——

29:12

and but these are all sort of neural networks we're talking about and we're talking about different

如果不考虑 inference 带来的好处（其实 inference 的好处也很大），单看 training 阶段，你的效率也会不一样。

29:17

architectures of all construct to construct these neural networks such that the training and the

架构的构建方式就是为了让这些神经网络的训练和

29:22

inference on them is super efficient yeah every different type of model has a different scaling law

推理变得超级高效。没错，每种不同类型的模型都有不同的scaling law

29:27

for it which is effectively for how much compute you put in the architecture will get to different

对于它来说，实际上就是看你往架构里投入了多少算力，最终会得到不同但效果基本相同的模型评估分数，大概能省30%的算力。我觉得关键是要意识到，这种技术创新能带来巨大的收益，而且我预计大多数正在部署自己模型的公司都会转向这种混合专家架构。历史上之所以不是所有人都这么做，是因为它属于那种——我一看就觉得，好吧，他们这是在搞非常复杂的实现。比如DeepSeek常用的那种旋转位置编码，英文叫RoPE，就是通过对注意力矩阵进行复数旋转，本质上是个矩阵乘法操作。

29:34

levels of performance at test tasks and mixture of experts is one of the ones at training time even

在测试任务上的表现水平，混合专家模型（mixture of experts）是训练时的一种有效方法，即使不考虑推理方面的好处——推理的好处也很大——在训练时，如果你把这个架构实现得好，使用GPU的效率会大幅提升。所以你可以用大约少30%的计算量，得到在评估分数上表现基本相同的模型。我觉得具体效果会因实现细节等因素而有很大差异，但关键是要认识到，这种技术创新能带来巨大的收益。我预计大多数提供模型服务的公司都会转向这种混合专家模型的实现。历史上，之所以不是所有人都这么做，是因为它需要——

29:39

if you don't consider the inference benefits which are also big at training time your efficiency with

如果不考虑推理方面的收益——其实训练时收益也很大——你用同样的评估分数，在性能相当的模型上，能省下大概30%的计算量。我觉得关键是要意识到，这种技术创新能带来巨大的提升。我预计大多数正在部署自己模型的公司，都会转向这种混合专家架构。历史上，不是所有人都这么做，是因为它属于那种……我看下来，就是他们做了非常复杂的实现。比如DeepSeek常用的那种旋转位置编码，英文叫RoPE，就是把注意力矩阵通过复数旋转来做变换，本质上就是一次矩阵乘法。

29:44

your GPUs is dramatically improved by using this architecture if it is well implemented so you can get

你的GPU性能会因为这个架构而大幅提升，如果实现得当的话，你可以在评估分数上获得几乎相同的模型表现，而计算量却减少30%左右。我觉得具体效果会因实现细节等因素有很大差异，但关键是要认识到，这类技术创新能带来巨大收益。我预计大多数提供模型服务的公司都会转向这种混合专家（mixture of experts）实现。历史上，之所以不是所有人都这么做，是因为这属于那种——我看了一下，觉得他们做的实现确实非常复杂。比如DeepSeek常用的那种旋转位置编码（rotary positional embeddings），也就是rope。

29:49

effectively the same performance model in evaluation scores with numbers like 30% less compute I think

实际上，在评估分数上性能相同的模型，计算量减少了30%左右，我觉得。

29:57

there's going to be a wide variation depending on your implementation details and stuff but it is

具体实现细节不同，结果会有很大差异，但关键是要意识到，这类技术创新能带来巨大收益。我预计大多数提供模型服务的公司都会转向这种混合专家架构。历史上之所以不是所有人都这么做，是因为这属于那种——我观察下来觉得——实现起来非常复杂的东西。比如DeepSeek常用的旋转位置编码（RoPE），就是对注意力矩阵进行复数旋转，这本质上就是矩阵乘法。而结合DeepSeek的MLA这种新型注意力架构，他们还需要做一些巧妙的设计。

30:02

just important to realize that this type of technical innovation is something that gives

重要的是要意识到，这种技术创新带来了

30:07

huge gains and I expect most companies that are serving their models to move to this mixture of

巨大的收益，而且我预计大多数提供模型服务的公司会转向这种 mixture of experts 的实现方式。

30:12

experts implementation historically the reason why not everyone might do it is because it's an

从历史上看，并非所有公司都这样做，是因为它是一项

30:17

implementation complexity especially when doing these big models so this is one of the things that

实现复杂度，尤其是在做这些大模型的时候，所以这是其中一点

30:22

deep seek gets credit for is they do this extremely well they do a mixture of experts extremely well

Deep Seek 值得称赞的地方就是他们在这方面做得极其出色，他们把混合专家模型做得非常好

30:28

architecture for what is called deep seek MOE MOE is the shortened version of mixture of experts

这个架构叫做 Deep Seek MOE，MOE 是 mixture of experts 的缩写

30:34

is multiple papers old this part of their training infrastructure is not new to these models

这其实有多篇论文的历史了，他们训练基础设施的这一部分对这些模型来说并不新鲜

30:40

alone and same goes for what Dylan mentioned with multi head latent attention

同样，Dylan 提到的多头潜在注意力也是如此

30:45

this is all about reducing memory usage during inference and same things during training by using

这完全是为了在推理过程中减少内存使用，同时在训练过程中也一样，通过使用一些花哨的低秩近似数学方法

30:50

some fancy low rank approximation math if you get into the details with this latent attention it's

如果你深入了解这个潜在注意力的细节，它属于那种我看了一眼就觉得“好吧，他们这是在搞非常复杂的实现”的东西

30:56

one of those things I look at it's like okay this they're doing really complex implementations because

我观察到的其中一点是，他们确实在做非常复杂的实现，因为

31:01

there's other parts of the language models such as embeddings that are used to extend the context

语言模型里还有其他部分，比如 embeddings，用来扩展上下文长度。DeepSeek 常用的那种叫 rotary positional embeddings，也就是 rope。如果你想在普通的 MOE 里用 rope，它本质上是个顺序操作：你需要取出两个注意力矩阵，然后用一个复数旋转值去旋转它们，这本质上就是个矩阵乘法。但 DeepSeek 的 MLA 用了这种新的注意力架构，他们需要做一些巧妙的设计，因为它们的结构不一样，这就让实现的复杂度高了很多。所以他们正在处理所有这些事情，而这大概就是 OpenAI 这些封闭实验室正在做的事情——我们不知道他们是不是用了完全一样的技术。

31:06

length the common one that deep seek uses rotary positional embeddings which is called rope and if

Deep Seek 常用的那种长度扩展方法是旋转位置编码，也就是 RoPE，做法是对注意力矩阵进行复数旋转，这本质上就是一次矩阵乘法。

31:13

you want to use rope with a normal MOE it's kind of a sequential thing you take these you take two

你想用RoPE配合普通的MOE，这其实是个顺序操作——你要拿两个注意力矩阵，用复数旋转去旋转它们，这本质上就是个矩阵乘法。但DeepSeek的MLA这种新注意力架构就不一样了，他们得搞些巧妙处理，因为结构本身就不一样，这就让实现复杂度高了很多。所以他们得同时搞定所有这些事情，这大概就是OpenAI这些闭源实验室在做的——我们不知道他们是不是用了完全一样的技术，但高效的语言监控，以及其中一部分需要底层工程能力，说白了就是一团乱麻加各种骚操作。据我理解，他们想直接干到CUDA层面，所以做得非常底层。

31:18

of the attention matrices and you rotate them by a complex value rotation which is a matrix multiplication

受限于他们能获取到的 GPU，互联带宽在一定程度上受到限制，因为那些是合法运入中国的 GPU，不是走私的。

31:24

with deep seeks MLA with this new attention architecture they need to do some clever things

DeepSeek 的 MLA 加上这种新的注意力架构，他们得做一些巧妙的设计才行。

31:29

because they're not set up the same and it just makes the implementation complexity much higher

因为它们配置不一样，实现复杂度就高很多

31:34

so they're managing all of these things and these are probably the sort of things that

所以他们要管理所有这些事情，而这些大概就是

31:38

opening eye these close labs are doing we don't know if they're doing the exact same techniques but

那些闭源实验室在暗中做的事情——我们不知道他们是否用了完全一样的技术，但

31:42

they actually shared them with the world which is really nice to feel like this is the cutting edge of

他们实际上把这些技术分享给了全世界，这真的很棒，让人感觉这就是高效语言监控的前沿领域。其中一些工作需要底层工程能力，简直是一团乱麻和花招百出。据我理解，他们想深入到CUDA之下，所以直接进行超低层级的GPU编程。实际上，Nvidia构建了一个叫nickel的库，对吧？当你训练一个模型时，每一层之间都有大量的通信，而模型可能有上百层。Michael代表什么？是NCCL，Nvidia通信集合库。所以当你训练一个模型时，每一层之间都会有各种all-reduce和all-gather操作，比如在多层感知机或前馈网络之间。

31:47

efficient language monitoring and some of this is requires low level engineering

高效的语言监控，其中一些需要底层工程能力

31:52

just is a giant mess and trickery so as I understand they want below CUDA so they go super low

简直是一团乱麻加各种花招。所以据我理解，他们想绕过CUDA，直接走超底层

31:59

programming of GPUs effectively Nvidia builds this library called nickel right in which you know

Nvidia 给 GPU 编程搞了个库叫 nickel，对吧，你训练模型的时候，每一层之间都有通信，可能上百层。Michael 代表什么？是 NCCL，Nvidia 通信集合库。训练模型的时候，每层之间都要做 all reduce 和 all gather，不管是多层感知机还是前馈网络，反正就是所有 GPU 之间通信，训练和 inference 都一样。所以 Nvidia 有标准库，这也是为什么用别人家的硬件特别难。

32:06

when you're training a model you have all these communications between every single layer of the

训练模型时，每一层之间都有大量通信

32:10

model and you may have over a hundred layers what does Michael stand for? It's NCCL Nvidia communications

模型可能有上百层。Michael代表什么？是NCCL，Nvidia通信集合库

32:15

collectives library and so when when you're training a model right you're going to have all these

所以训练模型时，你会遇到所有这些

32:24

all reduces and all gathers right between each layer between the multi-layer perceptron or feed

每一层之间，多层感知器或前馈网络之间，都会有 all reduce 和 all gather 操作，对吧？这些操作涉及网络中所有 GPU 之间的通信，无论是训练还是推理阶段。所以 Nvidia 有一套标准库，这也是为什么很难用其他家硬件的原因之一。DeepSeek 在更高层面上做了类似的事情，因为他们能接触到的 GPU 有一些限制——互联能力在一定程度上受限于合法运往中国的 GPU 规格，不是那些走私的。但他们没有公开具体的实现细节，这些大概只是他们可能做的一部分。

32:29

forward network and the attention mechanism you'll have you'll have basically the model synchronized

前馈网络和注意力机制，基本上模型就同步了，对吧？或者你会用到全规约和全收集，这是网络中所有GPU之间的通信，无论是在训练还是推理阶段。所以英伟达有一个标准库，这也是为什么很难用其他厂商的硬件来做训练的原因之一——因为没人真正构建过一个标准的通信库，而英伟达在更高层面上做到了这一点。至于DeepSeek，因为他们能获取的GPU存在某些限制，互连在一定程度上受到合法运往中国的GPU规格的制约——不是那些走私进来的。

32:33

right or you'll have all the you'll have all reduce and all gather and and this is a communication

没错，否则你就会遇到一堆 all-reduce 和 all-gather 操作，这些是网络中所有 GPU 之间的通信，不管是训练还是推理阶段。所以 Nvidia 有一个标准库，这也是为什么用其他厂商的硬件会非常困难的原因之一。

32:39

between all the GPUs in the network whether whether it's in training or inference so Nvidia has a

DeepSeek 在更高层面上做了这件事，因为他们能用的 GPU 有一些限制——这些 GPU 的互联能力在一定程度上受到限制，因为合法运进中国的 GPU 本身就有出口管制，不是那些走私进来的。

32:43

standard library this is one of the reasons why it's really difficult to use anyone else's hardware

不过他们没有详细讨论实现细节，这大概只是他们做的一部分工作。

32:48

for training is because no one's really built a standard communications library and Nvidia has

训练方面的问题是，没人真正构建过标准的通信库，而Nvidia在更高层面做了这件事，对吧？DeepSeek因为能获取的GPU存在某些限制——这些GPU是合法运入中国的，不是走私的——所以互连在一定程度上受到限制。但他们没有公开实现细节，这大概就是他们做的一些事，可能不如DeepSeek做得好，因为DeepSeek是“需求是创新之母”，他们不得不这么做。而像OpenAI、Anthropic这些公司也有做这类事情的人，但DeepSeek确实公开做了，而且可能做得更好。

32:54

done this at a sort of a higher level right a deep seek because they have certain limitations

他们是在一个更高的层面上这么做的，对吧？DeepSeek 因为有一些限制——他们能用的 GPU 以及互连带宽都受到一定程度的制约，因为那些是合法运入中国的 GPU，不是走私的。但他们没有公开实现细节，这大概只是他们做的一部分。Anthropic 可能没这么做，但 DeepSeek 确实公开做了，而且可能做得更好。因为 GPU 嘛，上面有几百个核心，准确说是超过一百个 SM（流式多处理器）。他们专门做了调度：哪些核心在跑模型，哪些在做 all reduce，哪些在做 all gather，然后在这些任务之间来回切换。

32:58

around the GPUs that they have access to the interconnects are limited to some extent by the

但他们没有讨论具体的实现细节——这些只是他们可能做的一部分。Anthropic 之类的公司可能没公开，但 Deep Seek 确实公开做了，而且可能做得更好。

33:04

restrictions of the GPUs that were shipped into China legally not the ones that are smuggled but

GPU 嘛，上面有几百个核心，准确说是一百多个 SM（流式多处理器），他们专门做了调度：哪些核心跑模型，哪些核心做 all reduce。

33:08

legally shipped in that they used to train this model they had to figure out how to get efficiencies

合法运入的，他们用来训练这个模型的时候，必须想办法提升效率。

33:14

right and one of those things is that instead of just calling the Nvidia library NCCL right they

对，其中一件事就是，他们不是直接调用Nvidia的NCCL库，而是自己调度通信——有些实验室也会这么做。

33:20

instead created their they scheduled their own communications which which the lat some of the labs do

你提到过，在Llama 3里他们做了自己的NCCL定制版本，但没讲实现细节。这大概就是他们做的一部分，可能不如DeepSeek做得好，因为DeepSeek是“需求是创新之母”，他们不得不这么做。

33:26

right you met a talked about in Lama 3 how they made their own custom version of NCCL this is they

而像OpenAI、Anthropic这些公司也有专门做这类事情的人，但DeepSeek确实公开做了，而且可能做得更好。

33:31

didn't they didn't talk about the implementation details this is some of what they did probably not

他们没有讨论具体的实现细节，这只是他们做的一部分，可能

33:35

as well as maybe not as well as deep seek because deep seek necessity is the mother of innovation

以及可能不如Deep Seek做得好，因为Deep Seek那边“需求是创新之母”，他们不得不这么做。而像OpenAI、Anthropic这些公司，也有人在做这类事情。但Deep Seek确实公开做了，而且可能做得更好，因为GPU嘛——上面有几百个核心，准确说是一百多个SM核心。他们专门去调度：哪些核心在跑模型，哪些在做all reduce，哪些在做all gather，然后在这些任务之间来回切换。这需要非常底层的编程，而通常NCCL或者其他Nvidia库会自动处理这些。对，没错。所以从技术上讲，他们是在用……

33:40

and they had to do this whereas in the case you know OpenAI has people that do this sort of stuff

而他们不得不这样做，而像OpenAI、Anthropic这些公司也有专门的人做这类事情，但Deep Seek确实是公开这么做的，而且可能做得更好，因为GPU嘛——上面有几百个核心，准确说是一百多个SM核心。他们专门去调度：哪些核心在跑模型，哪些在做all reduce，哪些在做all gather，然后在它们之间来回切换。这需要非常底层的编程，而通常NCCL或者其他Nvidia库会自动处理这些。对，没错，所以技术上他们用的就是那些东西，但那仍然是CUDA的一部分，只不过问题是——我到底要不要用Python来写？

33:46

anthropic etc but deep seek certainly did it publicly and they may have done it even better because

Anthropic 之类的公司没公开，但 DeepSeek 确实公开了，而且可能做得更好，因为

33:52

they were gimp on a certain aspect of the chips that they have access to and so they scheduled

他们在能接触到的芯片的某个方面被限制了，所以他们就通过调度特定的SM来安排通信——你可以把SM理解为GPU上的核心，对吧？GPU上有几百个核心，大概一百多个SM。他们专门去调度：哪些SM在跑模型，哪些在做all reduce，哪些在做all gather，然后在它们之间来回切换。这需要非常底层的编程，而通常NCCL或者其他Nvidia库会自动处理这些。对，没错。所以技术上他们用的是PTX，你可以把它理解成一种类似汇编的语言，但又不是。

33:58

communications on you know by scheduling specific SMs SMs you could think of as like the core on a

通过调度特定的 SM（你可以把 SM 理解为 GPU 上的核心，对吧，一个 GPU 上有上百个核心，大概一百多个 SM），它们会专门调度——哪些 SM 在跑模型，哪些在做 all reduce，哪些在做 all gather，然后在它们之间来回切换。这需要非常底层的编程，通常 NCCL 会自动完成这些，或者别的 Nvidia 库也会自动处理。对，没错。所以技术上他们用的是 PTX，你可以把它想象成一种汇编级别的语言，虽然不完全一样，但它本质上还是 CUDA 的一部分。问题是，我到底想不想用 Python 来写？

34:05

GPU right so there's hundreds of cores are there's you know a bit over 100 cores SMs on a GPU and

GPU 对吧，上面有几百个核心，准确说是一个 GPU 上有超过一百个 SM 核心，

34:11

they were specifically scheduling hey which ones are running the model which ones are doing all reduce

他们专门在调度：哪些核心跑模型，哪些核心做 all reduce

34:15

which one are doing all gather right and they would flip back and forth between them and this

它们会在 all gather 之间来回切换，而

34:19

requires extremely low level programming this is what NCCL does automatically or other Nvidia

这需要非常底层的编程，而NCCL或者其他Nvidia库通常会自动处理这些，对吧？没错，就是这样。所以从技术上讲，他们用的就是那些东西，但这仍然属于CUDA的一部分。问题是，我到底要不要用Python来写？有些情况下，那些大型实验室会一路深入到最底层，但大多数公司根本不会这么做，因为那太浪费时间了，而且能获得的效率提升根本不值得。但DeepSeek的实现极其复杂，尤其是他们的混合专家模型。别人也做过混合专家模型，但通常只有8个或16个专家，激活的可能只有模型的四分之一左右，而这就是他们的做法。

34:24

libraries handle this automatically usually yeah exactly and so technically they're using you know

这些库通常会自动处理，对，完全正确，所以技术上它们用的是

34:29

PTX which is like sort of like you could think of it as like an assembly type language it's not

PTX，你可以把它理解成一种类似汇编的语言，其实也不完全一样，但它本质上还是属于CUDA的一部分。问题是，我是想用Python写呢，还是用更底层的编码，甚至直接降到汇编器级别？确实有那种情况，在那些大型实验室里，他们会一路做到最底层，但大多数公司根本不会这么做，对吧？因为那太浪费时间了，而且带来的效率提升根本不值得。但DeepSeek的实现就特别复杂，尤其是他们的混合专家模型。别人也做过混合专家模型，但通常就是8个或16个专家，激活的时候可能只让模型四分之一的部分运行，对吧？而DeepSeek的做法是……

34:34

exactly that our instruction set right like coding directly to assembly instruction set it's not

没错，我们的指令集就像直接写汇编指令集一样，虽然不是完全一样，但技术上还是属于Kuda的一部分。问题是，我是想用Python写，比如PyTorch的等价物，然后调用Nvidia的库？还是想降到sea level？或者甚至编码到更低的层级？又或者一路降到汇编器ISO级别？确实有些情况，在非常大的实验室里，他们会一路降到那个层级，但大多数公司不会这么做，因为那是浪费时间，而且你获得的效率提升根本不值得。但DeepSeek的实现非常复杂，尤其是他们的mixture of experts。别人也做过mixture of experts，但通常只有8个或16个专家，而他们激活的……

34:38

exactly that but that's still part of technically kuda but it's like do I want to write in Python

就是那个，但这仍然是 CUDA 的一部分，只不过问题是，我到底要不要用 Python 来写

34:44

you know PyTorch equivalent and call Nvidia libraries do I want to go down to the sea level right

你知道PyTorch的替代方案，然后调用Nvidia的库，我到底要不要深入到sea level那个层面，或者再往下走，甚至到assembler或者ISO那个级别。确实有些情况，像那些非常大的实验室会一路做到最底层，但大多数公司根本不会这么做，因为那太浪费时间了，而且效率提升根本不值得。但DeepSeek的实现真的非常复杂，尤其是他们的mixture of experts。之前也有人做过mixture of experts，但通常就是8个或16个专家，然后激活的时候，可能只激活模型四分之一的部分。Mistral的那个mixture模型就是这样，正是那个模型让他们一下子火到“我的天哪”的程度。

34:48

or you know encode even lower level or do I want to go all the way down to the assembler ISO level

或者说，你是在考虑更底层的编码，甚至一路降到汇编或ISO层面？确实，在那些大型实验室里，有时候会一路做到那个深度，但大多数公司不会这么干，对吧？因为那太浪费时间了，而且能获得的效率提升根本不值当。但DeepSeek的实现就特别复杂，尤其是他们的混合专家模型。别人也做过混合专家模型，但通常就是8个或16个专家，对吧？然后激活的时候，可能只有四分之一，也就是你模型里四分之一的专家被激活。而在混合专家模型里，有一种叫辅助损失的东西，本质上就是说，其中一个目标是token预测的准确率。如果你只是让训练在混合专家模型里自由进行，

34:53

and and there are cases where you go all the way down there at the very big labs but most companies

而且有些情况下，那些大型实验室会一路做到最底层，但大多数公司

34:58

just do not do that right because it's a waste of time and the efficiency gains you get are not

根本不会这么做，对吧，因为那是浪费时间，而且你获得的效率提升根本不值得

35:03

worth it but deep seeks implementation is so complex right especially with their mixture of experts

但 DeepSeek 的实现实在太复杂了，尤其是他们的 mixture of experts

35:08

right people have done mixture of experts but they're generally 8 16 experts right and they activate

别人也做过 mixture of experts，但通常只有 8 到 16 个专家，而他们激活的

35:14

to so you know one of the words like you like to use as like sparsity factor right or usage right so

所以你看，像你常说的那个词，比如“稀疏因子”对吧，或者“使用率”。你可能只有四分之一的模型被激活，对吧？Mistral 的混合专家模型就是这样，那个模型真的让他们一炮而红，让人觉得“天哪，他们真的太厉害了”。OpenAI 也有 MOE 模型，其他那些主要闭源的大实验室也都有。但 DeepSeek 做的一件事，可能只有顶尖实验室最近才开始尝试，就是用了极高的稀疏因子——不是四分之一模型被激活，也不是每次经过模型时八个专家里激活两个，而是 256 个专家里激活八个。而且混合专家模型有不同的实现方式，你可以让其中一些专家……

35:19

you might have four you know one fourth of your model activate right and and that's what

你可能只有四分之一，也就是你模型的四分之一被激活，对吧，就是这样

35:24

Mistral's mixture model right there their model that really catapulted them to like oh my god

Mistral 的那个 mixture model 就是让他们一下子火到不行的模型，

35:30

they're really really good opening I has also had models that are M O E and so I have all the other

它们真的非常出色。我也有过一些采用MoE架构的模型，其他主要闭源实验室也都在做，但DeepSeek做到的——可能只有顶尖实验室最近才开始尝试的——是拥有如此高的稀疏因子。不是模型四分之一的部分，也不是每次经过模型时激活八个专家中的两个，而是256个专家中激活八个。混合专家模型有不同的实现方式，可以让部分专家通过这种方式处理，再让另一些专家通过路由机制筛选出来。而DeepSeek架构的创新之一，就是改变了这个路由机制。在混合专家模型中，有一种叫做辅助损失的东西，它实际上意味着——

35:36

labs that are major closed but what deep seek did that maybe only the leading labs have only just

那些主要闭源的实验室，但 Deep Seek 做的事情——可能只有顶尖实验室最近才开始做——就是用了这么高的 sparsity factor，

35:41

started recently doing is have such a high sparsity factor right it's not one fourth of the model

不是模型四分之一的部分被激活，而是每经过一次模型，256 个 expert 里只激活八个，

35:46

two out of eight experts activating every time you go through the model it's eight out of 256 and

mixture of experts 有不同的实现方式，可以让一部分 expert 通过，

35:51

there's different implementations for mixture of experts where you can have some of these experts

然后还有一些是通过这个 routing mechanism 选出来的，

35:56

that are always activated which this just looks like a small neural network and then all the tokens

始终处于激活状态的这部分看起来就像一个小型神经网络，所有token都会经过它，同时也会通过一些由路由机制选中的部分。DeepSeek架构的创新之一就是改进了这个路由机制。在混合专家模型中，存在一种称为辅助损失（auxiliary loss）的机制，其核心作用是在训练过程中确保所有专家都能被模型所见的各类任务充分利用。混合专家模型可能失败的原因在于：当进行训练时，唯一的目标是token预测准确率。如果放任混合专家模型自行优化，模型可能会学会只使用其中一部分专家。

36:03

go through that and then they also go through some that are selected by this routing mechanism

而 Deep Seek 架构的一个创新点就是他们改了 routing mechanism，

36:08

and one of the innovations and deep seeks architecture is that they change the routing mechanism

在 mixture of expert 模型里，有个东西叫 auxiliary loss，它的作用其实就是——

36:15

in mixture of expert models there's something called an auxiliary loss which effectively means

在混合专家模型里，有一种叫辅助损失的东西，它的核心目标其实是token预测的准确率。如果你只是让训练在混合专家模型里跑，但仔细想想深度学习里的损失函数，这其实跟那篇《苦涩的教训》也有联系——就是说你希望模型里尽可能少带归纳偏置，让模型自己学到最多东西。而这个辅助损失，也就是在不同专家之间做平衡，可能会跟token预测的准确率产生冲突。所以我们不太清楚DeepSeek具体是怎么做的——在每个batch之后，他们会更新这个参数，确保下一个batch里不会出现某个网络完全闲置的情况，因为所有token都路由到那个网络去了。所以这是最大的问题。

36:20

during training you want to make sure that all of these experts are used across the tasks that the

在训练过程中，你要确保所有这些专家（experts）都被用于模型所看到的任务中。混合专家模型（mixture of experts）可能失败的原因之一是，当你进行训练时，唯一的目标是token预测准确率（token prediction accuracy），如果你让混合专家模型自己跑，模型可能会学会只使用其中一部分专家。但如果你思考一下深度学习中的损失函数（loss functions），这甚至联系到了“苦涩的教训”（the bitter lesson）——你希望在你的模型中拥有最小的归纳偏置（inductive bias），让模型最大化地学习。而这种辅助损失（auxiliary loss）——即跨专家的平衡——可以被视为对token预测准确率的一种干预。所以我们并不确切知道DeepSeek在这方面的具体程度。

36:25

model sees why there can be failures in mixture of experts is that when you're doing this training

模型发现混合专家模型（mixture of experts）可能失败的原因在于，当你进行训练时，唯一的目标是token预测准确率（token prediction accuracy）。如果你让一个混合专家模型自己跑，它可能会学会只使用其中一部分专家。但如果你思考一下深度学习的损失函数，这甚至联系到了“苦涩的教训”（the bitter lesson）——你希望模型拥有最小的归纳偏置（inductive bias），让模型最大化地自主学习。而这种辅助损失（auxiliary loss），即跨专家的平衡机制，可能会干扰token的预测准确率。所以我们不确定DeepSeek具体做到了什么程度——他们在每个batch之后更新这个参数，以确保接下来的所有batch都能保持平衡。

36:32

the one objective is token prediction accuracy and if you just let turning go with a mixture of

唯一的目标就是token预测准确率，如果你只是让训练过程混合进行的话

36:37

expert model on your own it can be that the model learns to only use a subset of the experts

你自己训练的专家模型，可能会让模型只学会使用其中一部分专家。但如果你思考深度学习的损失函数，这甚至关联到“苦涩的教训”——你希望模型拥有最少的归纳偏置，让模型最大化地自主学习。而这种跨专家的辅助损失平衡，可以看作是对token预测准确性的干预。所以我们并不确切知道DeepSeek的具体程度——在每批数据更新参数后，确保下一批数据中所有token不会都路由到同一个网络导致其闲置，这是最大的问题。也就是说，你知道的，这个32比4的比例差异，会导致你最终拥有太多专家。

36:44

and in the MOE literature there's something called the auxiliary loss which helps balance them

在MOE的文献里，有个叫辅助损失的东西，用来帮助平衡各个专家。但如果你仔细想想深度学习里的损失函数，这甚至能联系到那个苦涩的教训——就是希望模型里尽可能少带归纳偏置，让模型自己学到最多东西。而这个辅助损失，也就是跨专家的平衡机制，可以被看作是对token预测准确率的一种干预。所以我们并不清楚DeepSeek对MOE改动具体有多大——他们没用辅助损失，而是在路由里加了一个额外参数，在每个batch之后更新这个参数，确保接下来的batch里各个专家被使用的频率差不多。这种改动可大可小，但日积月累下来影响就大了。

36:50

but if you think about the loss functions of deep learning this even connects to the bitter lesson

但如果你思考一下深度学习的损失函数，这甚至能联系到苦涩的教训

36:55

is that you want to have the minimum inductive bias in your model to let the model learn

那就是你希望模型拥有最少的归纳偏置，让模型最大化地自主学习

37:01

maximally and this auxiliary loss this balancing across experts could be seen as intention

而这种辅助损失、专家间的负载均衡，可以被视为一种意图

37:07

with the prediction accuracy of the tokens so we don't know the exact extent that the deep seek

与token的预测准确率相关，所以我们不清楚DeepSeek具体做到了什么程度

37:12

MOE change which is instead of doing an auxiliary loss they have an extra parameter in their routing

MOE 的一个变化是，他们不再用辅助损失，而是在路由里加了一个额外参数，每批数据之后更新这个参数，确保下一批数据对专家的使用更均衡。这种改动可大可小，但日积月累下来效果就很明显。现在训练大型 MOE 的时候，大家都在关注这类事情，就是逐渐摆脱辅助损失。有些团队可能已经在用了，但关键是一直积累改进，我们后面会聊到训练哲学，以及怎么组织这些流程。其实很大程度上，就是在数据、架构、后训练以及它们之间的整合上，不断叠加小改进。Deep Seek 也是这么做的，有些改进是共通的。

37:17

which after the batches they update this parameter to make sure that the next batches all have a

在每批数据之后，他们会更新这个参数，以确保接下来的所有批次中

37:22

similar use of experts and this type of change can be big it can be small but they add up over time

专家们的类似使用方式，以及这种变化可大可小，但随着时间的推移会逐渐累积。

37:28

and this is the sort of thing that just points to them innovating and I'm sure all the labs that

这恰恰说明他们在不断创新，我相信所有训练大型MOE的实验室都在关注这类方法——也就是摆脱auxiliary loss的束缚，有些团队可能已经在用了。但关键在于持续积累优势，我们接下来会聊到训练哲学，以及如何组织这些团队。很大程度上，这不过是数据、架构、post-training以及它们之间协同方式的渐进式改进。DeepSeek也是这么做的。有些细节是公开的，或者说很大程度上我们只能相信他们分享了最重要的信息——毕竟架构和权重都公开了，所以我们能看到他们在做什么。

37:32

are training big MOE's are looking at this sort of things which is getting away from the auxiliary

现在训练大型MOE时都在关注这类问题，这正在摆脱辅助损失函数。

37:36

loss some of them might already use it but you just keep you keep accumulating gains and we'll talk

有些人可能已经在用了，但你只需要不断积累收益，我们接下来会讨论训练哲学，以及如何组织这些团队。

37:40

about the philosophy of training and how you organize these organizations and a lot of it is just

其中很大一部分就是在数据、架构和后训练中，通过持续的小改进来叠加效果，并让它们相互整合。

37:46

compounding small improvements over time in your data and your architecture and your post-training

DeepSeek也是这么做的。

37:51

and how they integrate with each other and deep seek does the same thing and some of them are shared

有些方案会共享一部分GPU资源或特定GPU集群，而训练网络的其他部分则处于闲置状态，因为所有token都只路由到那里。

37:56

or a lot we have to take them on face value that they share their most important details

很多时候我们只能相信他们公开了最重要的细节

38:00

I mean the architecture and the weights are out there so we're seeing what they're doing

我是说架构和权重都公开了，所以我们能看到他们在做什么

38:03

and it adds up going back to sort of the like efficiency and complexity point right it's

回到效率和复杂性的问题上来，这个差距确实很大——32比4，比如混合专家模型（MOE）和其他公开的模型。这个比例非常高，Nathan刚才想表达的是，当稀疏程度差异这么大时，你不能让每个GPU都加载整个模型，对吧？模型太大了，复杂度太高，所以你必须用不同类型的并行化来拆分模型。比如，你可能把不同的专家放在不同的GPU节点上，但问题来了：当你拿到一批数据，发现它们全都指向同一个方向，全都应该路由到模型的同一个部分时，那该怎么办？

38:08

32 versus 4 right for like mixed raw and other MOE models that have been publicly released

32 比 4，对吧，对比那些已经公开的混合 raw 和其他 MOE 模型

38:14

so this ratio is extremely high and sort of what Nathan was getting at there was

这个比例非常高，Nathan 当时想表达的是

38:18

when you have such a different level of sparsity you can't just have every GPU have the entire model

当稀疏度差异这么大的时候，你不能让每个 GPU 都装下整个模型

38:25

right the model's too big there's too much complexity there so you have to split up the model

没错，模型太大了，复杂度太高，所以你必须用不同类型的并行来拆分模型

38:29

with different types of parallelism right and so you might have different experts on different

你可能把不同的 expert 放在不同的 GPU 节点上

38:33

GPU nodes but now what what happens when you know this set of data that you get hey all of it looks

但问题是，当你拿到这组数据时——嘿，所有数据看起来都——

38:39

like this one way and all of it should route to one part of my you know model right so when all of

像这样，所有的数据都会路由到模型中的某一部分，对吧？所以当某一部分的GPU资源或某几块GPU被占用时，训练网络的其他部分就闲置了，因为所有的token都只流向那里。这就是运行稀疏混合专家模型时最大的复杂性之一，比如这个32比4的比例，会导致很多专家模块一直闲置。那么，我该如何在它们之间做负载均衡？如何调度它们之间的通信？这些就是他们公开解决的、极其底层的细节工作，可能是全球第一，也可能是第二或第三，甚至在某些方面是第一。

38:45

it routes to one part of the model then you can have the you can have this overloading of a certain

它会把请求路由到模型的某一部分，然后你就会遇到某个特定GPU资源集或某组GPU过载的情况，而训练网络的其他部分却闲置着，因为所有token都只路由到那里。所以这是运行一个非常稀疏的混合专家模型时最大的复杂性之一——比如你提到的32比4这个比例——最终会导致大量专家节点闲置。那么问题就来了：如何在它们之间做负载均衡？如何调度它们之间的通信？这其实涉及大量极其底层的细节工作，而他们（指相关团队）在全球率先解决了这些问题，可能在全球排名第二或第三，甚至在某些方面是第一名。

38:51

certain set of the GPU resources or a certain set of the GPUs and then the rest of the training

所以这是最大的问题。

38:57

network sits idle because all of the tokens are just routing to that so this is the biggest

网络不会闲置，因为所有token都路由到了同一个专家，所以这是最大的问题

39:01

complexity one of the big complexities with running a very you know sparse mixture of experts model

运行稀疏混合专家模型的一个大复杂性在于，你知道，这种32比4的比例会导致大量专家处于闲置状态。那么我该如何在它们之间做负载均衡？如何调度它们之间的通信？这其实涉及大量极其底层的细节工作，他们率先在公开领域解决了这些问题，可能在全球排名第二或第三，甚至在某个高层次的后训练方面排名第一。这究竟是一个短期突破，因为他们找到了某种取巧方法——毕竟需求是发明之母——还是说仍有很大的提升空间？我认为我们应该先总结一下苦涩教训到底在讲什么。

39:07

i.e. you know this 32 ratio versus this 4 ratio is that you end up with so many of the experts

也就是说，你知道这个32比和那个4比的区别在于，最终你会得到非常多的专家。它们之间有很多那种极其底层的细节工作，是他们率先公开搞定的，可能在全球排第二或第三，甚至在某个高端层面——比如后训练——排第一。这是不是一种短期的飞跃，因为他们找到了某种捷径？毕竟“限制是创新之母”嘛。还是说，这里面仍然有很大的提升空间？我觉得我们应该先总结一下“苦涩的教训”到底在说什么。它的核心是：那些在学习和搜索中具有可扩展性的方法才是关键。它强调的是，避免在你的学习过程中加入人类的先验知识。如果你读过那篇原始文章，就会明白这一点。

39:13

just sitting there idle so how do I load balance between them how do I schedule the communications

它们就闲置在那里，那我怎么在它们之间做负载均衡？怎么调度它们之间的通信？这其实是一大堆极其底层的细节工作，他们率先在公开领域搞明白了，可能在全球排第二或第三，甚至在某个高端后训练方向上排第一。这到底是个短期突破，因为他们找到了某种捷径——毕竟“限制催生创新”——还是说仍有大量提升空间？我觉得我们应该总结一下“苦涩的教训”到底在说什么：它强调的是那些在学习和搜索中具有可扩展性的方法，它指出要避免在训练过程中加入人类先验知识。如果你读过那篇原始文章，就会发现这一点。

39:17

between them this is a lot of the like extremely low level detailed work that they figured out

他们之间有很多这种极其底层的细节工作，都是他们摸索出来的

39:24

in the public first and potentially like second or third in the world and maybe even first in some

在公众层面，这可能是全球第二或第三，甚至在某些方面是第一。

39:28

cases what lesson do you in the direction of the bitter lesson do you take from all of this where

从这些案例中，你从苦涩教训里学到了什么？未来的方向会是那种底层优化带来大量收益，还是这只是短期现象，更大的收益会来自算法高层，比如后训练？这到底是因为他们找到了某种捷径，因为需求是发明之母，还是说仍然有大量收益空间？我认为我们应该先总结一下苦涩教训到底在说什么。简单来说，苦涩教训的核心意思是，随着时间推移，在深度学习中最终胜出的训练方法，是那些在学习和搜索上具有可扩展性的方法。

39:35

is this going to be the direction where a lot of the gain is going to be which is this kind of low

这会是未来大部分收益的方向吗——也就是这种底层优化？还是说这只是短期现象，更大的收益会来自算法层面、更高级的post training？这算是一个短期突破，因为他们找到了某种hack，毕竟需求是发明之母？还是说这里面仍然有大量收益空间？

39:40

level optimization or is this a short term thing where the biggest gains will be more and the algorithmic

我觉得我们应该先总结一下bitter lesson到底在讲什么。bitter lesson的核心，如果用大白话说就是：在深度学习领域，最终胜出的训练方法，是那些在学习和搜索上具有可扩展性的方法。它特别强调，不要在你的学习过程中加入太多human priors。如果你去读那篇原始文章，就会发现这一点。

39:47

high level side of like post training is is this like a short term leap because they figured out like

从后训练的高层视角来看，这究竟是短期突破——因为他们找到了某种“捷径”，毕竟需求是发明之母——还是仍有大量提升空间？

39:53

a hack because constraints necessities the mother of invention or is there is still a lot of gain

我认为我们应该总结一下“苦涩的教训”到底在说什么：它指出，那些在学习和搜索中具有可扩展性的方法才是关键。

40:00

i think we should summarize what the bitter lesson actually is about is that the bitter lesson

它强调要避免在训练过程中加入人类先验知识。如果你读过原文，就会明白这种方法更有可能持续扩展并推动成功。

40:05

essentially if you paraphrase it is that the types of training that will win out in deep learning as

简单概括一下就是，随着深度学习的发展，最终胜出的训练方法，是那些在学习和搜索上具有可扩展性的方法，文章特别指出要避免在训练过程中加入人类先验知识。如果你读过那篇原文，会发现这是一个具体的问题——短期内可能带来一些小收益，但真正让这些深度学习系统高效运转、并长期解决更大问题时，更有可能通过扩展来持续推动成功。所以我们当时讨论的是对混合专家模型的一些相对较小的实现改动，也就是说，我们还需要几年时间才能知道这些改动是否真的对“苦涩的教训”至关重要。

40:12

we go are those methods that are which are scalable in learning and search is what it calls out

因此，我们讨论的是对混合专家模型相对较小的实现改动，所以这就像是在说：好吧，我们还需要更多。

40:18

and the scale word gets a lot of attention in this the interpretation that i use is effectively to

“scale”这个词在这里很受关注，我用的解释其实是指，避免在训练过程中加入人类的先验知识。如果你读过那篇原始文章，它讲的就是研究人员会试图针对自己的具体问题想出一些聪明的解决方案，这些方案短期内可能带来小幅提升，但只是让这些深度学习系统能高效运行；而长期来看，对于更大的问题，更有可能通过“scale”来持续推动成功。所以我们当时讨论的是对混合专家模型的一些相对较小的实现改动，所以就像，好吧，我们还需要几年时间才能知道其中哪些改动对“苦涩的教训”真的至关重要。

40:28

avoid adding in the human priors to your learning process and if you read the original essay this is

避免在你的学习过程中加入人类先验知识，如果你去读原始论文，

40:35

what it talks about is how researchers will try to come up with what clever solutions to their

它讲的是，研究人员会尝试针对自己的具体问题想出一些聪明的解决方案，这些方案短期内可能带来小幅提升，但长期来看，只是让这些深度学习系统高效运行，而更大的问题则更可能通过规模化来解决并持续推动成功。所以我们当时讨论的是对混合专家模型相对较小的实现改动，也就是说，好吧，我们还需要几年时间才能知道其中某个改动是否真的对“苦涩的教训”至关重要。但行业里有句话是，模型只是想学习，你得给它们一个简单的损失景观，把算力投入模型，它们就会学习，而障碍只是

40:41

specific problem that might get them small gains in the short term while simply enabling these

某个具体问题可能在短期内带来小幅收益，但只是让这些深度学习系统高效运行，而长期来看，那些更大的问题更有可能通过规模化持续推动成功。所以我们当时讨论的是对混合专家模型相对较小的实现改动，也就是说，我们需要再过几年才能知道其中某个改动是否真的对“苦涩的教训”至关重要。但测试这些新想法，比如多头注意力，可能可以从训练 DeepSeek V3 和 DeepSeek R1 这样的模型开始。如果你把这些代码库拿给我们看，我猜它们会是质量极高、可读性极强的代码。是的，我觉得有一个方面是……

40:47

deep learning systems to work efficiently and for these bigger problems in the long term might be

深度学习系统要高效运行，并且长期来看要解决这些更大的问题，可能更有可能通过规模化来持续推动成功。所以我们当时在讨论对混合专家模型（mixture of experts model）做一些相对较小的实现改动，然后就像，好吧，我们还需要几年时间才能知道其中哪些改动对“苦涩教训”（the bitter lesson）真的至关重要。但测试这些新想法，比如multi-head attention，可能可以从类似DeepSeek V3和DeepSeek R1的训练开始。那些代码库，如果你拿给我们看，我猜会是质量极高的代码，非常高质量、可读性强的代码。是的，我觉得有一个方面是，你调整一下，结果全崩了，对吧？这确实是个问题，可能你懂的……

40:53

more likely to scale and continue to drive success and therefore we were talking about relatively small

这更有可能实现规模化并持续推动成功，所以我们当时在讨论的是

41:01

implementation changes to the mixture of experts model and therefore it's like okay like we will need

对 mixture of experts 模型相对较小的实现改动，因此结论就是：好吧，我们需要

41:07

a few more years to know if one of these are actually really crucial to the bitter lesson but the

还需要几年才能知道其中某个想法是否真的对“苦涩的教训”至关重要，但

41:12

bitter lesson is really the long term arc of how simplicity can often win and there's a lot of

苦涩的教训其实是长期趋势的体现，说明简单性往往能胜出。行业里有很多说法，比如模型只想学习，你得给它们一个简单的损失函数，让计算通过模型，它们就会自己学。排除障碍才是关键——像Nickel这样的东西之所以强大，就在于它提供了标准化的代码，能让很多人用来创造简单且可扩展的创新。这就是为什么我猜DeepSeek的代码库可能是一团乱麻。我敢肯定DeepSeek的代码库肯定极其混乱，因为他们正在测试这些新想法，比如multi-head latent attention，很可能就是从类似的东西起步的。

41:18

sayings in the industry like the models just want to learn you have to give them the simple

行业里有句话，模型就是想学习，你得给它们简单的loss landscape，把算力投进去它们就会学，然后突破那些能被很多人用来创造简单、可扩展创新的障碍。

41:22

loss landscape where you put compute through the model and they will learn and getting barriers

这就是为什么我猜DeepSeek的代码库可能是一团乱麻。

41:28

out of the way that that's where the power something like nickel comes in where standardized code

抛开这些不谈，这正是像Nickel这样的东西发挥作用的地方——标准化的代码可以被很多人用来创造简单且可扩展的创新。所以我猜DeepSeek的代码库可能是一团乱麻。我敢肯定DeepSeek绝对有极其混乱的代码库，他们在里面测试这些新想法，比如multi-head attention可能最初就是从类似的东西开始的。但像DeepSeek V3和DeepSeek R1这样的库，如果拿给我们看，我猜会是质量极高的代码，非常清晰易读。不过有一点值得注意，就是这种通用能力能否跨场景迁移。

41:34

that could be used by a lot of people to create sort of simple innovations that can scale

我敢肯定DeepSeek绝对有极其混乱的代码库，他们在里面测试这些新想法，multi-head attention可能就是从类似的东西开始的。

41:39

which is why the hacks that I imagine that the code base for deep seek is probably a jam mess.

至于DeepSeek V3和DeepSeek R1的那些库，如果拿给我们看，我猜会是质量极高的代码，非常干净、可读性强。

41:45

I'm sure they have deep seek definitely has code bases that are extremely messy where they're

嗯，我觉得确实有一方面是这样。

41:49

testing these new ideas multi headlight and attention probably start could start in something like

测试这些新想法——比如多头注意力机制——可能可以从类似

41:54

a Jupiter notebook or somebody tries something on a few GPUs and that is really messy but the stuff

一个Jupyter Notebook或者有人在几块GPU上试点什么，那东西乱得很。但像训练DeepSeek V3和DeepSeek R1的那些库，你要是拿给我们看，我猜代码质量极高，可读性很强。对，不过我觉得有一点值得注意，就是这种代码在不同类型的训练任务之间能不能通用。你可能为某个特定模型架构和规模写了非常高质量的代码，但换到另一个场景——比如我改一下架构，结果全崩了，又得重来。这确实是个问题，因为他们那种底层编码，比如调度SM的方式，是专门针对这个模型架构的。

42:00

let trains deep seek v3 and deep seek r1 those libraries if you were to present them to us I would

DeepSeek V3 和 DeepSeek R1 这样的项目开始。那些代码库，如果你拿给我们看，我猜

42:07

guess are extremely high quality code very quality readable code yeah I think there is one aspect

质量会极高，可读性也非常好。是的，我觉得有一个方面是：

42:13

to note though right is that there is the general general ability for that to transfer across

不过需要注意的是，这种通用能力可以在某种规模的架构之间迁移，但当你对架构做调整时，它就不一定能迁移过去了——比如你改一下架构，结果一切又崩了，对吧。这其实跟他们那种底层编码方式有关，比如调度SM（流式多处理器）就是针对特定模型架构的。但如果你要做all-reduce（全规约），我不管你是什么模型架构，它都能跑通。当然，在很多情况下这样做会牺牲大量性能，但考虑到他们面临的计算资源限制以及这些前沿模型（比如initiate）的可信度问题，针对特定运行场景做专门的优化还是值得的。

42:19

different types of runs right you may make really really high quality code for one specific model

不同类型的运行方式对吧，你可能会为某一种特定模型架构和规模写出非常高质量的代码，但当你对这个架构做一点调整时，一切又都崩了，对吧。这就像那种情况，他们那种底层的、针对特定模型架构的编程，比如调度SM的方式，都是针对这个模型架构的。你想做一个all reduce，没问题，我不在乎你的模型架构是什么，它都能跑。但在很多情况下，这样做你会牺牲大量性能。不过，考虑到他们在算力方面的限制，以及这些前沿模型（比如initiate）的可信度，对他们来说，针对特定运行做这种专门的优化是值得的。

42:25

architecture at one size and then that is not transferable to hey when I make this architecture

一种架构在某个规模下可行，但当你调整这个架构时，一切又都崩了，对吧？这就像他们那种底层编码方式，比如针对特定模型架构来调度SM（流多处理器）。你想做all-reduce（全规约）？没问题，我不管你是什么模型架构，它都能跑。但在很多情况下，这样做会牺牲大量性能。不过，考虑到他们面临的计算资源限制以及运行的可信度要求，针对特定运行做特定优化是值得的。就像这些前沿模型，在调试阶段推动创新，确保你监控的一切都没有问题。

42:31

tweak everything's broken again right like that's that's something that could be you know with

一调整，所有东西又崩了，对吧？这可能是你在调试阶段需要创新的地方，比如确保

42:37

their with their specific low level coding of like scheduling SMs is specific to this model architecture

他们针对这种模型架构，做了那种底层的、调度SM的特定编码。

42:41

and size right and whereas like in videos collectives library is more like hey it'll work for anything

而且关于规模，像视频领域的集体库更像是“嘿，它对什么都管用”——你想做个全规约？没问题，我才不管你模型架构是什么，它都能跑。但在很多情况下，这样做会牺牲大量性能。不过，考虑到他们拥有的计算资源限制，针对特定运行做特定优化是值得的。至于这些前沿模型，比如启动训练时，你得有能一键运行的代码，确保不会花大把金钱和时间去训练——我的意思是，在调试阶段肯定有很多创新，比如确保没有问题时你一直在监控。

42:48

right you want to do an all reduce great I don't care what your model architecture is it'll work

对，你想做个全规约，没问题，我不管你模型架构是什么，它都能跑。

42:52

and you're giving up a lot of performance when you do that in many cases but it's it's worthwhile for

但在很多情况下，这样做会牺牲大量性能，不过对他们来说，考虑到计算资源的限制，针对特定运行做特定优化是值得的。

42:57

them to do the specific optimization for the specific run given the constraints that they have

说到这些前沿模型，比如在调试阶段推动创新，确保监控和底层没有问题时，可信度如何？

43:03

regarding compute what a house trustable it is to like you know these frontier models like initiate

但实际上，尤其是像MOE这种更复杂的东西，最大的问题在于它本身，或者fp8训练——这是另一个创新，也就是采用更低精度的数值格式。

43:10

training like to have the code which does to push the button that like you're not spending a large

训练就像写代码去按那个按钮，你不想花大把的钱和时间来训练，所以我觉得在调试阶段肯定有很多创新，比如确保没有问题、监控各种仪表盘，但最简单的就是看你的loss（损失值）对吧，它持续下降。但实际上，特别是像MOE（混合专家模型）这种更复杂的东西，或者fp8训练——这是另一个创新，就是采用更低精度的数值格式，也就是不那么精确——最大的问题是你最终会遇到loss spikes（损失值突增），而且没人知道为什么会出现loss spike。很多时候，有些是数据问题，我可以举一个AI2的例子。

43:17

amount of money and time to train this like there must I mean that there must be a lot of

训练这个模型需要投入大量的资金和时间，我觉得在调试阶段肯定得有很多创新，比如确保没有异常、监控各种仪表盘，但最简单的指标就是你的loss对吧，它得持续下降。但实际上，特别是像MOE这种更复杂的东西，或者fp8训练——这又是另一个创新，就是改用更低精度的数值格式，也就是精度降低——最大的问题是你最终会遇到loss spike，而且没人知道loss spike是怎么发生的。很多时候，你得一个个排查，有些是数据问题。我可以举一个AI2的例子，这事儿是真的，你搜一下“microwave gang”就能找到，基本上就是一个Reddit子版块，大家都在那儿讨论。

43:23

innovation on the debugging stage of like making sure there's no issues that you're monitoring and

没有你正在监控但遗漏的问题。但实际上，尤其是像MOE这样更复杂的东西，最大的问题在于

43:29

visualizing every aspect of the training all that kind of stuff when people are training they have

可视化训练过程中的每一个方面，以及所有这类东西。人们在训练时会有各种仪表盘，但最简单的就是看你的loss，它会持续下降。但实际上，尤其是处理更复杂的东西，比如MOE，它最大的问题，或者fp8训练——这是另一个创新，也就是使用更低精度的数值格式，即精度更低——最终你会遇到loss spikes，而且没人知道loss spike是怎么发生的。很长一段时间里，你处理其中一些，有些是坏数据。我可以举一个AI2的例子，说明是什么搞砸了我们早期的模型：一个叫microwave gang的subreddit，我们喜欢喊出它的名字。这是真实存在的，你可以搜到microwave gang，基本上就是一个subreddit，里面所有人……

43:34

all these various dashboards but like the most simple one is your loss right and it continues to go

各种仪表盘里，最直观的就是你的loss曲线，它一直在下降。但现实中，尤其是像MOE这种更复杂的东西，或者fp8训练——也就是用更低精度的数字格式，说白了就是没那么精确——最大的问题就是会出现loss spikes，而且没人知道为什么会有loss spike。你花很长时间去排查，有些是数据的问题。我可以举一个AI2的例子，这是真实存在的，你搜一下Microwave Gang就能看到，基本上就是一个subreddit，里面全是loss spikes。其实spike本身是正常的，它会恢复回来。以前很多老策略就是直接停掉训练，从旧版本重新开始，然后改一下数据配比。

43:39

down but in reality especially with more complicated stuff like MOE the biggest problem with it or

或者FP8训练——这是另一个创新，也就是采用更低精度的数值格式，即

43:45

fp8 training which is another innovation you know going to a lower precision number format i.e.

fp8训练是另一项创新，就是采用更低精度的数字格式，比如

43:49

less accurate is that you end up with loss bikes right and and no one knows why the loss bike happened

准确率低的时候，你就会遇到loss spikes，而且没人知道为什么会出现loss spike。

43:54

and for a long time you do some of them some of them are bad data do I can give a AI2's example of

很长一段时间里，你处理其中一些，有些是坏数据。我可以举一个AI2的例子。

43:59

what blew up our earlier models is a subreddit called microwave gang we love to shout out the

之前搞崩我们早期模型的，是一个叫 microwave gang 的 subreddit，我们特别喜欢喊它的梗。这是真实存在的，你搜一下就能看到。简单来说，这个 subreddit 里每个人发帖都只写字母 m，然后评论区全是“哔哔”这种微波炉提示音。但如果你把这个数据喂给一个训练成正常文本生成的模型，loss 会极高，因为正常情况下你看到 m 之后，不会连续预测一堆 m。所以这种数据就会导致我们的 loss 飙升。不过这种问题其实已经过时了，不是最近的事。当你有更成熟的数据处理系统时，这种 loss 飙升就不会再发生了。Dylan 说的没错，但这件事其实是有不同层级的。

44:04

sound it's a real thing you can pull up microwave gang essentially it's a subreddit where everybody

听起来挺真实的，你可以搜一下“microwave gang”，那其实是一个subreddit，里面所有人都在……

44:08

makes posts that are just the letter m so it's like mmm so there's extremely long sequences of the

发帖内容全是字母m，就像“mmm”这样，所以会出现极长的m序列，然后评论里就回复“哔哔”，因为那是微波炉的声音，懂吧。但如果你把这个输入到一个训练成正常生成文本的模型里，它的loss会极高，因为正常情况下你看到一个m，不会连续预测很多个m。所以这就是导致loss飙升的原因之一。不过像这种问题其实已经过时了，不是最近的事，当你有了更成熟的数据系统，这就不再是导致loss飙升的原因了。Dylan说的没错，但这件事其实是有不同层次的。就压力而言，这些人就像，你知道的，你跟人出去吃饭，比如跟一个...

44:14

letter m and then the comments are like beep beep because that's on the microwave and see

字母 m，然后评论就是哔哔哔，因为那是微波炉上的提示音

44:17

yeah but if you pass us into a model this train to be a normal producing text it's extremely high

对，但如果你把这个输入到一个被训练成正常生成文本的模型里，loss 会极高

44:22

loss because normally you see an m you don't predict m's for a long time so like this is something

因为通常你看到一个 m，之后很长时间都不会再预测到 m，所以这会导致 loss 飙升

44:28

that causes the loss bikes for us but when you have much like this is this is old this is not

但像这种情况，这已经是老问题了，不是最近才有的

44:32

recent and when you have more mature data systems that's not the thing that causes the loss bike

而且当你有了更成熟的数据系统，这就不再是导致 loss 飙升的原因了

44:36

and what Dylan is saying is true but it's like it's it's levels to this sort of idea

Dylan 说的没错，但这事儿吧，它是有不同层级的

44:41

with regards to the stress right these people are like you know you'll go up to dinner with like a

关于这种压力，这些人就像，你知道吗，你跟他们吃个饭，每十分钟就得看一眼手机，而且不是那种发短信的情况，他们就是——对，就是loss，就是loss，是每秒token数的loss，不是炸了的那种。他们就是一边走一边盯着看，心跳都跟着加速，如果出现一个spike，某种程度的spike是正常的，对吧？它会恢复，然后降回去。以前很多老策略就是，你直接停掉run，从旧版本重启，然后改一下data mix，它就能继续跑。甚至还有不同类型的spike，dirt ground valve有个理论，说有什么fast spikes和slow spikes，有时候我们盯着loss看，确实会有这些。

44:46

friend that works at one of these labs and those will they'll just be like looking at their phone

有个朋友在那些实验室工作，他们每隔十分钟就会看一眼手机，不是那种在发短信的情况，就是单纯在看。比如，他们在看loss，看的是每秒第一个token的loss有没有暴涨。他们一边走一边盯着看，如果出现一个峰值，心率就会飙升。某种程度的峰值其实是正常的，它会自己恢复回来。以前很多老策略就是：直接停掉训练，从旧版本重新开始，然后调整一下数据混合比例，再继续跑。峰值其实也分不同类型，dirt ground valve有个理论，说是有快峰值和慢峰值。有时候我们盯着loss看，会发现……

44:50

every like 10 minutes and they're not like you know it's one thing if they're texting but they're just

大概每十分钟一次，而且他们也不是在发短信，就是那种

44:54

like yeah like it's the loss yeah it's like it's a loss first tokens per second loss not blown up

对，就是 loss 的问题，是每秒首个 token 的 loss，不是爆炸那种

45:00

they're just walking watching us and the heart rate goes up if there's a spike and some level of

它们就这么看着我们，心率一有尖峰就往上跳。其实一定程度的尖峰是正常的，对吧？它会自己恢复、回落。以前很多老策略就是：直接停掉训练，从旧版本重启，然后改一下数据配比，接着跑。尖峰也分不同类型。Dirt Ground Valve 有个理论，说存在 fast spikes 和 slow spikes。有时候我们盯着 loss 看，发现它开始往上走，心里就慌：“我该怎么办？”但还有一种 loss 曲线，看起来一切正常，突然冒出一个尖峰数据点。这时候你可以直接跳过它——看到 spike 就告诉自己：“行，这数据我忽略，不更新模型。”

45:06

spikes is normal right it'll it'll recover and be back sometimes a lot of the old strategy was like

spikes是正常的，它会恢复，然后回到正常状态。有时候以前的策略就是：

45:10

you just stop the run restart from the old version and then like change the data mix and then it

你直接停掉训练，从旧版本重新开始，然后改一下data mix，接着就会出现fast spikes和slow spikes。

45:15

keeps going there are even different types of spikes so dirt ground valve has a theory to do that's

一直都有，甚至还有不同类型的尖峰。比如Dirt Ground Valve有个理论，就是有快速尖峰和慢速尖峰。有时候我们盯着loss看，它可能突然开始往上走，你就会想“我该怎么办？”而另一些时候，loss看起来挺好的，但突然冒出一个尖峰数据点。你能做的就是直接跳过那些点——看到尖峰，你就说“行，这个数据可以忽略，不更新模型”。随着你的架构变得更复杂，扩展到更多GPU，loss炸掉的可能性也更大。所以就是这样，还有分布的问题。整体来说，这并不意味着模型没在学习，因为它可能突然变成这样，然后直接尖峰。

45:21

like fast spikes and slow spikes where there are sometimes we're looking at the loss and there are

有时候我们盯着loss看，发现它开始往上走，你就会想“我该怎么办？”

45:25

other parameters you can see it start to creep up and then blow up and that's really hard to recover

其他参数你会看到它开始慢慢上升，然后突然爆炸，这种情况很难恢复，所以你不得不回退到更早的版本。所以你会经历一段压力很大的时期，loss要么持平，要么开始往上走，你心里想“我该怎么办”。而另外还有一种情况，就是loss看起来不错，但突然出现一个异常高的数据点。这时候你可以直接跳过这些点——看到有spike，你就说“好，这个数据我可以忽略”，不更新模型，继续处理下一个，这样loss很快就能恢复。但这些操作在更复杂的实现中就没那么容易了。随着你的架构越来越复杂，并且扩展到更多GPU，loss爆炸的可能性也会增加。所以这里就涉及到一个分布的问题，整个思路就是……

45:29

from so you have to go back much further so you have the stressful period where it's like flat or

所以你得往回看更久，你会经历一段压力很大的时期，损失曲线要么持平，要么可能开始上升，你会想“我该怎么办”。另外，也有那种看起来不错的情况，但突然出现一个异常数据点。你可以做的就是跳过这些点——看到有个尖峰，你就想“行，这个数据我可以忽略，不更新模型”，然后处理下一个，模型很快就能恢复。但这些都涉及更复杂的实现方式。随着你的架构越来越复杂，并且扩展到更多GPU，损失函数爆炸的可能性也会增加。所以这里存在一个分布问题，整个意思是说，模型并不是在学习，因为突然之间它可能变成这样，然后直接出现一个尖峰。

45:33

might start going up and you're like what do I do whereas there are also lost bikes that are

而另一些loss spikes是：看起来一切正常，然后突然出现一个spiky的数据点。

45:37

it looks good and then there's one spiky data point and what you could do is you just skip those

你能做的就是直接跳过那些数据点。

45:41

you you see that there's a spike you're like okay I can ignore this data don't update the model

你看到有个尖峰，就会想“行吧，这数据可以忽略，不用更新模型”。架构越复杂，GPU规模越大，loss爆炸的可能性就越高。所以这就涉及一个分布问题——整个思路是，模型并不是在学习，因为它可能突然变成这样，然后直接尖峰。模型就是这样，所以这真的是个压力很大的任务，就像你提到的，而且整个过程里，美元数字一直在往上跳。每家公司都有过失败的训练任务，你需要失败的任务来推动基础设施的极限。所以很多新闻周期都是“某公司经历了某次失败训练任务”。每家公司都有——还有个概念叫“yellow run”，就是“你只活一次”，它的意思就是……

45:45

and do the next one and it'll recover quickly but these like on trickier implementations so as you

然后做下一个，它就会快速恢复。但在那些更复杂的实现上，随着架构越来越复杂、扩展到更多GPU，损失函数爆炸的可能性就越大。所以这就像——整个分布的概念——它并不是在学习，因为突然之间它可能变成这样，然后直接飙升。学习不是一个渐进的过程，对吧？人类是这样，模型也是这样。所以正如你所说，这确实是一项压力很大的任务，而且整个过程里，成本数字一直在上涨。每家公司都有过失败的运行，你需要失败的运行来推动基础设施的极限。所以很多新闻周期都是“某公司经历了某次失败的运行”——每家公司都这样。

45:50

get more complex in your architecture and you scale up to more GPUs you have more potential for

架构越复杂，扩展到更多GPU时，loss爆炸的可能性就越大，所以这就像——整个概念是，模型突然可能变成这样，然后loss直接飙升，意味着它根本没在学习。就像你说的，这整个过程压力巨大，而且每一秒美元都在往上烧。每家公司都有过失败的训练运行，你需要这些失败来推动基础设施的极限。所以很多新闻周期都是“X公司经历了Y次失败运行”——每家公司都这样。还有个概念叫yellow run，就是“你只有一次机会”（You Only Live Once），意思是GPU什么的都到位了，你在做各种不同的事情，比如“我该用四个专家还是四个……”

45:56

your loss blowing up so it's like there's there's and then there's a distribution the whole idea

你的损失值会突然飙升，所以这就像……然后还有一个分布问题，整个思路是

46:00

of rocking also comes in right it's like just because it slowed down from improving and loss doesn't

这种震荡也很正常。就像，虽然loss下降的速度变慢了，但这不代表模型没在学习——因为它可能突然就“啪”一下，loss又猛降一波，说明它真的学到了东西，对吧？而且它需要花时间才能学会，这不是一个渐进的过程。人类也是这样，模型也是这样。所以就像你说的，这整个过程压力非常大，而且每一秒都在烧钱。每家公司都有过失败的训练任务，你需要这些失败才能推动基础设施的极限。所以很多新闻标题都是“某公司又烧掉了几千万的失败训练”，其实每一家试图突破AI前沿的公司都会遇到这种情况。是，这事儿确实值得关注，因为金额实在太大了。

46:05

mean it's not learning because all of a sudden it could be like this and they could just spike

意思是它根本学不到东西，因为突然之间它可能变成这样，然后直接猛涨

46:08

down and loss again because it learned truly learned something right and it took some time for it

又跌了，损失也上去了，因为它真的学到了东西，对吧。而且它花了一段时间才明白——这不是一个渐进的过程，对吧。人类是这样，模型也是这样。所以这确实是个压力很大的任务，就像你提到的，而且整个过程里，美元数字一直在往上涨。每家公司都有失败的运行，你需要失败的运行来推动基础设施的极限。所以很多新闻周期都是“某公司搞砸了一次Y规模的运行”，每个试图推进AI前沿的公司都会遇到这种情况。所以是的，这确实值得关注，因为那可是一大笔钱。你看，怎么才能达到“卧槽，超参数组合终于成功了”那种状态？靠的是大量小规模的失败运行，以及快速迭代——在失败和成功之间反复试错。

46:13

to learn that it's not like a gradual process right and that's that's what humans are like that's

了解到这并非一个渐进的过程，对吧？人类就是这样，模型也是如此。所以正如你所说，这确实是个压力巨大的任务，而且整个过程里，成本数字一直在往上涨。每家公司都有过失败的运行，你需要失败的运行来推动基础设施的极限。所以很多新闻周期都是“某公司经历了某次失败运行”构成的。每家公司都有“黄跑”这个概念——黄跑就是“你只有一次机会”（YOLO）。它其实就像消融实验：你在Jupyter notebook里用三块GPU做MLA实验，尝试各种不同的配置，比如“我用四个专家、四个活跃专家、一百二十八个专家？还是用这种方式排列专家？”等等各种不同的尝试。

46:17

what models are like so it's it's really a stressful task as you mentioned and the whole time the

模型就是这样，所以这真的是一项压力很大的任务，就像你提到的，而且整个过程

46:22

the dollar count is going up every company has failed runs you need failed run to push the envelope

成本一直在上升，每家公司都有失败的运行，你需要失败的运行来推动

46:27

on your infrastructure so a lot of news cycles are made of X company had Y failed run every company that's

你的基础设施的极限，所以很多新闻周期都是关于某公司有某次失败的运行，每家公司都有

46:34

trying to push the frontier of AI has these so is yes it's noteworthy because it's a lot of money

试图推动AI前沿发展，确实需要投入大量资金，所以这件事值得关注，因为金额确实很大。

46:40

and it can be weak to month setback but it is part of the process but how do you get if you're deep

而且可能会遇到几个月的挫折，但这本身就是过程的一部分。但如果你在Deep Seek，你怎么才能达到那种“卧槽，超参数组合居然成功了”的状态呢？靠大量失败的小规模实验，以及快速迭代——不断在失败和成功的实验之间循环。然后你会慢慢积累一点直觉，比如“这个混合专家模型（Mixture of Experts）是可行的”，再比如“这个MLA实现是有效的”，关键超参数像学习率、正则化之类的，你就能找到适合你代码库的区间。我和前沿实验室的人聊过，他们讲了一个故事：训练语言模型其实是一条需要遵循的路径，你必须先解锁训练某种模型的能力。

46:47

seek how do you get to a place where holy shit there's a successful combination of hyperparameters

关键在于，你怎么才能找到那个“卧槽，超参数组合居然成功了”的状态？

46:52

a lot of small failed runs and so so rapid iteration through failed runs until and successful ones

需要大量小规模的失败实验，通过快速迭代失败实验，直到出现成功的。

47:00

and then you build a small intuition like this this mixture of expert works and then

然后你会慢慢建立起一些直觉，比如这种混合专家模型（mixture of expert）是怎么运作的，还有MLA的实现方式，关键的超参数像学习率和正则化这些，然后你就能找到适合你代码库的参数区间。我跟前沿实验室的人聊过，有个说法是训练语言模型就像一条你必须遵循的路径，你得先解锁训练某种模型的能力，这部分基本上是已知的。你看看DeepSeek的论文和模型，他们不断扩展规模、增加复杂度，就是在持续构建已有的能力。还有个概念叫yellow run，就是“你只活一次”（you only live once），它的意思大概是——

47:06

this implementation of MLA works key hyperparameters like learning rate and regularization

这个MLA的实现方式，关键超参数比如学习率和正则化，

47:13

and things like this and you find the regime that works for your code base i've

以及类似的东西，你要找到适合你代码库的有效区间。

47:17

talking to people at frontier labs there's a story that you can tell where training language models

我跟前沿实验室的人聊过，有一个可以讲的故事：训练语言模型

47:22

is kind of a path that you need to follow so you need to unlock the ability to train a certain type

其实是一条需要遵循的路径，你必须先解锁训练某种特定类型模型的能力。

47:28

of model or a certain scale and then your code base and your internal know how of which hyperparameters

对于一个特定规模的模型，你的代码库和内部经验已经知道哪些超参数有效，然后你去看DeepSeek的论文和模型，他们做了规模扩展，增加了复杂度，这只是在持续构建他们已有的能力。还有一个概念叫“yellow run”，就是“你只活一次”的意思。它指的是，你在小规模上做各种实验，对吧？研究性的消融实验。比如你在Jupyter notebook里，用三块GPU之类的设备实验MLA，然后尝试各种不同的事情：比如我用四个专家、四个活跃专家、128个专家？我这样排列专家行不行？所有这些不同的尝试。

47:32

work for it is kind of known and you look at the deep seek papers and models they've scaled up

这方面的工作基本上是已知的，你看看DeepSeek的论文和模型，他们已经把规模做上去了。

47:37

they've added complexity and it's just continuing to build the capabilities that they have

他们增加了复杂性，并且只是在持续构建已有的能力。有个概念叫“yellow run”，就是“你只活一次”的意思，它其实就像消融实验——你在Jupyter notebook里用三块GPU之类的设备折腾MLA，做各种尝试，比如“我用四个专家、四个活跃专家、128个专家？专家这样排列行不行？”等等，涉及几十块GPU、几百块GPU之类的。然后突然之间，你会说：“好了各位，别再瞎搞了，别再浪费时间了，把所有资源都拿来，选我们觉得可行的方案，直接干吧。”这就是yellow run，也就是那种压力所在。

47:41

there's there's the concept of a yellow run so yellow you only live once and what it is is like

还有所谓的“黄跑”这个概念，黄跑就是“你只活一次”，它的意思是

47:48

you know there's there's all this experimentation you do at the small scale right research

你知道的，在小规模上你会做各种实验，对吧，研究性的消融实验。就像你开着Jupyter notebook，用MLA在大概三块GPU上做实验，然后试各种不同的东西，比如“我用四个专家、四个活跃专家、一百二十八个专家，还是这样排列专家？”——你知道的，所有这些不同的配置，几十块GPU、几百块GPU什么的。然后突然之间，你就说：“好了各位，别再瞎折腾了，别再浪费时间了，所有人把全部资源拿来，我们选一个我们认为可行的方案，直接开干吧。”对吧，就是这样。而那种压力就来了，因为你知道在小规模上它管用，但有些在小规模上管用的东西，在大规模上就不管用了，有些则不是这样。

47:53

ablations right like you have your Jupyter notebook with your experimenting with MLA on like three

消融实验对吧，就像你在Jupyter notebook里用三块GPU折腾MLA，搞各种乱七八糟的尝试：比如“我用四个专家、四个活跃专家、一百二十八个专家？专家这样排列行不行？”——你知道就那些花样。现在别他妈瞎折腾了，别磨蹭了，所有人把所有资源都拿来，选我们觉得能行的方案直接开干，对吧？这就是所谓的“黄牌跑”。然后呢，就有那种讨论，说某些研究者天生就有那种方法论式的严谨，能把整个搜索空间摸透，而另一些人呢，就是靠那种天生的直觉，知道“这波该上黄牌跑”。

47:57

GPUs or whatever and you're doing all these different things like hey do I do four experts four

GPU之类的，然后你在做各种不同的事情，比如“嘿，我该用四个专家还是四个”

48:03

active experts 128 experts do I arrange the experts this way you know all these different

active experts 128个专家，我是这样安排这些专家的，你知道所有这些不同的

48:07

model architecture things you're testing at a very small scale right couple researchers few GPUs

你在小规模测试的模型架构，就几个研究员、几块GPU，几十块GPU、几百块GPU，随便多少。然后突然之间，你就说，好了各位，别再瞎折腾了，别再浪费时间了，所有人把所有资源都拿来，选一个我们认为可行的方案，直接冲就完了。对吧？而这就是那种压力出现的地方——就是，我知道在小规模上它能跑通，但有些在小规模上能行的事，到了大规模就不行；有些在大规模上能行的事，到了小规模反而跑不通。对吧？这就是规模带来的问题。所以这真的就是一场豪赌。而且呢，还有这样一种讨论——就是某些研究员天生就有那种系统性的思维方式，他们能遍历整个搜索空间，然后找出最优解。

48:12

tens of GPUs hundreds of GPUs whatever it is and then all of a sudden you're like okay guys no more

几十块GPU、几百块GPU，不管多少，然后突然你就说：好了各位，别闹了，别再瞎折腾了，所有人把手上所有资源集中起来，挑一个我们认为能行的方案，直接冲就完了——这就是所谓的“黄牌冲刺”。而正是在这种时候，那种真正的压力才体现出来。同时呢，也会有一种讨论，说某些研究员天生就有那种方法论式的严谨，他们能把整个搜索空间都摸透，然后判断出谁才是那种——你知道的——天生就有直觉的人，一看就知道“这波是黄牌冲刺”。你看数据的时候就会明白，这就是为什么你想做post-training，因为训练的GPU成本更低，所以你就能让更高比例的training runs变成yellow runs。

48:17

no more fucking around right no more screen around everyone take all the resources we have let's

别再瞎折腾了，对吧，别再瞎摸索了，所有人把我们所有的资源都拿来

48:23

pick what we think will work and just go for it right yellow and this is where that sort of stress

选我们认为能行的方案，直接干就完了，对吧，这就是那种“黄跑”

48:27

comes in is like well I know it works here but some things that work here don't work here and some

就是，比如“我知道这个办法在这里有效，但有些在这里有效的办法在那里就不行”，还有那种“黄色运行”之类的。然后呢，会有一些讨论，说某些研究员就是有那种方法论的天赋，他们能遍历整个搜索空间，然后找出答案。而另一些人呢，就是天生有那种直觉，觉得“这就是黄色运行”。你看数据的时候就会想，这就是为什么你想做post-training，因为训练的GPU成本更低，所以你能让更高比例的training runs变成黄色运行。嗯，目前是这样，目前是这样。所以这里面有些东西本质上还是靠运气。运气在很多情况下就是技能啊，对吧？是啊，我的意思是，它看起来就是运气，对吧？

48:32

things that work here don't work down here right in this terms of scale right so it's it's really

在这里有效的方法，到了那个规模就不管用了，对吧。所以这真的是一场“黄跑”（yellow run）。而且呢，就是那种讨论，比如某些研究员就是有那种系统性的特质，他们能遍历整个搜索空间，然后找出方向。而有些人就是天生有那种直觉，觉得“这就是黄跑”。你看数据的时候就会想，这就是为什么你想做后训练（post-training），因为训练的GPU成本更低，这样你就能让更高比例的训练跑变成黄跑。是啊，目前是这样，目前是这样。所以这本质上还是靠运气。运气在很多情况下就是技能，对吧。是啊，我的意思是，它看起来像是运气，但当你……

48:38

truly a yellow run and and sort of like there is this like like discussion of like certain researchers

真正的“黄跑”，然后呢，就有这种讨论，说某些研究员

48:43

just have like this methodical nature like they can find the whole search space and like figure out

天生就有那种方法论式的特质，他们能搜遍整个搜索空间，然后判断出

48:47

all the ablations of different research and really see what is best and there's certain researchers

所有不同研究的消融实验才能真正看出什么是最好的，有些研究人员就是天生有种直觉，觉得“这条路线是黄线”，你懂的，看数据的时候就能判断。这就是为什么你想做post-training，因为训练的GPU成本更低，所以你能让更高比例的训练跑变成黄线。嗯，目前是这样，目前是这样。所以这本质上还是有点靠运气。运气就是技能，在很多情况下确实如此。是啊，看起来像是运气，但当你……如果你在这些实验室里，你有一个评估指标，但你没有碾压它，其实有一套反复验证的改进方法，也有一些局部性的优化。

48:52

who just kind of like you know have that innate gut instinct of like this is the yellow run like

谁就是那种天生直觉型的，比如“这就是黄跑”

48:57

you know looking at the data is it this is why you want to work in post-training because the GPU

你看数据就能明白，这就是为什么大家想做post-training——因为训练的GPU成本更低，所以你能让更高比例的实验跑出“黄灯”结果。通常情况是，有些实验能带来巨大提升，但这个搜索空间几乎是无限的，对吧？而你能用的算力和时间却非常有限，你还得赶上发布计划，不能被所有人甩在后面，不然你知道Deep Research开放时发生了什么——他们当时算力那么少，却把所有算力连续好几个月都投给了GPT-4，用的还是全新的架构，根本不敢想“让我花掉几亿美元”——那可是他们全部的家当。

49:02

costs for training is lower so you can make a higher percentage of your training runs yellow runs

训练成本更低，所以你能让更高比例的训练跑变成黄跑

49:06

yeah for now yeah for now so some of this is fundamentally luck still

是啊，暂时是这样。所以其中一部分本质上还是靠运气。

49:14

luck is skill right in many cases yeah I mean it looks lucky right when you're

运气就是实力嘛，很多情况下确实如此。对，我的意思是，当你凑近仔细看的时候，会发现这个模型在某些事情上真的很差，这看起来像是运气问题。

49:18

but the hill to climb if you're on one of these labs you have an evaluation you're not crushing

但如果你在这些实验室里，面前有一座需要攀登的高山——你有一个评估指标，但表现并不出色——其实有一套反复验证的改进方法：有些是局部优化，当你把问题放大来看，可能会很明显地发现这个模型在某个方面就是很差，而我们可以修复它，然后把这些改进一点点累积起来。所以有些部分看起来像是运气，但在实际操作中，尤其是我们正在讨论的这些新的推理模型，有太多方式可以让我们去摸索和调整。通常的情况是，其中一些方法会带来巨大的提升，而这个搜索空间几乎是无限的，对吧？然而，你拥有的算力和时间却非常有限，而且你必须赶上发布计划，不能被其他人甩在后面——否则，你知道 Deep 发生了什么。

49:23

there's a repeated playbook of how you improve things there are localized improvements which

改进模型有一套反复使用的套路：有些是局部优化，你凑近仔细看，会发现这个模型在某个方面确实很差，我们能修好它，然后把这些改进一点点加起来。所以有些地方看起来像运气，但在实际操作中，尤其是我们聊的这些新推理模型，有太多方式可以四处试探了。通常有些试探会带来大幅提升，但这个搜索空间几乎是无限的，对吧？然而你能用的算力和时间却非常有限，你还得赶发布周期，不能被所有人甩在后面，否则你知道DeepSeek那事会怎么发展。我觉得OpenAI在2022年做的那些事，现在回头看更让人佩服。

49:28

might be data improvements and these add up into the whole model just being much better and when

可能是数据上的改进，这些改进累积起来让整个模型变得更好。当你凑近仔细看的时候，会发现这个模型在某个方面确实很糟糕，而我们可以修复它。把这些改进一点点加起来，有时候看起来像是运气，但在实际操作中，尤其是我们正在讨论的这些新的推理模型，其实有很多方式可以让我们去摸索。通常的情况是，其中一些改进会带来巨大的提升，但这个搜索空间几乎是无限的，对吧？然而，你能用的算力和时间却非常有限，你还得赶发布进度，不能落后于所有人，否则你知道 DeepSeek 那件事吧——它把 Meta、Mistral 和 Cohere 这些公司都碾压了，他们就是动作太慢了，对吧？

49:32

you zoom in really close it can be really obvious that this model is just really bad at this thing

我们可以修，然后把这些小问题一个个加起来。所以有些东西感觉像运气，但在实际操作中，尤其是我们正在讨论的这些新的推理模型，有太多方式可以让我们去摸索。

49:37

and we can fix it and you just add these up so some of it feels like luck but on the ground especially

通常的情况是，其中一些方法能带来大幅提升。这个搜索空间几乎是无限的，对吧？

49:42

with these new reasoning models we're talking to is just so many ways that we can poke around and

然而你拥有的算力和时间却非常有限，而且你还得赶发布周期，还得确保不被别人甩在后面，否则你知道 Deep 那边发生了什么。

49:48

normally it's that some of them give big improvement this search space is near infinite right and

通常呢，有些跑能带来大幅提升，但这个搜索空间几乎是无限的，对吧

49:53

and yet the amount of compute and time you have is is very low and your your you have to hit release

然而你拥有的算力和时间非常有限，还必须赶上发布计划，否则就会被所有人甩在身后——你知道Deep Research的创始人当初就是这种情况。他只有那么点算力，却把所有算力连续好几个月全部投入GPT-4，用的还是全新的架构，根本不敢想"让我先花个几亿美元"——那已经是他全部的资金了。相当数量的GPU对吧？过去很多高频交易算法，尤其是在Deep和高火——也就是拥有Deep Seek的那家对冲基金，所有为Deep Seek工作的人某种程度上都属于高火——同一个母公司、同一个老板、同一个CEO。

49:59

schedules you have to not get blown past by everyone otherwise you know what happened with deep

排期上你绝不能落后于所有人，否则你知道Deep Researchers的结局是什么——我当时只有那么点算力，却把所有算力连续好几个月全部投入GPT-4，用全新的架构，根本不敢想“让我花几亿美元，那是我全部家当”这种事。大量GPU对吧？过去那些高频交易算法，尤其是在Deep和High Fire——也就是拥有Deep Seek的对冲基金，所有Deep Seek的员工某种程度上都属于High Fire——同一家母公司、同一个老板、同一个CEO。背景和物理科学背景，用来准确评估我到底有多强，以及AI能否带来革命性变化。

50:04

seek you know crushing meta and mistral and coherent all these guys they move too slow right they

你知道，碾压Meta、Mistral和Coherent这些公司，他们动作太慢了，对吧？他们就像在慢慢推进。我觉得更厉害的是我在2022年做的事情。那时候，根本没人相信混合专家模型，对吧？在Google，他们有那么多研究员。而我当时只有那么点算力，却把全部算力——连续好几个月，100%的算力——都投到了GPT-4上，用的还是全新的架构，根本没人相信。然后我说，好吧，让我花个几亿美元——那基本上是我所有的钱。我以前在中国和其他地方做过量化交易，他们一直都有大量的GPU，对吧？过去那些高频交易和算法交易也是。

50:09

they maybe were too methodical I don't know they didn't hit the yellow run whatever the reason was

他们可能太按部就班了，我也不确定，反正就是没赶上那波“黄色冲刺”，不管原因是什么。

50:12

maybe they were in a skill whatever what you know you can call it luck if you want but in at

也许他们当时卡在某个技术瓶颈上，随便你怎么说，叫它运气也行，但说到底还是实力问题。所以2025年就是“黄色冲刺”之年，看起来所有实验室都在往里冲。

50:17

the end of the day it's skill so 2025 is the year of the yellow run it seems like all the labs

我觉得OpenAI在2022年做的事更让人佩服。当时根本没人相信混合专家模型，对吧？谷歌那边有那么多研究员，而OpenAI只有那么点算力，却把全部算力连续好几个月都投给了GPT-4，用的还是全新的架构，而且当时根本没人相信——嘿，让我花掉几亿美元，那可是我全部的家当。

50:23

are like going in I think it's even more impressive what opening I did in 2022

我觉得更厉害的是，OpenAI在2022年做的事情。当时OpenAI的研究人员算力非常有限，但他们把所有算力连续好几个月都投入到GPT-4上，用的还是全新的架构，根本没有任何把握。他们当时想的是，好吧，让我花掉几亿美元——这已经是我全部的家当了。他们历史上在中国和其他地方都做过量化交易，而且一直拥有大量GPU。过去很多高频交易算法，尤其是Deep和High-Fire（也就是拥有DeepSeek的那家对冲基金），所有为DeepSeek工作的人某种程度上都属于High-Fire，对吧？同一个母公司，同一个老板，同一个CEO。

50:29

right at the time no one believed in mixture of experts models right at Google who had all the

当时根本没人相信混合专家模型，谷歌那边所有研究人员都在做，我手里的算力少得可怜，而他们把全部算力——整整几个月、百分之百的算力——都投给了GPT-4，用的还是全新架构，根本没人相信说“让我花几亿美元，这可是我全部家当”。我过去在中国和其他地方做过量化交易，他们一直都有大量GPU，过去那些高频交易算法，尤其是Deep High Fire——就是那个拥有Deep Seek的对冲基金，所有在Deep Seek工作的人某种程度上都属于High Fire，同一个母公司、同一个老板、同一个CEO。

50:34

researchers opening I had such little compute and they devoted all of their compute for many months

研究者的开放？我当时的计算资源非常有限，他们把所有计算资源都投入了好几个月。

50:40

right all of it 100% for many months to GPT-4 with a brand new architecture with no

全部押上，100%投入，连续好几个月，全用在GPT-4上，用的是全新的架构，根本不去想“让我花个几亿美元——那可是我全部身家”。

50:47

belief that hey let me spend a couple hundred million dollars which is all of the money I have

大量GPU，还有过去那些高频交易算法，

50:51

on this model right that is truly yellow right now now you know people are like

现在这个模型确实处于“黄色”状态，你知道大家现在都在说

50:57

all these like training run failures that are in the media right it's like okay great but like

媒体上那些训练跑崩的案例，行吧，但说实话

51:01

actually a lot a huge chunk of my GPs are doing inference I still have a bunch doing research

其实我很大一部分GPU都在做推理，还有一堆在持续做研究

51:05

constantly and yes my biggest cluster is training but like on on this yellow run but like that yellow

没错，我最大的集群确实在跑训练，但那是这个“黄色”项目

51:10

run is much less risky than like what opening I did in 2022 or maybe what deep seek did now or

而这个“黄色”项目比OpenAI在2022年做的，或者DeepSeek现在做的，风险要小得多

51:16

you know like sort of like hey we're just gonna throw everything at it the big winners throughout human

或者像那种“我们就把所有资源砸进去”的做法

51:21

history are the ones who are willing to do yellow at some point okay what do we understand about

人类历史上真正的大赢家，都是那些在某个节点敢于进入“黄色”状态的人

51:27

the hardware it's been trained on deep seek deep seek is very interesting at least a second

那关于它训练的硬件，我们了解多少？DeepSeek，DeepSeek非常有意思，至少是第二家

51:33

the tick has to zoom out out of who they are first of all right high flyer is a hedge fund that has

首先，这个tick得跳出自己的身份来看。High-Flyer是一家对冲基金，在中国和其他地方一直做量化交易，他们向来拥有大量GPU。过去很多高频交易算法量化交易者用FPGA，但后来转向了GPU，当然两者并存。但GPU尤其重要，在Deep和高飞——也就是拥有DeepSeek的那家对冲基金里，每个为DeepSeek工作的人在某种程度上都属于High-Flyer，对吧？同一个母公司、同一个老板、同一个CEO。他们拥有所有这些用于交易的资源和基础设施，然后投入了其中巨大的一部分来训练模型，包括语言模型和其他模型，对吧？因为……这些这些这些。

51:38

historically done quantitative trading in China as well as elsewhere and they have always had a

历史上在中国和其他地方做过量化交易，他们一直都有大量GPU对吧。过去很多高频交易算法，尤其是在Deep和高火（也就是拥有Deep Seek的那家对冲基金，所有为Deep Seek工作的人某种程度上都属于高火）——同一家母公司、同一个老板、同一个CEO。后来更多转向AI，CEO梁文锋，你刚才没把我往下拉，我们讨论过，他什么都参与。所以在那段时间里，他对AI研究得非常深入。其实他有点那种——如果你看过他的一些言论——几乎有点IAC的感觉，完全是AGI的调调：我们必须做这件事，我们必须建立一个新生态。

51:43

significant number of GPUs right and the past lot of these high frequency trading algorithmic

尤其是在Deep和高火（High Fire）——也就是拥有Deep Seek的那家对冲基金，所有在Deep Seek工作的人，某种程度上都属于高火，对吧？同一个母公司，同一个老板，同一个CEO。

51:48

quant traders used FPGAs but it shifted to GPUs definitely and there's both right but GPUs

量化交易员以前用FPGA，但后来肯定转向了GPU，两者都有道理，不过GPU更关键。尤其是在Deep和高频交易领域——High-Fire这家对冲基金就是DeepSeek的母公司，所有在DeepSeek工作的人某种程度上都属于High-Fire，对吧？同一个母公司、同一个老板、同一个CEO。他们原本就拥有交易所需的全部资源和基础设施，然后又把其中很大一部分投入到了模型训练上，既包括语言模型也包括其他模型。因为你看，就算回到文艺复兴科技这类量化公司，自然语言处理一直是快速交易的关键——理解一篇新闻稿，然后做出正确的交易决策。所以DeepSeek在这方面一直很擅长。

51:54

especially in deep and high fire which is the hedge fund that owns deep seek and everyone who works

背景是物理科学，用来精确评估我到底有多厉害，以及AI能不能带来革命性变化。

51:58

for deep seek is part of high fire to some extent right same same parent company same owner same CEO

可能要到2030年之后了，所以我不会……我是说，得先定义清楚“革命性”是什么意思，因为对我来说，这有点像……

52:04

they had all these resources and infrastructure for trading and then they devoted a humongous portion

他们拥有所有这些交易相关的资源和基础设施，然后投入了巨大的一部分来训练模型——包括语言模型和其他类型的模型，对吧？因为你看，即使追溯到文艺复兴科技这类量化公司，自然语言处理也是快速交易的关键：理解一篇新闻稿，然后做出正确的交易决策。所以深度求索在这方面一直很擅长。这家中国公司拥有这么大一个A100集群，那些一万块A100 GPU，对吧？这是在2021年，当时主要是为了训练大语言模型，但更多还是用于他们量化方面的模型训练——也就是量化交易，以及你懂的。

52:11

of them to training models both language models and otherwise right because these these these

其中一部分用于训练模型，包括语言模型和其他类型的模型，对吧，因为你看，这些这些这些

52:17

techniques were heavily AI influence you know more recently people have you know realized hey trading

这些技术深受AI影响，你知道最近人们开始意识到，嘿，交易这事儿——哪怕你追溯到文艺复兴时期那些量化交易公司——自然语言处理才是快速交易的关键，对吧？理解一篇新闻稿，然后做出正确的交易。所以DeepSeek在这方面一直很擅长，早在2021年，他们就发布过新闻稿和论文，说嘿，我们是第一家拥有这么大A100集群的中国公司，就是那10,000块A100 GPU，对吧？这是在2021年。当时主要是用来预训练大语言模型，但大部分是为了训练他们量化交易方面的模型，既有量化交易，也有其他用途。

52:23

with you know like even even when you go back to like Renaissance and all these all these like quantitative

就算你追溯到文艺复兴时期，还有那些那些量化

52:29

firms natural language processing is the key to like trading really fast right understanding a press

公司，自然语言处理都是快速交易的关键，对吧，理解一篇新闻稿

52:34

release and making the right trade right and so deep seek has always been really good at this

然后做出正确的交易，对吧。所以 DeepSeek 一直在这方面非常擅长

52:38

and even as far back as 2021 they have press releases and papers saying like hey we're the first

早在2021年，他们就已经发布新闻稿和论文，宣称自己是国内首家拥有这么大A100集群的公司——就是那10,000块A100 GPU，这可是2021年的事。当时主要用于训练大语言模型，但更多是服务于他们量化交易方面的模型训练。在出口管制成为话题之前，他们就已经拥有庞大的集群了。那么从那时到现在，过去四年里他们又做了什么呢？显然，他们继续运营着那家对冲基金，很可能赚得盆满钵满。另一件事是，他们越来越深入地投入AI领域。CEO Leon Ching Fang，Leon，你刚才提到的那个名字，我们讨论时别把我往下带偏。

52:45

company in China with an a 100 cluster this large those 10,000 a 100 GPUs right this is this is

这家中国公司，拥有一个包含 100 集群这么大的规模，那些一万块 A100 GPU，对吧，这是

52:50

in 2021 now this was an offer training you know large language models this is mostly for

在 2021 年，当时这主要是用来训练大型语言模型的，但更多是用于

52:55

training models for their quantitative aspects there are quantitative trading as well as you know

训练他们量化方面的模型，也就是量化交易，以及你知道的

53:00

a lot of that was natural language processing to be clear right and so this is the sort of history

需要明确的是，其中很大一部分是自然语言处理，所以这大概就是历史脉络。

53:04

right so verifiable fact is that in 2021 they built the largest Chinese cluster at least they claim

确实有据可查的是，2021年他们建成了中国最大的集群——至少他们自己是这么宣称的——在中国最大的集群，一万块GPU，那还是在专家管控开始之前。没错，就好像他们在任何关于专家管控的讨论出现之前，就已经拥有了一个巨大的集群。

53:09

it was the largest cluster in China 10,000 GPUs before expert controls started yeah it's like they've

那么再往后看，从那时起到现在这四年里他们做了什么？显然，他们继续运营着那家对冲基金，很可能赚得盆满钵满。另一件事是，他们越来越、越来越、越来越深入地投入AI。CEO Leon Ching Fang——Leon，你可别把我往底下排啊，我们正在聊的这位Leon Fang，对，CEO，他也叫Leon Fang，他运营着、可能还持有一半以上的股份。

53:15

had a huge cluster before any conversation of expert controls so then you step it forward to like

早在讨论专家控制之前，他们就已经拥有一个巨大的集群了。那么再往后推，过去四年里他们又做了什么？显然，他们继续运营着那个对冲基金，可能赚得盆满钵满。另外一件事就是，他们越来越深入地投入AI。CEO Leon Ching Fang，你刚才没把我放到最底下——正如我们讨论过的，他几乎参与了所有事情。所以在那段时间里，他对AI的理解变得非常深入。如果你看过他的一些言论，其实会感觉有点IAC的味道，几乎是那种AGI的调调——比如“我们必须这么做，必须打造一个OpenAI的新生态，中国需要在这个生态上领先，因为历史上西方……”

53:20

what have they done over the last four years since then right obviously they've continued to operate

从那时起，过去四年他们又做了什么？显然他们一直在运营

53:24

the hedge fund probably make tons of money and the other thing is that they've leaned more and more

这家对冲基金可能赚得盆满钵满，而且另一件事是，他们越来越倾向于AI。CEO Leon Ching Fang，Leon，你没把我往下排，正如我们讨论的，他什么都参与。所以在那段时间里，他对AI的研究变得非常深入。他其实有点——如果你看过他的一些声明——有点IAC的感觉，几乎是完全的AGI vibe，比如“我们必须这么做，我们必须打造一个OpenAI的新生态，中国需要在这个生态上领先，因为历史上西方是这样做的，我们必须做点不一样的。”Deep Sea就是他实现这个目标的方式。他们的一些翻译采访里也有提到——他确实做过采访。我觉得你会做

53:28

and more into AI the CEO Leon Ching Fang Leon you're not putting me to the bottom as we discuss

而且更深入AI领域，CEO Leon Ching Fang，Leon，你没把我放到最底下吧，我们聊到

53:36

Leon Fang right the CEO he also be Leon Fang he runs he owns maybe a little bit more than half

Leon Fang 就是CEO，他也是Leon Fang，他运营公司，他拥有可能超过一半的股份，几乎参与所有事情。所以在那段时间里，他对AI有了非常深入的了解。他其实有点那种——如果你看过他的一些声明——有点IAC的感觉，几乎是完全的AGI vibe，比如“我们必须这样做，我们必须建立一个全新的Open AI生态系统，中国需要在这个生态系统中领先，因为历史上西方国家一直在软件生态系统方面领先”。他直接承认，要做到这一点，我们必须做一些不同的事情，DeepSeek就是他实现这个目标的方式。他们的一些翻译采访中也有提到，他确实做过采访。我觉得你会做

53:41

the company allegedly right is an extremely like Elon Jensen kind of figure where he's just like

这家公司据说有点像那种极端的埃隆·詹森式人物，就是那种什么事都要插一手的人。所以在那段时间里，他对AI的了解变得非常深入。如果你看过他的一些言论，其实会感觉有点IAC的味道，几乎是完全的AGI vibe——就是说我们必须这么做，必须打造一个全新的开放AI生态系统，中国必须在这个生态系统中起主导作用，因为历史上西方国家一直在软件生态上领先。而且他直接承认，要做到这一点，我们必须做一些不一样的事，DeepSeek就是他实现这个目标的方式。他有一些翻译过的采访，确实做过采访。我觉得你也会这么做的。

53:48

involved in everything right and so over that time period he's gotten really in depth into AI

他什么都参与，对吧，所以在那段时间里，他对AI的理解变得非常深入

53:53

he actually has a bit of a like a if you if you see some of the statements a bit of an

他其实有点那种，如果你看过他的一些言论，有点

53:57

IAC vibe almost right total AGI vibes like we need to do this we need to make a new ecosystem

IAC的感觉，对吧，完全是AGI的调调，就是我们必须做这个，我们必须打造一个新生态

54:04

of open AI we need China to lead on this sort of ecosystem because historically the Western

Open AI 需要中国在这个生态系统上领先，因为历史上西方

54:10

countries have led on on software ecosystems and in straight up acknowledges like in order to

一些国家在软件生态系统中处于领先地位，并且直截了当地承认，为了实现这一点，我们需要做一些不同的事情，DeepSea，因为这是他做事的方式。一些翻译后的采访和他们有关——他确实做过一些采访。是的，我觉得你可以做一个版本，但基本上就是视频里的H100针对中国市场，而且有一些限制，特别是关于通信速度、互连速度方面的限制，对吧？这就是为什么他们现在主要用于研究。是的，研究，你知道，研究能催生新想法，让你获得海量信息。研究能让你得到o1，研究能带来突破，你必须押注于此。所以他们讨论的一些定价策略中，已经把研究的成本算进去了。

54:16

do this we need to do something different deep sea because it's his way of doing this the some of

要做到这一点，我们必须采取不同的方式，DeepSeek 就是他的做法，其中一些

54:21

the translated interviews with them are he has done interviews yeah I think you would do a

他们翻译的采访中，他确实做过采访，是的，我觉得你会做

54:25

Western interview no or is there controls on there hasn't been one yet but okay I would try it

西方采访没有，或者有控制吗？目前还没有，但好吧，我会试试看。

54:31

I just got a tiny translator so it was great this is this is all push um so fascinating figure

我刚拿到一个小翻译器，太棒了，这全是推动力，真是个迷人的数字。

54:37

engineer pushing fall on into AI leveraging the success from the high frequency trading very direct

工程师将高频交易的成功直接推入AI领域，非常直白。

54:45

quotes like we will not switch to closed source when asked about this stuff he very long-term

当被问及这些事时，他说“我们不会转向闭源”，他非常长期主义，

54:51

motivated in how the ecosystem of AI should work and I think from a Chinese perspective he wants

对AI生态系统应该如何运作有长远动机，从中国视角来看，他希望

54:58

Chinese company a Chinese company to build this vision and so this is sort of like the quote-unquote

一家中国公司来构建这个愿景，所以这有点像这家公司背后的所谓“愿景家”，对吧？

55:05

visionary behind the company right this hedge fund still exists right this this quantitative firm

这个对冲基金仍然存在，这家量化公司还在，

55:09

and so deep seek is the sort of at that's you know solely he got turned to this full view of like AI

而DeepSeek就是他转向AI全貌的产物。

55:16

everything about this right but at some point it's slowly maneuvered and he made deep seek

这一切都没错，但到某个时间点，它慢慢被调整了，然后他做出了 Deep Seek。

55:21

and deep seek has done multiple models since then they've acquired more and more GPUs they share

自那以后，Deep Seek 已经推出了多个模型，他们积累了越来越多的 GPU，与基金共享基础设施，对吧。

55:25

infrastructure with the fund right and so you know there is no exact number of public GPU resources

所以，你知道，他们并没有公开的 GPU 资源确切数字，但除了他们在 2021 年购买的那 10,000 块 GPU 之外——而且他们当时盈利非常惊人——

55:32

that they have but besides this 10,000 GPUs that they bought in 2021 right and they were

然后这篇论文声称他们只用了 2,800 块 GPU，这是一种受限的 GPU，之前在中国是允许的，但现在不再允许了，而且有一个新版本，但基本上就是针对中国的 H100 的阉割版，对吧。

55:38

fantastically profitable right and then this paper claims they did only 2,800 GPUs which are a

它有一些限制，特别是关于通信速度，也就是互连速度，对吧，这就是为什么他们……

55:44

restricted GPU that was previously allowed in China but no longer allowed and there's a new

之前在中国还能用的受限GPU，现在不让用了，新版本基本就是针对中国市场的H100，对吧？而且它有一些限制，特别是通信速度，也就是互联带宽这块。所以目前主要用于研究。没错，研究能催生新想法，让你获取海量信息，研究能带来突破，你必须押注在上面。所以他们讨论的一些定价策略，已经把研发成本算进价格里了。DeepSeek公开说过的数字，就是2021年的一万块GPU，以及V3预训练只用到的两千块GPU。R1的成本他们没提。

55:48

version but it's basically in videos h100 for China right and there's some restrictions on it

版本，但基本上就是针对中国的H100视频，而且有一些限制，

55:54

specifically around the communications sort of speed the interconnect speed right which is why they

主要是围绕通信速度，也就是互连速度的限制，对吧，这就是为什么

55:58

had to do this crazy SM you know scheduling stuff right so going back to that right let's like

不得不做这些疯狂的调度安排对吧，回到刚才那个点，比如

56:04

this is obviously not true in terms of their total GPU count obvious available GPUs but for this

这显然不是指他们总的GPU数量，而是可用的GPU，但对于

56:10

training run you think 2000 is the correct number or no so this is where it takes you know a significant

这次训练运行，你觉得2000这个数字准确吗？其实这里就需要你

56:16

amount of sort of like zoning in right like what do you call your training run right you count all

非常专注地界定，比如你怎么定义你的训练运行？你要算上

56:22

of the research and ablations that you ran right picking all this stuff because yes you can do a

所有做过的研究和消融实验，筛选所有这些内容，因为没错你可以做

56:27

yellow run but at some level you have to do the test at the small scale and then you have to do some

一次正式运行，但在某种程度上，你得先在小的规模上测试，然后

56:31

test at medium scale before you go to a large scale accepted practice is that for any given model

在中等规模上测试，之后才能进行大规模。公认的做法是，对于任何

56:36

that is a notable advancement you're going to do two to four x compute of the full training run

有显著进步的模型，你最终会花费完整训练运行两到四倍的计算量。

56:41

in experiments alone so a lot of this compute is being scaled up it's probably used in large part

仅实验部分就消耗了大量算力，这些算力很可能大部分都用在了研究上。而研究，你知道的，研究能催生新想法，让你获得海量信息——研究能带来o1，研究能带来突破，你必须在这方面下注。所以他们讨论的一些定价策略，其实已经把研究成本算进了价格里。DeepSeek公开说过的具体数字，只是2021年的一万块GPU，以及训练v3时仅用于预训练的两千块GPU。他们没有讨论r1的成本，也没有讨论他们制作指令模型时其他所有强化学习的成本。他们只讨论了基础模型的预训练成本，研究方面的开销则只字未提。

56:47

at this time for research yeah and research will you know research begets the new ideas that

目前主要用于研究，而研究，你知道，研究能催生新想法，

56:52

let you get huge information research gets you oh one research gets you breakthroughs and you

让你获得海量信息，研究能带来o1，研究能带来突破，

56:56

need to bet on it so some of the pricing strategy they will discuss has the research baked into the

你必须押注于此，所以他们讨论的一些定价策略已经包含了研究成本，

57:01

price so the numbers that deep seeks specifically said publicly right are just the 10,000 GPUs in 2021

价格方面，DeepSeek公开说过的数字就是2021年有1万块GPU，然后v3的预训练只用了2000块GPU。他们没有讨论r1的成本，也没有讨论基础模型的预训练，更没有提任何关于研究资金的事。这些GPU都在用，而且我们知道他们非常赚钱。2021年那1万块GPU——实际上我们的一些研究发现，我们相信他们现在大概有5万块GPU。我们正在对外发布这些信息。所以应该说，你算是全球顶尖的专家之一，专门搞清楚每个人在半导体方面、在集群建设方面、在训练任务方面都在做什么。没错，就是这样。

57:08

and then 2000 GPUs for only the pre training for v3 they did not discuss cost on r1 they did not

然后2000块GPU只用于v3的预训练，他们没有讨论r1的成本，

57:14

discuss cost on all the other rl right for the instruct model that they made right they only

他们只讨论了base model的pre training成本，完全没有提instruct model那边用了多少RLHF。而且research fund到底用了多少GPU也没说。我们知道他们利润很高，2021年就有10,000块GPU。根据我们找到的一些研究，我们其实认为他们现在拥有的GPU更接近50,000块。你算是全球少数几个能搞清楚各家在半导体、集群建设、还有谁在做什么training runs方面情况的人。好，那我们就——请继续，抱歉抱歉，我们相信他们现在实际拥有的GPU数量更接近50,000块。

57:20

discussed the pre training for the base model and they did not discuss anything on research

也没有讨论基础模型的预训练，更没有讨论任何研究方面的内容，

57:24

and ablations and they do not talk about any of the resources that are shared in terms of hey the

以及消融实验，他们完全不提共享的资源，比如“嘿，基金正在用所有这些GPU对吧”，而且我们知道它们非常赚钱，2021年就有10,000块GPU。所以我们发现的一些研究表明，我们实际上认为他们现在更接近50,000块GPU，我们正在对外透露这个信息。所以应该说，你算是全球顶尖专家之一，专门搞清楚每个人在半导体方面、在集群建设方面、在训练任务方面都在做什么。没错，就是这样。好，请继续——抱歉抱歉，我们相信他们现在实际上拥有接近50,000块GPU，这些GPU分布在许多任务上，对吧？又是基金的研究和消融实验，大概估算一下。

57:28

fund is using all these GPUs right and and we know that they're very profitable and that 10,000

他们正在使用所有这些GPU，对吧，而且我们知道他们利润很高，那10000块……

57:33

GPUs in in in 2021 so so the some some of the research that we've found is that we actually believe

2021年的GPU，嗯，我们的一些研究发现，实际上我们相信他们大概有接近5万块GPU在往外发。所以我们得说，你算是全球少数几个能搞清楚大家都在半导体、集群建设、训练任务上做什么的专家之一。对，就是这样。我们之前有过两轮不同的出口限制措施。一开始，美国政府基于两个因素来限制，对吧，就是芯片互联和flops。任何芯片，如果互联速度超过某个水平，并且flops——也就是浮点运算能力——超过某个阈值，就会被限制。后来他们简化到只看浮点运算能力，所以H800虽然flops很高，但互联速度低。

57:40

they have closer to 50,000 GPUs we is sending out so we should say that you're sort of one of the

他们拥有接近 50,000 块 GPU，我们正在发货，所以应该说你是

57:47

world experts in figuring out what everybody's doing in terms of the semiconductor in terms of cluster

全球少数几个能搞清楚每个人在半导体方面、集群建设方面、

57:52

buildouts in terms of like who's doing what in terms of training runs so yeah so that's the we

以及训练运行方面都在做什么的专家之一，是的，所以这就是我们

57:58

okay go ahead sorry sorry we believe they actually have something closer to 50,000 GPUs right now

好，你说吧。抱歉抱歉，我们相信他们现在实际上拥有接近五万块 GPU。

58:03

this is this is split across many tasks right again the fund research and ablations for ballpark how

这是分布在很多任务上的，对吧，基础研究和消融实验只是为了估算个大概。

58:09

much would open AI or entropic have I think the clearest example we have because meta is also open

Open AI 和 Anthropic 开放了多少，我觉得我们手头最清楚的例子就是 Meta，因为 Meta 也是开放的。

58:15

they talk about like order of 60k to 100k each 100 equivalent GPUs and they're training clusters

他们提到大概每个集群有 6 万到 10 万块等效 GPU，那是他们的训练集群。

58:21

right so like llama three they said they trained on 16,000 H 100s right but the company of meta

对，就像 Llama 3，他们说是在 16,000 块 H100 上训练的，对吧？但 Meta 这家公司

58:26

last year publicly disclosed they bought like 400 something thousand GPUs yeah right so so of course

去年公开披露他们买了大概 40 多万块 GPU，对吧？所以当然

58:31

tiny percentage on the training again like most of it is like serving me the best Instagram

训练只占很小一部分，大部分其实是在给我推最好的 Instagram Reels

58:35

reels right or whatever right I mean we could get into a cost of like what is the cost of ownership

或者别的什么。我是说，我们可以算算拥有一个 2000 块 GPU 的集群的持有成本是多少，

58:40

for a 2000 GPU cluster 10,000 like there's just different sizes of companies I can afford these

1 万块 GPU 的集群又是多少——就是不同规模的公司能负担得起这些东西。

58:46

things and deep seek is reasonably big at their compute allocation compared is one of the top

而 DeepSeek 在他们能分配的计算资源上算是相当大的，属于顶尖水平之一。

58:54

few in the world it's not opening AI and topic etc but they have a lot of compute can you general

世界上没多少人在做开放AI这类东西，但他们有大量算力，你能概括一下吗？

58:58

actually just zuma and also talk about the hopper architecture the Nvidia hopper GPU architecture

实际上就是Zuma，还有Hopper架构，也就是Nvidia的Hopper GPU架构，以及H100和H800的区别，就像你提到的互连技术。对，所以你知道，Ampere是A100，然后H100是Hopper，对吧？在美国，人们不太诚实，因为实际上只有H100，现在又有了H200，对吧？但在中国，情况差不多，他们经历过不同轮次的出口限制。最初美国政府限制了两个因素：芯片互连和浮点运算能力。也就是说，任何互连速度超过一定水平、且浮点运算次数超过一定阈值的芯片——

59:04

and the difference between H 100 and H 800 like you mentioned the interconnects yeah so there's

还有H100和H800的区别，就像你提到的，互连技术，嗯，是的。

59:10

you know ampere was a 100 and then H 100 hopper right people are using them dishonestly in the US

你知道，Ampere是A100，然后H100是Hopper，对吧。在美国，人们其实不太老实，因为实际上只有H100，现在又有了H200，对吧，但基本一回事。在中国，他们有过两种不同的出口限制措施。一开始，美国政府是根据两个因素来限制的，对吧，芯片互连和算力（flops）。也就是说，任何互连超过一定水平、算力（浮点运算）超过一定水平的芯片，后来他们缩减到只看浮点运算。所以H800是高算力、低互连的。

59:15

because really there's just H 100 and now there's H 200 right but same thing mostly in China they've

因为目前主要就是 H100，现在又有了 H200，对吧，但基本上是一回事。在中国，他们经历了不同轮次的出口限制。一开始美国政府根据两个因素来限制，对吧，就是芯片互联和算力（flops）。任何芯片如果互联带宽超过一定水平，并且算力（浮点运算次数）也超过某个阈值，就会被限制。后来他们又把限制缩小到只针对浮点运算。所以 H800 的算力很高，但互联带宽被砍掉了。DeepSeek 知道怎么利用这一点，你知道吗，就算互联被限制了，他们还是能通过各种花哨的方法来搞定。

59:21

had two there've been different salvos of expert restrictions so initially the US government limited

有过两轮不同的出口限制措施，最初美国政府限制

59:26

on a two factor scale right which is chip interconnect versus flops right so any chip that had

基于两个因素，即芯片互连和算力，所以任何芯片如果

59:32

interconnects above a certain level and flops above a certain floating point operations above a

超过一定级别的互连带宽和超过一定级别的浮点运算次数（flops），

59:36

certain level was restricted later the government realized that this was a flaw in the restriction

后来某个级别被限制了，但政府意识到这个限制有漏洞，就把它缩减到只针对浮点运算。于是H 800就变成了高算力、低通信的配置。没错，H 800在浮点运算性能上和H 100完全一样，只是互联带宽被砍了。DeepSeek知道怎么利用这一点——就算互联被削弱了，他们还是能用各种花哨的技术把GPU充分利用起来。那是2022年10月的事。但到了2023年底，2024年正式实施时，美国政府又禁了H 800。顺便说一句，这个2000块GPU的H 800集群甚至不是在2024年买的，而是2023年底购入的。

59:42

and they cut it down to just floating point operations and so H 800 had high flops low

他们把它缩减到只限制浮点运算，所以H 800拥有高flops、低互连带宽，被禁了。

59:50

communication exactly so the H 800 was the same performances H 100 on flops right but it didn't

通信上确实如此，H 800 在 flops 上性能和 H 100 一样对吧，但它只是把互联带宽砍了。DeepSeek 知道怎么利用这一点，你懂的，嘿，就算我们在互联上做了削减，我们还能搞各种花哨的操作来想办法把 GPU 用满，对吧。所以那是 2022 年 10 月的事，但后来到了 2023 年底，2024 年实施的时候，美国政府禁了 H 800，对吧。顺便说一句，这个 H 800 集群，这 2000 块 GPU，甚至都不是 2024 年买的，是 2023 年底买的。被禁了，现在有个新芯片叫 H 20，H 20 只在 flops 上做了削减，但互联带宽是一样的，实际上在某些方面它比 H 100 还好，因为——

59:57

it just had the interconnect bandwidth cut deep seek knew how to utilize this you know hey even

它只是把互连带宽砍了，DeepSeek知道怎么利用这一点，你看，就算互连带宽被削减了，我们也能用各种花哨的方法来搞定。

60:02

though we're cut back on the interconnect we can do all this fancy stuff to figure out how to

2023年底实施，2024年美国就禁了H800，顺便说一句，这个2000块GPU的H800集群甚至不是在2024年买的，而是2023年底买的。

60:06

use the GPU fully anyways right and and so that was back in October 2022 but later in 2023

反正GPU得充分利用对吧。那是2022年10月的事了，但到了2023年底，2024年正式实施，美国政府禁了H800。顺便说一句，这个H800集群，那2000块GPU，其实根本不是2024年买的，是2023年底买的。被禁了之后，现在有个新芯片叫H20。H20只是在浮点运算上被砍了一刀，但互联带宽是一样的，甚至某些方面比H100还好。我们稍微跑个题，聊完这个再回到硬件——就是出口管制的理念、动机和理由。Dari Amadej发过一篇关于出口管制的博客文章，他的论点是：如果AI变得超级强大，他说……

60:15

end of 2023 implemented in 2024 the US government banned the H 800 right and so by the way this H 800

被禁了，现在有个新芯片叫H20，H20只砍了算力，但互连带宽是一样的，实际上某些方面比H100还好。

60:21

cluster these 2000 GPUs was not even purchased in 2024 right as purchased in late 2023

我们可以先岔开这个话题，回头再聊硬件——就是那个哲学、动机、出口管制的理由。Dario Amodei发过一篇博客讲这个。

60:27

and they're just getting the model out now right because it takes a lot of research etc H 800 was

他们现在刚把模型推出来，对吧，因为需要大量研究等等。H800被禁了，现在出了个新芯片叫H20。H20只是在算力上做了削减，但互联带宽是一样的，实际上在某些方面比H100还好，因为内存带宽和容量更优。所以你看，他们是在政府设定的限制范围内，造出尽可能最好的GPU给中国。我们能不能先岔开这个话题，之后再回到硬件？我想聊聊背后的理念、动机，以及出口管制的理由。Dari Amadej发过一篇关于出口管制的博客，他的论点是：如果AI变得超级强大，他说——

60:32

banned and now there's a new chip called the H 20 the H 20 is cut back on only flops but the

现在有一款新芯片叫H 20，H 20只在flops上做了削减，但互连带宽保持不变，

60:38

interconnect bandwidth is the same and in fact in some ways it's better than the H 100 because as

实际上在某些方面它比H 100还要好，因为——

60:43

better memory bandwidth and memory capacity so there are you know in videos working within the

更好的内存带宽和内存容量，所以你看，视频里他们是在政府设定的限制下工作，然后为英伟达打造出中国能用的最佳GPU。

60:47

constraints of what the government sets and then get builds the best possible GPU for China

我们可以先岔开这个话题，之后再回到硬件上——问题是，出口管制的哲学、动机和理由是什么？Dari Amadej 发过一篇关于出口管制的博客文章，他的论点是：如果AI变得超级强大，他说那将带来巨大的军事优势，所以因为美国是民主国家，而他说中国是威权或带有威权元素，你希望一个单极世界，其中拥有超级强大军事力量（因为AI）的国家是民主国家——这其实要复杂得多。

60:52

can we take this actual tangent and we'll return back to the hardware is the the philosophy the

我们可以先顺着这个岔开的话题聊一下，然后再回到硬件本身。

60:57

the motivation the case for export controls what is it Dari Amadej published a blog post about

这种哲学、这种动机、这种出口管制的理由到底是什么？

61:04

export controls the case he makes is that if AI becomes super powerful and he says by

关于出口管制，他提出的观点是：如果AI变得超级强大，他说，只要继续扩大深度应用，很大一部分出口管制就会被绕过。训练方面，DeepSeek V3就是一个很好的例子——一个非常专注的团队，依然能用2000块GPU（这在全球范围内并不难获取）达到AI前沿水平。未来AI市场会非常庞大，如果你有严格的出口管制，却想拥有10万块GPU，那AI的使用就会大幅受限。我认为这个目标比争论什么是AGI要容易实现得多。而如果你有这些极其智能的自主AI和数据中心，那正是可以在美国这些GPU集群中运行的东西。

61:10

2026 we'll have a GI or super powerful AI and that's going to give a significant whoever builds

2026年我们会有一个GI或者超级强大的AI，这会给建造它的那一方带来巨大的军事优势。所以，因为美国是一个民主国家，而正如他所说，中国是威权或带有威权色彩的，你希望的是一个单极世界，其中拥有超级强大军事AI的那一方是民主国家。但当你拥有两个超级大国都具备超级强大的AI，而其中一个是威权国家时，地缘政治就会变得复杂得多。这就是他提出的论点。因此，美国想通过出口管制来拖慢中国，确保中国无法进行那些据推测建造GI所需的大规模训练。这非常抽象，我认为这可以成为某些人的目标。

61:15

that will have a significant military advantage and so because the United States is a democracy and

这将带来显著的军事优势。由于美国是一个民主国家，而正如他所说，中国是威权体制或带有威权色彩，你希望一个单极世界，其中因为AI而拥有超强军事力量的一方是民主国家——但这其实复杂得多。

61:23

as he says China is authoritarian or has authoritarian elements you want a unipolar world where the

现在，所有这些AI公司的收入数据都在持续攀升，AI的使用量也在不断增长。更深入的应用将转向推理，而出口管制在很大程度上会影响这一点——如果它们涉及训练环节的话。

61:32

super powerful military because of the AI is one that's a democracy it's a much more complicated

DeepSeek V3就是一个很好的例子：一个非常专注的团队，依然能用2000块GPU达到AI前沿水平——考虑到全球范围，这些GPU并不难获取。

61:38

world geopolitically when you have two super powers with super powerful AI and one is authoritarian

从地缘政治角度看，当世界上有两个超级大国都拥有超强AI，而其中一个还是威权体制时，情况会变得很复杂。

61:46

so that's the case he makes and so we want to the United States wants to use export controls to

这就是他提出的论点——美国想通过出口管制来拖慢中国，确保中国无法进行那些据推测是构建AGI所必需的巨型训练任务。

61:52

slow down to make sure that China can't do these gigantic training runs that will be presumably

我觉得这其实挺抽象的，可能只是某些人的一厢情愿。

62:00

required to build a GI this is very abstract I think this can be the goal of how some people

在现实中，中国无法训练AI模型的情况并不多见。出口管制确实在限制中国能获得的算力总量或算力密度。

62:07

describe export controls is this super powerful AI there's and you touched on the training run

描述出口管制时，这种超级强大的AI确实存在，你也提到了训练运行的概念。其实没多少种情况能让中国无法训练AI模型——出口管制正在限制中国能拥有的算力总量或算力密度。如果你看看现在的AI生态系统，所有AI公司的收入都在持续增长，AI的使用量也在不断上升，更多深度应用会转向推理。出口管制如果奏效的话，主要结果就是中国能运行的AI总量会低得多。所以在训练方面，DeepSeek V3是个很好的例子：一个非常专注的团队，依然能用2000块GPU（这在全球范围内其实不算难获取）达到AI前沿水平。

62:13

idea there's not many worlds where China cannot train AI models export controls are kneecapping the

如果你看看现在的AI生态系统，所有AI公司的收入都在持续增长，AI的使用量也在不断攀升。

62:22

amount of compute or the density of compute that China can have and if you think about the AI ecosystem

更多的深度应用会转向推理环节，而出口管制在很大程度上——如果它们真的起作用的话——也会影响到这一点。

62:28

right now as all of these AI companies revenue numbers are up and to the right the AI usage is

如果你实施严格的出口管制，同时又想拥有10万块GPU，那么AI市场将会非常庞大。

62:33

just continuing to grow more deep use are going to inference a large part of export controls if they

Dari Amadej发过一篇博客文章，讲的是继续扩大规模、更多转向推理。

62:39

work is just that the amount of AI that can be run in China is going to be much lower so on the

关键在于，中国能够运行的AI总量会低得多。在训练方面，Deep Seek V3就是个很好的例子——一个非常专注的团队，用2000块GPU（这在全球范围内并不难获取）就能触及AI前沿。如果实施严格的出口管制，未来AI市场依然巨大：假设你想用10万块GPU来服务相当于中国版ChatGPT的用户，在严格管制下，AI的使用量也会大幅减少。我认为这个目标比争论AGI是什么要容易实现得多。至于那些极其智能的自主AI和数据中心——这些才是可能在美国的GPU集群中运行的东西。

62:45

training side deep seek v3 is a great example which you have a very focused team that can still get

出口管制很大一部分针对的是训练端，

62:50

to the frontier of AI on this 2000 GPUs that not that hard to get all considering in the world

在AI前沿，用这2000块GPU其实没那么难搞到，毕竟放眼全球来看。

62:56

there's still going to have those GPUs there's still going to be able to train models but if there's

GPU还是会有的，模型也照样能训练。但如果AI真有个巨大的市场，而你又想搞严格的出口管制，光是为了给中国版GPT的用户提供服务，就得用上十万块GPU——这种管制本身就会大大限制AI的实际应用。我觉得这个目标比争论AGI到底是什么要容易实现得多。至于那些极其智能的自主AI和数据中心，它们可能在美国的GPU集群里运行，但在中国就不行。某种程度上说，训练一个模型本身其实没什么用——就像Dario说的那样，关键在于模型训练好之后的落地应用。

63:00

going to be a huge market for AI if you have strong export controls and you want to have 100,000

如果你有严格的出口管制，并且想要10万块GPU，那AI市场会非常巨大。

63:04

GPUs just serving the equivalent of China GPT customers with good export controls it also just makes

GPU 只是用来服务相当于中国版 GPT 的客户，配合良好的出口管制，这样也能让 AI 的使用大幅减少。我觉得这个目标比争论什么是 AGI 要容易实现得多。而且如果你有这些极其智能的自主 AI 和数据中心——就像那些可能在美国的 GPU 集群里运行的东西——那么 Dario 想表达的核心其实是：一旦那个模型训练完成，它的应用可以带来生产力提升、改善生活，或者你想让超级强大的 AI 去做的任何事，但这都需要大量的 compute，对吧？所以美国政府实际上已经表明了态度，而且永远都是这样——training 永远只会占一部分。

63:09

it so that AI can be used much less and I think that is a much easier goal to achieve than trying

这样一来，AI的使用就会大幅减少，而我认为这比争论AGI是什么要容易实现得多。

63:18

to debate on what AGI is and if you have these extremely intelligent autonomous AI's and data

如果你有这些极其智能的自主AI和数据中心，那它们可能正在美国的GPU集群里运行。

63:23

centers like those are the things that could be running in these GPU clusters in the United States

提高人们的生产力、改善生活，或者你想让超级强大的AI去做的任何事，都可以实现，但这需要大量的算力，对吧？

63:29

but not in China to some extent training a model does effectively nothing right like the model

但在中国某种程度上，训练一个模型实际上几乎没什么用，对吧？模型本身——达里奥想表达的是，一旦模型训练完成，它的部署应用才是关键。提升人们的生产力、改善生活，或者你想让超级强大的AI朝哪个方向去用都行，但这需要大量的算力，对吧？所以美国政府实际上已经表明了态度，而且永远如此：训练永远只是总算力的一部分。你知道，我们提到Meta有40万块GPU，但只有1.6万块用来训练了Llama，对吧？所以Meta投入到推理上的比例——这可能用于推荐系统，试图操控我们的心智，让我们花更多时间、看更多广告，或者别的什么。

63:34

the the thing that Dario is sort of speaking to is the implementation of that model once trained

Dario 说的其实是那个模型训练好之后的落地应用问题——提升生产力、改善生活，你想让超级AI往哪个方向用都行，但这需要大量算力对吧。所以美国政府实际上已经表明了态度，而且是一直如此：训练永远只是其中一部分。美国政府明白的是，你不可能完全切断所有渠道——他们自己会造芯片，也正在努力造自己的芯片，虽然会比我们的差，但你知道，这整件事的关键就是保持差距。所以到了某个节点，就算AI技术再先进，也不指望靠它赚钱，而是在一个超级AI真正出现的世界里……

63:41

to then create huge economic growth huge increases in military capabilities huge capabilities

从而带来巨大的经济增长、军事能力的巨大提升、生产力的飞跃、生活质量的改善——无论你想让超级强大的AI朝哪个方向发展都可以，但这需要海量的算力对吧。所以美国政府实际上已经表明了立场，而且永远如此：训练始终会占据总算力的一部分。你知道我们提到过Meta有40万块GPU，但训练Llama只用了1.6万块对吧？所以Meta分配给推理的算力占比——这可能用于推荐系统，那些试图操控我们心智、让我们花更多时间看更多广告的系统，或者用于正在做有益事情的超级强大AI——具体用途并不重要。

63:47

increases in productivity of people betterment of lives whatever whatever you want to direct super

所以美国政府实际上已经明确表态，而且永远都会是这样：训练，训练永远会占一部分。

63:52

powerful AI towards you can but that requires a significant amounts of compute right and so the

强大的AI朝着你走，但这需要大量的算力，对吧，所以

63:57

US government has effectively said and forever right like training training will always be a portion

美国政府基本上已经说了，而且永远都是这样，训练，训练永远会占一部分

64:03

of the total compute you know we mentioned met us 400,000 GPUs only 16,000 made llama right so the

在总计算量中，你知道我们提到Meta有40万块GPU，但只有1.6万块用来训练Llama，所以

64:09

the percentage that met as dedicating to inference now this might be for recommendation systems that

Meta投入在推理上的比例——这可能用于推荐系统，那些试图操控我们花更多时间、看更多广告的系统，或者也可能是我们想要的方式。

64:14

are trying to hack our mind into spending more time and watching more ads or if it's if it's

而至于中国，你知道，出口限制确实存在，但你永远不可能完全切断一切，对吧？我觉得这一点

64:18

or if it's for a super powerful AI that's doing productive things doesn't matter about the exact

或者，如果是为了一个超级强大的AI在做有生产力的事情，那具体方式其实没那么重要。但说到中国，你知道的，专家限制啊什么的，你永远不可能完全切断所有东西，对吧？我觉得这一点美国政府也很清楚——你不可能彻底切断，他们会自己造芯片，而且他们正在努力自己造芯片，虽然会比我们的差，但关键在于保持差距，对吧？所以到了某个时间点，当AI出现时——在一个只有两三个百分点经济增长的世界里，说实话，切断高科技、不靠它赚钱这做法真的很蠢——但在一个超级强大AI即将诞生的世界里，情况就不一样了。

64:22

use that are you know economic system decides it's that that can be delivered whatever in whatever

你知道，经济体系决定了它可以按我们想要的方式交付任何东西。而中国这边呢，出口限制很严格，你永远不可能完全切断所有东西，对吧？我觉得这一点美国政府也很清楚——你不可能什么都切断，他们会自己造芯片，而且他们正在努力自己造芯片，虽然会比我们的差，但关键在于保持差距。所以，在某个时间点，当AI发展起来，在一个只有两三个百分点经济增长的世界里——顺便说一句，切断高科技、不靠它赚钱其实挺蠢的——但在超级强大的AI即将到来的世界里，情况就不一样了。

64:27

way we want whereas with China right you know your you know expert restrictions great you're never

美国政府也很清楚：你无法完全切断一切。他们会造自己的芯片，而且他们正在尝试造自己的芯片，虽然会比我们的差，但你知道

64:32

going to be able to cut everything off right and that's that's like I think that's quite a well

这整个目的就是保持差距。因此，在某个时间点，随着AI的发展，在

64:36

understood by the US government is that you can't cut everything off you know they'll make their own

美国政府明白的是，你不能完全切断所有供应——他们自己会造芯片，而且他们确实在尝试造自己的芯片，虽然会比我们的差，但你知道，关键就在于保持一个差距。所以到了某个节点，当AI发展到那种高度，你没法靠它赚钱，但在一个超级强大的AI出现的世界里，我觉得我是个重度用户，我用它，但问题在于，一家中国公司，哪怕有中等水平的专家，再加上一些漏洞，可能也做不到全部。而O3的主要成果也是惊人的编程表现，如果这能反过来让AI公司更好地做实验，那么很可能，这些想法会指向一个更大的AGI。

64:41

chips and they're trying to make their own chips they'll be worse than ours but you know this is

芯片，他们也在尝试自己做芯片，会比我们的差，但你知道，这

64:44

the whole point is to just keep a gap right and therefore at some point as the AI you know in a

整个点就是为了保持差距，对吧，所以到某个时候，随着AI的发展，你知道，在一个

64:49

world where two three percent economic growth this is really dumb by the way right to cut off

在一个两三个百分点的经济增长世界里——顺便说一句，这种限制高科技还不从中赚钱的做法真的很蠢——但在超级强大AI出现的世界里，人们正在把大量GPU烧在inference上。我已经注册体验过，也玩过了，我不觉得自己是重度用户，但我确实在用。而问题在于，一家中等技术管控、存在各种漏洞的中国公司，可能根本做不到这一切。如果O3的主要成果也是惊人的coding表现，并且这能反过来让AI公司更好地进行实验，那么对于AGI来说，很可能会有更大比例的计算资源被用于这种test time compute，用于推理，用于AGI本身。

64:54

you know high-tech and not make money off of it but in a world where super powerful AI comes about

你知道高科技，但没法用它赚钱。但在一个超级强大的AI即将诞生的世界里，

64:59

and then start creating significant changes in society which is what all the AI leaders and big tech

然后开始在社会中引发重大变革，这正是所有AI领导者和大型科技公司所相信的——我认为超级强大的AI将彻底改变社会，因此这种算力差异的叠加效应非常关键。有些科幻作品里，AI的强弱是用输送给它的电力来衡量的，对吧？或者说，你投入了多少能量——这其实是一种思考经济产出的方式，就是看你把多少电力导向了那个AI。所以我们讨论推理模型时，把它当作一个人们能实际看到、可操作的东西。比如R1和O1这些新出的推理模型，它们的设计就是为了消耗更多算力，这里面有很多门道。

65:04

companies believe I think super powerful AI is going to change society massively and therefore

企业认为，超级强大的AI会彻底改变社会，因此

65:09

this compounding effect of the difference in compute is really important there's some sci-fi out there

这种算力差异带来的叠加效应非常关键。有些科幻作品里

65:14

where like AI is like measured in the power of in like how much power is delivered to compute right or

AI的强弱是用“分配给计算的电力”来衡量的，对吧？或者说

65:19

how much uh is being you know that's sort of a way of thinking about what's the economic output is just

这其实是一种思考经济产出的方式——

65:24

how much power you directing towards that AI so we talk about reasoning models with this as a way

你投入了多少电力来驱动那个AI。所以我们讨论推理模型时，

65:28

that this might be actionable as something that people can actually see so the reasoning models that

把它当作一个人们能实际看到、可操作的东西。像R1和O1这类推理模型

65:33

are coming out with R1 and O1 they're designed to use more compute there's a lot of

就是设计来消耗更多算力的，

65:38

busy words in the AI community about this test time compute inference time compute whatever but

AI社区里大家都在讨论这个test time compute、inference time compute之类的概念，但

65:44

um Dylan has good research on this you can get to the specific numbers on the ratio of when you

嗯，Dylan在这方面有不错的研究，你可以找到具体的比例数据——当你

65:48

train a model you can look at things about the compute amount of compute use the training and amount

训练一个模型时，可以关注训练用了多少compute、推理用了多少compute。这些reasoning模型让inference在处理复杂任务时变得重要得多。

65:51

of compute use of inference these reasoning models are making inference way more important to doing

到了秋天和十二月，OpenAI发布了这个O3模型。AI领域还有一件事：

65:56

complex tasks in the fall and December their open AI announced this O3 model there's another thing

当事情发展很快时，我们既有announcements也有releases。Announcements本质上就是博客文章，

66:02

in AI when things move fast we get both announcements and releases announcements are essentially blog

你拍拍自己肩膀说做了什么，而releases是模型真的出来了、

66:07

posts where you pat yourself on the back and you say you did things and releases are on the models out

论文也出来了等等。所以OpenAI已经announce了O3，我们可以看看O3 mini是不是已经release了。

66:11

there the papers out there etc so open AI has announced O3 and we can check if O3 mini is out as a

相关论文也已经发布了不少。OpenAI已经宣布了O3，我们可以看看O3 mini是否已经推出。

66:17

recording potentially but that doesn't really change the point which is that the breakthrough result

录音可能，但这并不改变核心观点：那个突破性成果

66:22

was something called arc a g i task which is the abstract reasoning corpus a task for artificial

是名为 arc a g i task 的任务，即抽象推理语料库，一项针对通用人工智能的任务

66:28

general intelligence um french law chalet is the guy who's been it's a multi-year old paper it's

嗯，François Chollet 就是提出这个的人——这是一篇多年前的论文，

66:34

a brilliant benchmark and the number for open AI O3 to solve this was that used as that some sort

一个非常出色的基准测试。而 OpenAI O3 解决这个任务所用的数字，

66:40

of number of samples in the API the API has like thinking effort and number of samples they used

在 API 里相当于某种样本数量，API 有类似思考努力和样本数量的参数，

66:46

a thousand samples to solve this task and it comes out to be like five to twenty dollars per question

他们用了一千个样本来解决这个任务，算下来每个问题大概要五到二十美元

66:53

which you're you're putting in effectively a math puzzle and then it takes orders of dollars

你实际上是在解一道数学谜题，然后回答一个问题就要花掉好几美元

66:57

to answer one question and this is a lot of compute if those are going to take off in the US open AI

这消耗了大量算力，如果这些在美国推广开来，OpenAI

67:02

needs a ton of GPUs on inference to capture this they have this open AI chat gpt pro subscription

推理阶段需要大量GPU来支撑这一点，他们推出了OpenAI ChatGPT Pro订阅服务，每月两百美元，而且他们自己说这个服务还在亏钱，这意味着用户正在消耗大量GPU进行推理。我已经订阅并体验过了，虽然我不觉得自己是重度用户，但确实在用。这恰恰说明，一家受中等强度专家管控、存在规则漏洞的中国公司，可能根本无法做到这一切。而且O3的主要成果之一就是惊人的编程性能，如果这能反过来帮助AI公司更好地进行实验，那么对于AGI来说，预计会有更大比例的计算资源被用于这种测试时计算，也就是推理过程中的思考。

67:08

which is two hundred dollars month which they have said they're losing money on which means that

每月两百美元，他们自己说这个价格还在亏钱，也就是说大家正在把大量GPU烧在推理上。我注册了也试玩过，虽然我不算重度用户，但确实在用。这就像一家中国公司，即便有中等强度的专家控制、存在一些漏洞，可能也做不到全部。而O3的主要成果同样体现在惊人的编程性能上，如果这能反过来让AI公司更好地进行实验，那么对于AGI来说，预计会有更大比例的算力被用于这种测试时计算、用于推理、用于AGI的思考过程。这需要消耗大量算力，这正是那些CEO或行业领袖们所强调的。

67:11

people are burning a lot of GPUs on inference and I've signed up with it I've played with it I don't

大家都在GPU推理上烧了很多算力，我也注册了，也玩过，虽然我不觉得自己是重度用户，但确实在用。这就像一家中国公司，如果专家控制能力中等、存在一些漏洞，可能就做不到全部。而O3的主要成果也是惊人的编程表现，如果这能反过来让AI公司更好地做实验，那么对于AGI来说，很大一部分算力就会用于这种测试时计算，用于推理，用于在后台推进AGI的工作。我个人对AGI的定义其实很简单——早期的AGI概念。我认为语言模型本身就是一种AGI，而所有这些超级强大的东西都是在此基础上发展的。

67:16

think I'm a power user but I use it and it's like that is the thing that a Chinese company with

我觉得自己算是个高级用户，但我用它的时候，感觉就像——那是一家中国公司，

67:22

mediumly strong expert controls the rows be loopholes might not be able to do it all and if

拥有中等水平的专家，控制着那些可能无法完全堵住的漏洞，

67:27

that the main result for O3 is also a spectacular coding performance and if that feeds back into

而如果O3的主要成果也是惊人的编码性能，并且这反过来

67:33

AI companies being able to experiment better so presumably the ideas for an agi a much larger

让AI公司能够更好地进行实验，那么很可能关于AGI的构想，

67:42

fraction of the compute would be used for this test time compute for the reasoning for the agi

一小部分算力会用于这种测试时计算，用来支撑推理和AGI。我私下一直在琢磨这事。我个人对AGI的定义其实很简单——我觉得语言模型本身就是一种AGI，那些超级强大的能力也是。从领域来看，它对我来说就是通用智能。但下一步的智能体方向，也就是它们能独立运作、完成训练数据之外的任务，这才是未来几年值得关注的。所以关于AGI这点我同意你——我认为我们已经有了某种非常惊艳的东西，艾伦·图灵肯定会说这就是AGI。但他指的更多是那种在后台和物理科学领域里，能准确评估我能力水平的东西，以及AI能否带来革命性突破。

67:46

goes into a room and thinks about how to take over the world and that you know come back in 2.7

走进一个房间，开始琢磨怎么统治世界，然后你懂的，过2.7小时再回来看看——这就是它要做的事，需要大量算力。这就是像OpenAI和Anthropic的CEO或领导者们常说的那种自主AI模型：你给它一个任务，它就在后台自己干。我觉得我个人对AGI的定义要简单得多。我认为语言模型本身就是一种AGI，而所有这些超级强大的东西只是下一步。如果能得到这些工具当然很好，但语言模型在这么多领域里已经非常有价值了，对我来说它就是通用智能。不过，接下来几年真正值得期待的，是这种自主化的东西——它们能独立运作，能完成训练数据里没有的任务。

67:53

hours this is what it's going to take a lot of compute this is what people like CEO or leaders of

这需要大量的算力，这正是像CEO或领导者这样的人在背后努力的方向。我个人对AGI的定义要简单得多。早期的我认为语言模型本身就是一种AGI，而所有这些超级强大的东西只是下一步。如果能得到这些工具当然很好，但语言模型在这么多领域都有巨大价值，对我来说它就是一种通用智能。不过下一步的自主智能体——它们能独立运作，能完成训练数据之外的任务——才是未来几年里强大AI的展望。所以我同意你对AGI的看法，我认为我们已经有了某种非常令人印象深刻的东西，艾伦·图灵肯定会说这就是AGI，但他指的更多是那种一旦出现就……

67:59

open AI and anthropic talk about is like autonomous AI models which is you give them a task and they

Open AI 和 Anthropic 在讨论那种自主AI模型，就是你给它们一个任务，它们就在后台自己处理。我个人对AGI的定义其实更简单，我觉得语言模型本身就是一种AGI，而那些超级强大的东西是下一步。如果能得到这些工具当然很好，但语言模型在这么多领域里已经很有价值了，对我来说它就是通用智能。不过下一步这种自主化的东西，就是模型能独立完成训练数据里没有的任务，这才是未来几年里强大AI的方向。所以我同意你对AGI的看法，我觉得我们已经有了某种非常 impressive 的东西，艾伦·图灵肯定会说这就是AGI，但他指的更多是那种一次性的东西。

68:04

work on it in the background I think my personal definition of agi is much

背后还有更大规模的工作在进行。

68:09

simple early guy I think language models are a form of agi and all this super powerful stuff is

我个人对AGI的定义其实很简单，

68:14

a next step that's great if we get these tools but a language model has so much value and so many

下一步如果有了这些工具当然很棒，但语言模型本身已经极具价值，覆盖了太多领域——对我来说它就是一种通用智能。而接下来这个智能体化的阶段，让它们能独立完成训练数据之外的任务，这才是未来几年强大AI的展望。所以我同意你对AGI的看法，我认为我们已经拥有了某种令人惊叹的东西，艾伦·图灵肯定会说这就是AGI。但他更多指的是那些在背景和物理科学中能准确评估我能力的东西。如果AI能彻底改变生物学，那我敢说AI将加速任何计算科学领域的进步。关于深度搜索，你说你们都感受到了AGI，那么你的时间线是什么？

68:19

domains it is a general intelligence to me but this next step of agentic things where they're

我觉得语言模型本身就是一种AGI，而所有这些超级强大的能力

68:24

independent and they can do tasks that aren't in the training data is what the few year outlook

独立且能完成训练数据之外的任务，这是未来几年的前景。

68:30

that these agi companies are driving for I think the terminology here the Dario uses a super

这些AGI公司正在推动的方向，我觉得Dario用的术语是“超级强大的AI”。所以我同意你对AGI的看法——我们已经有了某种令人惊叹的东西，艾伦·图灵肯定会说这就是AGI。但他指的更多是，一旦拥有它，就会在军事和地缘政治上对其他国家的显著优势。所以这不只是你能问它怎么做煎蛋卷那么简单。而且他对这个看法要乐观得多，就像我说的《 Machines of Loving Grace 》里读到的——我们在物理科学方面的背景知识还不够，无法准确评估它的能力。如果AI能彻底改变生物学，那我敢说AI将加速任何计算科学领域的进步。

68:36

powerful AI so I agree with you on the agi I think we already have something like that's exceptionally

强大的AI，所以我同意你对AGI的看法，我认为我们已经有了某种非常令人印象深刻的东西，艾伦·图灵肯定会说这是AGI，但他指的是更偏向背景和物理科学领域的东西，用来衡量我的能力有多强，以及AI能否带来革命性变化。

68:41

impressive the Alan Turing would for sure say is agi but he's referring more to something once in

你觉得什么时候——哪怕随便说个日期——你觉得那会是什么时候？对我来说，可能是在2030年之后，所以我不太确定。我会这样定义：对我来说，这甚至跟中国有关，就像葡萄牙和所有这些普通国家一样，它们都需要得到美国名单的批准，比如葡萄牙，还有你知道的，所有这些国家。

68:48

possession of then you would have a significant military and geopolitical advantage over other

拥有它，你就会在军事和地缘政治上对其他

68:53

nations so it's not just like you can ask it how to cook an omelette and he has a much more

国家拥有显著优势，所以这不只是你可以问它怎么做煎蛋卷那么简单。他对此持更积极的态度，正如我所说，《温柔的机器》中解读到，我们在基础物理学方面缺乏足够的背景知识来准确评估我有多强。如果AI能彻底改变生物学，我可以肯定地说，AI将加速任何计算科学的进步。关于深度搜索，你说你们都感受到了AGI，那么你的时间线是什么？Dario的2026年，对于那种超级强大的AI，基本上已经具备一定程度的自主性，足以构成真正的安全威胁。那种级别的AGI，你的时间线是什么？我不喜欢归因。

68:59

positive view and as I say machines of loving grace read into this that we don't have enough

正面观点，正如我所说，《机器中的仁慈之爱》这本书暗示我们缺乏足够的物理科学背景来准确评估我的能力，而如果AI能彻底改变生物学，那我敢说AI将加速任何计算科学的进步。关于你提到的深度搜索，你说你们俩都感受到了AGI，那么你的时间线是什么？Dario预测2026年会出现超级强大的AI，基本上具备一定程度的自主能力，足以构成真正的安全威胁——那种级别的AGI。你的时间线呢？我不太喜欢做具体预测，但如果你要说我感受到了AGI，那我预期未来几年会持续出现快速且令人惊讶的进展，所以像R1这样的成果对我来说并不那么意外，尤其是来自DeepSeek。

69:03

background and physical sciences to gauge exactly how competent I am and if AI can revolutionaries

甚至跟中国有关，就像葡萄牙一样，所有这些普通公司所在的国家，都还在……

69:09

biology that I'm safe saying that AI is going to accelerate the progress of any computational science

生物学方面，我敢说AI会加速任何计算科学领域的进步。

69:16

so we're doing a depth for search here on topics taking tangent of attention so let's continue

所以我们在这里做深度搜索，话题从attention延伸开来了，那就继续聊这个深度搜索吧。你说你们都感受到了AGI的到来，那你的时间线是什么？Dario认为2026年会出现超级强大的AI，基本上具备一定程度的自主能力，达到真正构成安全威胁的那种AGI水平。你的时间线呢？我不太喜欢给具体能力设定时间，因为预测具体能力以及它们何时出现非常困难。我觉得，如果说我感受到AGI的到来，那更多是因为我预计未来几年会持续出现快速且令人惊讶的进展。比如DeepSeek的R1对我来说就不那么意外，因为我预料到会有新的范式出现，让实质性进步成为可能。DeepSeek R1。

69:21

on that depth for search you said that you're both feeling the agi so you're what's your timeline

关于那个搜索深度，你说你们俩都感受到了AGI，那你的时间线是什么？

69:30

Dario's 2026 for the super powerful AI that's basically agentic to a degree where

Dario 对2026年超级强大AI的预测，基本上就是那种具有自主能力、达到真正安全威胁级别的AGI，你的时间线是什么？我不太喜欢给出具体时间，但如果你非要我说的话，我对AGI的感觉是，我预计未来几年会持续出现快速且令人惊讶的进展，所以像R1这样的东西对我来说并不意外，来自DeepSeek。在地缘政治层面，确实存在一个现实问题，因为我们正在讨论出口管制。你觉得什么时候——哪怕随便说个日期——你觉得那会是什么时候？对我来说，可能是在2030年之后，所以我不太确定。我会这么说，先定义清楚吧，因为对我来说，这有点像语音通话，他们以为自己在和政客对话，对吧？那个AI扩散规则就是。

69:38

it's a real security threat that level of agi what's your timeline I don't like to attribute

那级别的AGI是个真正的安全威胁，你的时间线是什么？我不喜欢归因。

69:45

specific abilities because predicting specific abilities and when it's very hard I think

具体能力很难预测，尤其是当你说“我感觉AGI要来了”的时候，我其实更倾向于认为未来几年会持续出现快速且令人意外的进展。像DeepSeek R1这样的东西对我来说并不那么意外，因为我预料到会有新的范式出现，让实质性进步成为可能。DeepSeek R1在变得更好，然后我们又有了一个改变模型的新方向。我们迈出了这样一步，就像往上跨了一个台阶，看起来斜率非常陡。然后我们还会继续迈出更多步——所以当你看到这些大跨步时，真的会让人感到不安，而我预计这种情况还会持续发生。我试过OpenAI Operator，也试过……

69:50

mostly if you're going to say that I'm feeling the agi is that I expect continued rapid surprising

基本上，如果你要说我感受到AGI，那就是我预计未来几年会持续出现快速且令人惊讶的进展，所以像DeepSeek的R1对我来说并不那么意外。

69:55

progress over the next few years so something like R1 is less surprising to me from deep seek

在地缘政治舞台上，这确实是个问题，因为我们在讨论出口管制。

70:01

because I expect there to be new paradigms where substantial progress can be made deep seek R1

因为我预期会出现新的范式，让 DeepSeek R1 能取得实质性进展

70:06

is so unsettling because we're kind of on this path with with chat GPT it's like it's getting better

这真的很让人不安，因为我们正走在ChatGPT这条路上——它一直在变好，变好，再变好，然后我们又有了改变模型的新方向。我们迈出了这么一步，就像往上跨了一级台阶，看起来斜率特别陡，然后我们还会继续迈更多步。所以当你看到这些巨大的跃升时，真的会感到不安，而且我预计这种情况还会持续。我试过OpenAI的Operator，也试过Quad Computer Use，它们还没到那个程度。我理解这个想法，但真的很难预测什么样的突破能让这类东西真正奏效。我觉得更有可能的是，我们会迎来一些确实有效的突破，而它们带来的结果是我们完全无法预料的——所以每个人都想要……

70:11

it's getting better it's getting better and then we have a new direction for for changing the models

它正在变好，正在变好，然后我们有了一个改变模型的新方向

70:15

and we took one step like this and we like took a step up so it looks like a really fast slope

我们迈出了这样一步，又向上迈了一步，所以看起来斜率非常陡

70:19

and then we're going to just take more steps so like it's just really unsettling when you have

然后我们还会继续迈更多步，所以当你看到这些大跨步时，真的会让人不安

70:22

these big steps and I expect that to keep happening I see I've tried opening I operator I've tried

我预期这种情况会持续发生，我试过 OpenAI Operator，我试过

70:29

quad computer use they're not there yet I understand the idea but it's just so hard to predict what

quad computer use 他们还没到那一步，我理解这个想法，但真的很难预测什么样的突破能让这种东西成功。我觉得更有可能的是，我们会有一些我们不知道会带来什么后果的突破。所以每个人都想超越那个阶段，我只能期待这些事情自然发生。我得试着让你在AGI时间线上定个日期，就像核武器那样的时刻——在地缘政治舞台上真正出现一个转折点，因为我们正在讨论出口管制。你觉得什么时候会到来？哪怕随便说个年份也行。对我来说，可能是在2030年之后，所以我不太确定。我会说，你得先定义清楚那个时刻，因为对我来说，它有点像……

70:35

is the breakthrough that'll make something like that work and I think it's more likely that we have

这是否是能让类似东西奏效的突破？我认为更有可能的是

70:40

breakthroughs that work and things that we don't know what they're going to do so like everyone wants

我们会有奏效的突破，以及一些我们不知道会带来什么结果的东西

70:44

agents Dario has very eloquent way of describing this and I just think that it's like there's going

agents Dario描述这个的方式非常生动，我觉得事情远不止于此，所以我只能预期这些会陆续出现。我得试着让你在AGI时间线上定个日期，就像核武器那种时刻——在地缘政治舞台上真正引发关注的那种，因为我们正在讨论出口管制。你觉得那个时刻大概什么时候会到来？哪怕随便说个年份也行。对我来说，可能是在2030年之后，所以我不太确定。我会说，先定义清楚这个时刻吧，因为在我看来，它几乎已经发生了——你看看印度和巴基斯坦的选举，人们接到AI语音电话，还以为自己在跟政客对话。还有那个AI扩散规则，也是类似的情况。

70:50

to be more than that so I can just expect these things to come I'm going to have to try to pin

所以每个人都想超越那个点，我只能预期这些东西会来，我不得不试着去抓住它

70:54

you down to a date on the AGI timeline like the nuclear weapon moment so moment where on the

你觉得AGI时间线上有没有一个类似核武器那样的关键节点？就是在地缘政治舞台上真正出现那种时刻——你知道，我们现在已经在讨论出口管制了。你觉得那个时刻大概什么时候会来？哪怕随便说个年份也行。对我来说，可能是在2030年之后。所以我不太确定——你得先定义清楚这个节点。因为在我看来，这有点像那些语音通话里政客们讨论的AI扩散规则，甚至可能进一步加强限制，限制云计算和GPU销售给那些跟中国毫无关系的国家。比如葡萄牙，还有一堆普通国家，它们都在那个需要美国批准才能获取资源的名单上。对，就是葡萄牙，还有像这样的国家。

71:04

geopolitical stage there's a real like you know because we're talking about export controls

你觉得什么时候——哪怕随便说个日期——你觉得那会是什么时候？对我来说，可能是在2030年之后，所以我不——我会说先定义清楚，因为对我来说这有点像……

71:11

when do you think just even a throwout a date when do you think that would be like for me

你觉得大概什么时候，哪怕只是抛个日期，你觉得会是什么时候？对我来说，可能是在2030年之后，所以我不太确定。我得先定义清楚这个时间点，因为对我来说，这甚至跟中国有关，就像葡萄牙和所有那些普通国家一样，这些国家都需要美国名单上的批准，比如葡萄牙，还有你知道的，所有这些国家。美国军方对这项新技术非常紧张，但这并不意味着技术本身有问题。大规模语言模型降低了成本，让它们听起来非常智能。有研究显示，分布其实是一个限制因素，所以语言模型还没有达到那个程度。研究结果就像是一个默认假设，大家都会这么想，我本来也会这么认为。

71:16

is probably after 2030 so I'm not so I would say so define that right because to me it kind of

可能是在2030年之后，所以我不太——嗯，我会说，这样定义对吧，因为对我来说这有点

71:22

almost has already happened right you look at elections in India and Pakistan people get AI

几乎已经发生了，对吧？你看看印度和巴基斯坦的选举，人们接到AI语音电话，还以为自己在跟政客本人通话。AI扩散规则不仅存在，甚至可能进一步收紧，限制云计算和GPU销售给那些跟中国毫无关系的国家——比如葡萄牙，还有一堆普通公司所在的国家，都在那个需要美国批准才能购买的名单上。是啊，葡萄牙，还有那些盟友国家，对吧？新加坡，对吧？他们连F-35都有，我们却不让他们买GPU。这在我看来，规模已经大到——你知道的——那只能说明美国军方对这项新技术非常紧张，但这并不意味着技术本身有问题。

71:27

voice calls and think they're talking to the politician right the AI diffusion rules which was

语音通话时，他们以为自己正在跟那位政客本人对话。那个AI扩散规则，甚至跟中国有关——比如这是葡萄牙，还有一堆像这样的普通国家，都需要得到美国名单的批准。是啊，葡萄牙，还有你知道的，所有这些国家买GPU都得这样。对我来说，这已经到了一种规模，嗯，那只能说明美国军方对这项新技术非常紧张，但这并不代表技术本身有问题。大规模语言模型把听起来很智能的成本降得很低。有一些研究表明，分布其实是个限制因素，所以语言模型还没有……这研究就像是一个默认假设，所有人都这么认为，我本来也会这么想。

71:32

enacted in the last couple weeks of the Biden admin and looks like the Trump admin will keep

在拜登政府最后几周颁布的，看起来特朗普政府会保留，甚至可能加强限制，限制向那些甚至跟中国无关的国家出售云计算和GPU。比如葡萄牙，还有一堆普通国家，都在那个需要美国批准才能买的名单上。是啊，葡萄牙，还有那些盟国，对吧？新加坡，对吧？他们连F-35都有，我们却不让他们买GPU。对我来说，这已经到了一种程度——嗯，那只能说明美国军方对这项新技术非常紧张，但这并不意味着这项技术已经成熟了。所以他们可能只是对这件他们不太了解的事情非常谨慎。

71:36

and potentially even strengthen limit cloud computing and GPU sales to countries that are not

甚至可能进一步加强对非中国相关国家的云计算和GPU销售限制，比如葡萄牙这种普通国家，现在都在那个需要美国审批的名单上。是的，葡萄牙，还有所有那些正常购买GPU的国家。对我来说，这已经达到了某种规模——这只能说明美国军方对这项新技术非常紧张，但这并不意味着技术本身有问题。而语言模型正在大幅降低生成听起来很智能的内容的成本。有研究显示，数据分布实际上才是限制因素，所以语言模型还没有真正突破。这就像是一个默认假设，大家都会这么想，我以前也会这么认为。

71:42

even related to China it's like this is Portugal and all these like normal company countries are on

甚至跟中国有关，像是葡萄牙这种普通公司国家也在做

71:47

that you need approval from the US list like yeah Portugal and like you know like all these countries

你需要得到美国名单的批准，比如葡萄牙，还有你知道的，所有这些国家。

71:52

that are allies right Singapore right like they they freaking have F-35s and we don't let them

那些盟友对吧，新加坡就是，他们居然有F-35，而我们还不让他们买GPU。这在我看来已经上升到那种规模了，你懂的，这只能说明美国军方对这项新技术真的很紧张，但这并不代表技术本身有问题。而且大规模语言模型让听起来很智能的内容成本暴跌。有研究显示，分布其实才是限制因素，所以语言模型还没有……研究里说，这其实是大家默认的假设，我本来也会这么想——那就是语言模型会让 misinformation 变得更糟。但根据人们在网络帖子之类的东西上的测量结果来看，其实并没有出现指数级的增长。

71:56

buy GPUs like this is this to me is already to the scale of like you know well that just means that

买GPU像这样，对我来说已经到了一种规模，你懂的，这只能说明美国军方对这项新技术真的很紧张，但这并不意味着技术本身有问题。大规模语言模型降低了生成听起来很智能内容的成本，有研究显示分布其实是个限制因素，所以语言模型还没完全突破。研究上，这几乎是每个人默认的假设，我本来也会这么想。到2030年左右或稍晚一些，我认为在某种程度上，我们已经具备了在规模和数量上彻底变革经济的能力，只需轻轻一按或一瞬间。举个简单的例子，回到2023年，当时GPT-4刚出来的时候。

72:04

the US military is really nervous about this new technology that doesn't mean the technology is

美国军方对这项新技术非常紧张，但这并不意味着这项技术本身有问题。

72:08

already there so like they might be just very cautious about this thing that they don't quite

已经存在了，所以他们可能只是对这件事非常谨慎，毕竟他们不太确定。

72:13

understand but that's a really good point sort of the the robocalls swarms of semi-intelligent

明白，但这确实是个很好的观点。那种半智能机器人的自动呼叫蜂群，可能成为一种武器，能进行大量的社会工程攻击。我的意思是，关于2016年大选，有太多讨论了，比如Cambridge Analytica、俄罗斯干预之类的事情。实际上，世界上每个国家都在往互联网上推送内容，都有他们想传播的叙事，对吧？无论是俄罗斯、中国、美国、以色列等等，每个技术能力足够的国家都在往互联网上灌输观点。而语言模型大幅降低了生成听起来很智能的内容的成本——有研究表明，分布其实才是限制因素，所以语言模型目前还没有……

72:20

bots could be a weapon could be doing a lot of social engineering I mean there's tons of talk

机器人可能成为武器，可能进行大量社会工程攻击，我是说，有太多讨论了，

72:26

about you know from the 2016 elections like Cambridge Analytica and all this stuff Russian

你知道，从2016年大选开始，像Cambridge Analytica这类事情，还有俄罗斯的影响力。

72:30

influence I mean every country in the world is pushing stuff onto the internet and has narrative

我是说，世界上每个国家都在往互联网上推送内容，并且都有他们想要传播的叙事，对吧？

72:35

they want right like that's that every every like technically competent whether it's

每个技术上具备能力的国家，无论是俄罗斯、中国、美国、以色列等等，你知道，人们都在往互联网上灌输观点。

72:38

Russia China US Israel etc right you know people are pushing viewpoints onto the internet

而语言模型大幅降低了生成听起来很智能的内容的成本，比如有些研究表明，分布其实才是限制因素，所以语言模型还没有……

72:44

and mass and language models crash the cost of like very intelligent sounding like there's some

而大规模语言模型降低了成本，让输出听起来非常智能，就像有些研究表明，分布其实是个限制因素，所以语言模型还没有完全突破。

72:49

research that shows that the distribution is actually limiting factor so language models haven't yet

研究上，这就像是一个默认假设，大家都会这么想，而我自己本来也会这么认为。

72:54

made misinformation particularly change the equation there the internet is still ongoing I think

虚假信息确实改变了局面，互联网上的情况仍在持续，我认为是这样。有一篇博客叫AI Snake Oil，是我在普林斯顿的一些朋友写的，他们专门研究这类问题。所以确实有相关研究。这几乎成了大家默认的假设，我原本也这么想——语言模型并没有让虚假信息变得更糟。从互联网帖子和人们一直在测量的内容来看，并没有出现指数级的增长，或者什么特别明显的可测量变化。至于你提到的语音通话之类的东西，可能是在那些更难测量的模态中发生的。所以现在下结论还为时过早。我觉得，通过网络引发的政治不稳定，其实已经被很多人密切监测了。

73:02

there's a blog AI snake oil and some of my friends at Princeton that write on the stuff so there is

有一篇博客叫AI Snake Oil，我普林斯顿的一些朋友也在写这方面的内容。所以确实有研究，而且这基本上是个默认假设，我自己本来也会这么想——那就是语言模型会让 misinformation 问题变得更糟。但根据互联网帖子之类的东西，人们实际测量的结果来看，并没有出现指数级的增长，或者什么特别明显的可测量变化。至于你提到的语音通话这类场景，可能是在一些更难测量的模态里发生，所以现在还很难说。我觉得，像通过互联网引发政治不稳定这种事，其实已经被很多人监控着了。如果你非要我给个时间点，那我只能说，好吧，那些AI CEO们都在说这个。

73:06

research it's like it's a default that everyone assumes and I would have thought the same thing is

在规模化和大规模应用下，才能真正彻底地变革经济，就像一眨眼、一瞬间的事。

73:09

that misinformation isn't a far worse with language models I think in terms of internet posts

关于语言模型导致 misinformation 变得更糟的问题，我觉得在互联网帖子这类内容上，人们一直在监测，并没有发现指数级的增长。但问题可能出现在那些更难衡量的模态上，所以现在下结论还为时过早。至于通过互联网引发的政治不稳定，其实有很多人在监控。如果你非要我给出一个年份，我会说，AI 的CEO们都在说这个，他们思考得那么深入，我得认真对待他们的话，但同时也要明白他们有不同的动机。所以我可能会在他们的预测上加上几年，这样大概就是2030年左右，或者稍微晚一点。我觉得在某种程度上，我们已经具备了相应的能力。

73:15

and things that people have been measuring it hasn't been an exponential increase or something

而且人们一直在测量的那些东西，并没有出现指数级的增长。

73:20

extremely measurable and things you're talking about like voice calls and stuff like that it could

极其可量化，而你提到的那些东西，比如语音通话之类的，可能存在于更难衡量的模态中。所以，现在说这个还为时过早。我觉得，像通过网络引发的政治不稳定，其实已经被很多人监控了。我的意思是，如果你非要我给出一个年份，我会说，好吧，AI公司的CEO们都在这么说，他们对此思考得如此深入，我需要认真对待他们的话，但同时也要明白，他们有不同的动机。所以我会在他们的预测上多加几年，这样大概就接近2030年或者2030年稍晚一些。我认为在某种程度上，我们的能力已经达到了一个临界点，任何一个人都可以说，好吧，如果我能利用这些能力来……

73:24

be in modalities that are harder to measure so it's it's something that it's too soon to tell in

可能是在一些更难衡量的模态里，所以现在说还为时过早。

73:30

terms of I think that's like political instability via the web is very it's is monitored by a lot

我觉得，比如通过网络监测到的政治不稳定，其实已经被很多人盯着了。

73:37

of researchers to see what's happening I think that you're asking about like the AGI thing I might

研究人员们都在观察进展，我觉得你问的是关于AGI那件事。如果非要我给出一个年份，我会说，好吧，那些AI公司的CEO们都在说“两年内”，而且他们已经说了好一阵子了。我觉得像Dario和Anthropic的CEO这些人，他们对这个问题思考得非常深入，所以我需要认真对待他们的话，但也要明白他们各自有不同的动机。所以我会在他们的预测上多加几年，这样差不多就是2030年或者2030年稍晚一些。我认为在某种程度上，我们的能力已经达到了一个临界点——任何一个人都可以说，好吧，如果我能把这些能力利用X段时间，这就是AGI了，比如2027或2028年。但问题是，实际运行这些能力的成本还很高。

73:44

if I mean make me give a year I'm going to be like okay I have AI CEOs saying this they've

如果非要我给出一个年份，我会说，好吧，那些AI的CEO们都在这么说，他们肯定深思熟虑过，我得认真对待他们的话，但也要明白他们各自有不同的动机。

73:48

been saying two years for a while I think that they're people like Dario and Thropic the CEO had

我一直在说两年这个时间点，但我觉得像Dario和Anthropic的CEO这些人，他们对这个问题思考得非常深入，所以我得认真对待他们的话，但也要明白他们有不同的动机。所以我大概会再加个几年，这样就差不多是2030年或者2030年稍晚一点。我觉得在某种程度上，我们的能力会达到一个临界点，任何一个人都可以说，如果我能利用这些能力一段时间，这就是AGI了，比如2027或2028年。但真正大规模运行它、以点击或弹指间的速度彻底变革经济，成本会很高。所以我不认为它会像弹指一挥那样瞬间发生，物理限制会拖慢它。

73:55

thought about this so deeply I need to take their word seriously but also understand that they

所以我大概会给他们说的加个几年，这样算下来差不多就是2030年，或者2030年稍晚一点。

74:00

have different different incentives so I'll be like add a few years to that which is how you

我觉得在某种程度上，我们已经具备了在规模和数量上，能够一键、一瞬间彻底颠覆整个经济的能力。

74:05

get something similar to 2030 or a little after 2030 I think to some extent we have capabilities that

我觉得大概要到2030年或2030年之后，某种程度上我们才具备那种规模和能力，能一键彻底变革经济。举个简单的例子，回到2023年，当时GPT-4刚出来，有人想把GPT-3集成到每个Google搜索里，结果发现这玩意儿物理上根本不可能实现。而当我们往前看，回到test time，用最强大的chat模型去解决一个arc AGI问题，查询成本高得吓人。我们所谓的“AGI”今天能搞定arc AGI，三年后它能处理复杂得多的问题，但成本会高达数千美元。

74:10

hit a certain point where any one person could say okay if I can leverage those capabilities for

到了某个节点，任何一个人都可以说，好吧，如果我能把这些能力规模化、大众化地利用起来，就能在一瞬间彻底颠覆整个经济——但我不认为这真的会像打个响指那么简单，物理限制摆在那里。举个简单的例子，回到2023年，GPT-4刚出来的时候，大家都在为搜索功能炸锅。有人算了一笔账，说如果要把GPT-3集成到每一次Google搜索里，那成本高得根本不可能实现。而当我们往前推进，回到test time，用最强大的chat模型去解决一个arc AGI问题，成本又是另一回事了。

74:16

X amount of time this is AGI right call it 2728 but then the cost of actually operating that

X amount of time 这就是 AGI，叫它 2728 也行，但真正大规模、大批量地运营它，来彻底变革经济，就像打个响指、点一下鼠标那么简单——我觉得不会像打个响指那么轻松，物理限制摆在那儿。简单举个例子，回到 2023 年，GPT-4 刚出来那会儿，大家都在为搜索这事儿抓狂。有人算了一笔账，说要是把 GPT-3 塞进每一次 Google 搜索里，那成本高得根本不可能实现。而当我们往前走到 test time，用最牛的 chat 模型去解决一个 ARC-AGI 问题，那个成本……

74:22

capability yeah this is going to be my point so so extreme that no one can actually deploy it

能力方面——这正是我要说的重点，极端到没人能真正大规模部署它，不可能一蹴而就地彻底变革整个经济。所以我不认为它会像打个响指那么简单，物理限制摆在那里，而是说：能力已经具备了，但我没法到处部署它，对吧？举个简单的例子，回到2023年，GPT-4刚出来的时候，大家都在为搜索功能抓狂。有人算了一笔账，如果要把GPT-3集成到每一次Google搜索里，结果发现这根本就是物理上不可能实现的事。而当我们继续往前推进，回到test time这个话题上——

74:27

at scale and mass to actually completely revolutionize the economy on a click on a snap of

举个简单的例子，回到2023年左右，你知道，当时GPT-4刚出来。

74:32

the fingers so I don't think it will be like a snap of the fingers physical constraint rather it'll

手指，所以我不认为它会像打个响指那样瞬间发生物理限制，而是更可能像——举个简单的例子，回到2023年，当时GPT 4刚出来，大家都在为搜索功能抓狂对吧？因为有人算了一笔账，如果把GPT 3集成到每一次Google搜索里，结果就是“哦好吧，这从物理上根本不可能实现”。而当我们向前推进，回到测试时最强大的聊天模型，要让它返回一个查询来解决一个arc AGI问题，成本是我们想要的——好吧，所谓的“AGI”，我们今天拥有的东西三年后能解决arc AGI问题，它能处理更复杂的问题，但成本将高达数千美元。

74:37

be a you know oh the capabilities are here but I can't deploy it everywhere right and so one one

你知道，能力是有的，但我没法到处部署对吧。举个简单的例子，回到2023年，GPT 4刚出来的时候，大家都在为搜索功能抓狂。如果你算一下成本，比如把GPT 3集成到每一次Google搜索里，那基本上就是物理上不可能实现的事。而当我们往前推进，回到test time，用最强大的chat模型去解决一个arc AGI问题，返回一个查询的成本是5到20美元。而且这还只是起点，成本只会更高——这跟处理一个查询相比，完成一个任务的成本差距是千倍甚至万倍。而arc AGI这个任务本身，其实并不算复杂。

74:42

simple example going back sort of to 2023 was when uh you know being with GPT 4 came out and

而把GPT-3集成到每一次谷歌搜索里，就像是在说，哦好吧，这简直就是在物理上不可能。

74:48

everyone was freaking out about search right for question came out if you did the cost on like

当时大家都在为搜索的事抓狂，对吧？问题就来了：如果你算一下成本，比如把GPT-3集成到每一次Google搜索里，那基本上就是物理上不可能实现的事。然后当我们往前推进，回到test time，用最强大的chat模型去处理一个查询，解决一个arc AGI问题，成本呢？我们想要的是——好吧，AGI，所谓的AGI，今天能做到arc AGI，三年后它能处理更复杂的问题，但成本会高达数千美元。而且任何完全自主的系统——AI只是个助手，但人类操控FPV无人机时，大部分控制权在人类手里，这远远远远超过AI系统的表现。所以对我来说，这并不显而易见。

74:53

hey implementing GPT 3 into every Google search was like oh okay this is just like physically

嘿，把GPT 3塞进每个Google搜索里，就像说好吧，这纯粹是物理上的

74:57

impossible to implement right and and as we step forward to like going back to the test time

实现起来很难，而且当我们向前推进，比如回到测试时间时，最强大的聊天模型要拿到一个查询来解决一个arc AGI问题，但成本很高。我们想要的那种AGI，打个引号，今天能做的arc AGI，三年后它能解决更复杂的问题，但成本会以千计。人类控制的部分大多远远优于AI系统，所以对我来说并不明显。他们可能会把中国芯片卖给所有人，甚至可能补贴。因此我们的需求会减少，也就难以持续推动生产周期。这是因为这些长期限制，除非AI在短期内有所作为。

75:01

compute thing right a query for you know you ask Chad GPT a question it cost sense right for their

算力这事儿吧，你问ChatGPT一个问题，它得花钱，对吧？对他们最牛的聊天模型来说，回答一个查询要花几美分。但解决一个ARC AGI问题，成本是5到20美元。而且这还只是起步价，未来只会更高。回答一个查询和完成一个任务之间，成本差了上千倍甚至上万倍。ARC AGI这个任务吧，某种程度上其实挺简单的，但问题在于——我们到底想让AGI做什么？今天所谓的“AGI”能搞定ARC AGI，三年后它能解决更复杂的问题，但成本会变成几千、几十万甚至上百万美元的GPU算力时间，而且到时候根本没那么多的电力供应。

75:08

most capable model of chat right to get a query back to solve an arc AGI problem though cost

最强大的聊天模型，能返回查询结果来解决一个ARC AGI问题，但成本

75:15

5 to 20 bucks right and this is this isn't only going up from there this is a thousand 10,000

5到20美元对吧，而且这还只是起步价，未来只会更高。回答一个查询和执行一个任务之间的成本差距是千倍、万倍的。而ARC AGI的任务并不是说我们想要AGI——好吧，所谓的AGI——我们今天拥有的东西三年后就能完成ARC AGI，它能解决复杂得多的问题，但成本将高达数千、数十万美元的GPU时间，而且根本不会有足够的算力。但在那个时刻，谁能获得约束控制权，并把AGI指向某个任务呢？这正是Dario那篇文章里提到的——他说，中国可以比我们更有效地、更快地把他们的AGI指向军事任务，对吧？而且他们在很多方面确实更快地采用了某些技术。

75:21

x factor difference in cost to respond to a query versus do a task and the task of arc AGI is not

查询成本与执行任务成本之间存在一个x factor级别的差异。而arc AGI的任务并不是——我们想要的是AGI，好吧，打引号的“AGI”。我们今天拥有的东西三年后就能完成arc AGI，它能处理复杂得多的问题，但成本将高达数千、数万甚至数十万美元的GPU时间，而且根本不会有足够的算力。但在那个时刻，谁能获得约束控制权，并把AGI指向某个任务呢？这正是Dario那篇文章里提到的——他说，嘿，中国可以比我们更有效、更快速地把他们的AGI用于军事任务，对吧？而且他们在很多方面确实更快地采用了某些类似的东西。这实际上就是灾难性的，相比之下，美国只是想——

75:27

like it's like it's it's simple to some extent um you know but it's also like what are the tasks

就有点像……某种程度上它挺简单的，但问题在于，我们想让AGI——打个引号——去完成哪些任务。今天它能做ARC AGI，三年后它能解决复杂得多的问题，但代价是消耗成千上万甚至几十万美元的GPU算力，而且到时候电力根本不够用。但关键问题是，到那个节点，谁能控制并约束AGI，把它指向某个任务？这正好是Dario那篇文章里提到的——他说，嘿，中国能比我们更高效、更快速地让他们的AGI去执行军事任务，对吧？而且他们在很多方面确实比美国更快地把某些新技术——尤其是无人机相关技术——整合进了军队。

75:34

that we want age okay AGI quote unquote what we have today can do arc AGI three years from now it

我们想要的是AGI，所谓的AGI，今天能做的ARC AGI，三年后

75:38

can do much more complicated problems but the cost is going to be measured in thousands and

能处理更复杂的问题，但成本会以千计

75:42

thousands and hundreds of thousands of dollars of GPU time and there just won't be enough power

成千上万美元的GPU算力投入进去，但就是没有足够的电力支撑。

75:47

to use infrastructure to operate this and therefore shift everything in the world on the snap the

利用基础设施来运作这一切，然后打个响指就能改变世界，但在那一刻，谁能约束和控制AGI，并把它指向某个任务呢？这正是Dario在他的文章里提到的——他说中国可以比我们更有效地、更快地把他们的AGI用于军事任务，对吧？而且他们在很多方面确实比美国更快地将某些新技术应用到军事中，尤其是在无人机方面。美国可能长期以来拥有大型的空中力量，比如战斗机、轰炸机之类的，但在无人机这种非对称武器上，中国已经完全超越了美国和西方。而Dario在那里指出的担忧，我觉得是：没错，我们能做到，但然后呢？

75:51

finger but at that moment who gets to constraint control and point the AGI at a task and so this

关键在于，那一刻谁能控制AGI，并把它指向某个任务——就像Dario那篇文章里说的，中国能比我们更高效、更快速地让AGI服务于军事任务，而且他们在某些技术的采用上确实更快。

75:59

was in Dario's post that he's like hey China can effectively and more quickly than us point

类似这种情况，实际上是非常灾难性的，而相比之下美国只是想……

76:04

their AGI at military tasks right and they have been in many ways faster at adopting certain

任何完全自主的系统——AI只是辅助工具，人类操控FPV无人机，大部分控制权在人类手里——其表现远远超过纯AI系统。

76:10

new technologies into into their military right especially with regards to drones right uh the US

把新技术应用到他们的军事领域，尤其是无人机方面，呃，美国。

76:15

maybe has a longstanding you know large air sort of you know fighter jet type of thing bombers but

可能长期以来，美国有那种大型的、像战斗机或轰炸机之类的东西，但说到无人机这种非对称武器，他们已经完全超越了美国。在西方，达里奥指出的那种担忧，我觉得是：没错，中国军方可以集中所有资源将其应用于军事领域，从而解决军事后勤问题，或者解决其他方面，比如针对特定人群的虚假信息，这样他们就能颠覆一个国家的政治之类的事情——这实际上是灾难性的。相比之下，美国只是想把资源按资本主义方式分配到回报最高的地方。

76:21

when it comes to asymmetric arms such as drones they've they've completely leapfrogged the US

在无人机这类非对称武器上，他们已经完全超越了美国。

76:27

in the west and the fear that Dario is sort of pointing out there I think is that yeah great we'll

在西方，Dario 指出的那种担忧是，没错，中国军方可以集中所有资源把它部署到军事上，

76:33

have AGI in the commercial sector uh the US military won't be able to implement it super fast

在商业领域实现AGI的话，美国军方没法很快部署。但中国军方可以，他们能把所有资源集中到军事应用上，比如解决军事后勤，或者针对特定人群搞信息战，从而颠覆一个国家的政治格局——这种后果是灾难性的。相比之下，美国这边更倾向于按资本主义逻辑分配资源，只追求最高投资回报率，比如优化工厂建设之类的。另外，我观察到的所有案例都表明，人们对机器人技术的直觉判断往往不准，但大家却普遍对此持乐观态度。

76:38

Chinese military could and they could direct all their resources to implementing it in the military

从而解决军事后勤，或者解决其他方面的问题，比如针对特定人群的虚假信息，

76:42

and therefore solving you know military logistics or solving some some other aspect of like

这样他们就能颠覆一个国家的政治，或者类似的事情，这实际上是灾难性的。

76:47

disinformation for targeted certain set of people so they can flip a country's politics or

相比之下，美国只是想把资源按资本主义方式分配，投向回报最高的地方。

76:52

something like that that is actually like catastrophic versus you know the US just wants to

所以对我来说，短期内军事领域出现成群自主机器人这件事并不明显，也许……

76:57

you know because it'll be more capitalistically allocated just towards whatever is the highest

你知道，因为资本会更倾向于分配到回报最高的地方。

77:00

return on income which might be like building you know factories better or whatever so everything I've

收入回报可能体现在比如建设更好的工厂之类的事情上，所以我看到的一切——人们的直觉似乎在机器人领域失效了。你对无人机有这种普遍的乐观情绪，我对此理解得少一些，但我亲眼目睹了乌克兰战争的现实，以及双方对无人机的使用情况。看起来人类仍然远远胜过任何全自主系统。AI是辅助工具，但人类操控FPV无人机时，人类的控制能力远远、远远超过AI系统。所以我认为，在军事领域，我们短期内不太可能看到自主机器人蜂群。我能想象的最快时间点是2030年，这也是为什么我说2030年会出现超级强大的AI。

77:05

seen uh people's intuition seems to fail on robotics so you have this kind of general optimism

嗯，人们直觉在机器人领域似乎不太靠谱，所以大家普遍比较乐观。无人机这块我理解得少一点，但我看过乌克兰战争的实际情况，双方都在用无人机，结果人类依然远远胜过任何全自主系统。AI只是个辅助，人类操控的FPV无人机——人类主要控制的部分——表现远远超过AI系统。所以我不觉得我们很快就能在军事领域看到自主无人机蜂群。我能想象的最快时间点是2030年，这也是为什么我说2030年会出现超级强大的AI网络战技术，从社会工程到实际攻击都包括。

77:11

I've seen this on self-driving cars people think it's much easier problem than it is similar

我在自动驾驶汽车上见过这种情况，人们觉得这个问题比实际简单得多。无人机这边我理解得少一点，但我亲眼看到了乌克兰战争的现实，以及双方对无人机的使用，似乎人类仍然远远胜过任何全自主系统。AI是助手，但人类操控FPV无人机时，人类主要控制的部分远远胜过AI系统。所以对我来说，我们很快会在军事领域看到自主机器人蜂群这一点并不明显。我能想象的最快可能是2030年，这也是为什么我说超级强大AI要到2030年。当你看到大规模机器人蜂群执行军事行动时，那才是世界真正改变的时刻。

77:16

with drones here I understand it a little bit less but I've just seen the reality of the war in

关于无人机这块，我理解得没那么深，但我亲眼看到了乌克兰战争的现实，以及双方对无人机的使用。看起来人类仍然远远胜过任何全自主系统——AI只是辅助，但人类操控FPV无人机时，人类主要控制的部分，表现远远超过AI系统。所以对我来说，并不明显能看到我们很快会在军事领域拥有自主无人机集群。我能想象的最快时间可能是2030年，这也是为什么我说2030年会出现超级强大的AI。

77:23

Ukraine and the usage of drones up both sides and it seems that humans still far outperform

网络战、网络战这类技术，从社会工程到实际攻击，都是如此。

77:31

any any fully autonomous systems A.I. is an assistant but humans drive FPV drones where the

任何完全自主的AI系统，AI只是辅助工具，但人类操控FPV无人机时，人类控制的部分远远远远超过AI系统。所以对我来说，这并不明显——他们可能会把中国芯片卖给所有人，甚至可能补贴这些芯片。我们的需求因此减少，也就无法持续推动生产循环。这是因为这些长期限制，除非AI在短期内做出某些突破。而这正是关键解锁点。即便在今天，如果习近平决定——用他们的话说——“拥抱规模”（scale-pilled），也就是认定scaling laws才是关键，就像多吉瓦级的数据中心，无论是在德克萨斯、路易斯安那还是威斯康星，都一样。

77:39

humans control mostly just far far far outperforms A.I. system so I think it's not obvious to me that

人类控制的部分，绝大多数远远超越AI系统，所以对我来说并不明显

77:45

we're going to have swarms of autonomous robots anytime soon in the military context maybe the

我们很快会在军事领域看到成群结队的自主机器人，也许吧。

77:52

the fastest I can imagine is 2030 which is why I said 2030 for the super powerful A.I.

我能想象到的最快时间是2030年，所以我才说2030年会出现超级强大的A.I.。

77:58

whenever you have large-scale swarms of robots doing military actions that's when the world

每当出现大规模机器人集群执行军事行动时，那就是世界——网络战、网络战这类技术，从社会工程攻击到实际上就是机器人集群在我们的代码库中寻找攻击向量并关闭防护系统，诸如此类的事情。这可能会成为那种情况，比如某个普通周末，突然停电，没人知道原因，然后世界就此永远改变——仅仅全美国停电两天，就会导致谋杀和混乱。但回到专家控制的话题，你认为这是在地缘政治背景下控制AI力量平衡的一种有用方式吗？我认为，回到我的观点，如果你相信我们正处于某种——

78:04

just starts to look different to me so that's the thing I'm really worried about but there could be

对我来说，它开始变得不一样了，这才是我真正担心的事。但可能还会有网络战那种类型的技术，从社会工程攻击，到真正成群的机器人找到我们代码库里的攻击漏洞，然后瘫痪掉一些系统之类的。这种事可能发生在某个普通的周末，比如突然停电，没人知道为什么，然后世界就永远改变了——全美国停电两天，就会导致谋杀和混乱。但回到专家控制这个话题，你觉得这是在地缘政治背景下，控制AI力量平衡的一种有用方式吗？而回到我的观点，如果你相信我们正处于某种阶段……

78:10

cyber war cyber war type of technologies that uh from social engineering to actually just

网络战、网络战这类技术，从社会工程到实际攻击，

78:16

swarms of robots that find attack vectors in our code bases and shut down pogards that kind of

成群的机器人在我们的代码库中寻找攻击向量，然后关闭那些漏洞，诸如此类的事情。这可能就像某个普通周末，突然停电了，没人知道原因，世界从此彻底改变——全美国停电两天，就会引发谋杀和混乱。但回到专家控制这个话题，你认为这是在地缘政治背景下，控制AI力量平衡的一种有用方式吗？而回到我的观点，如果你相信我们正处于未来五年或十年内社会发生重大变革的阶段——五年时间线正是许多AI公司甚至大型科技公司的高管们所相信的。

78:23

stuff and it could be one of those things like on an any given weekend or something power goes out

有些事就像某个周末突然停电一样，没人知道原因，世界就此永远改变——全美国停电两天，就会引发谋杀和混乱。但回到专家控制这个话题，你认为在AI的背景下，这是一种在地缘政治上控制权力平衡的有用方式吗？

78:29

nobody knows why and the world changes forever just power going out for two days in all of the

而回到我的观点，如果你相信我们正处于未来五年或十年内社会发生重大变革的阶段——五年这个时间线，正是许多AI公司甚至大型科技公司的高管们所相信的——那么在这个时间周期内，唯一能创造显著优势的方式就是……

78:36

United States that will lead to murder to chaos but going back to expert controls do you see that

美国会因此导致谋杀和混乱，但回到专家控制的问题，你认为这是

78:45

is a useful way to uh control the balance of power geopolitically in the context of A.I.

在地缘政治背景下控制A.I.力量平衡的有效方式吗？

78:55

and I think going going back to my viewpoint is if you believe we're in the sort of uh stage of

回到我的观点，如果你相信我们正处于

79:01

economic growth and change that we've been in for the last 20 years the export controls are

过去二十年我们经历的经济增长和变化，出口管制绝对是在确保中国长期获胜。如果你不相信AI会在未来十年或五年内给社会带来重大变化——五年时间线大致是AI公司甚至大型科技公司的高管们所相信的，但即便是十年时间线，你知道，也是合理的。但一旦你进入“嘿，这些时间线嘛……”，低于那个时间段，那么要想为美国相对于中国创造显著优势或劣势，唯一的方法就是限制compute，因为talent并不是真正的制约因素——中国可以说拥有更多talent，更多的STEM毕业生。

79:06

absolutely guaranteeing that China will win long-term right if you do not believe A.I. is going to make

完全可以保证中国长期会赢。如果你不相信AI会在未来五年或十年内对社会带来重大变化——五年这个时间线，其实是很多AI公司甚至大型科技公司的高管们普遍认同的；十年时间线也算合理。但一旦你开始讨论比这更短的时间段，那么要让美国和中国之间形成显著的优势或劣势，唯一的方法就是限制算力。因为人才并不是真正的瓶颈——中国的人才其实更多，STEM毕业生更多，AI行业里的外籍人才也更多，很多AI团队里都是非美国籍的人。

79:13

significant changes to society in the next 10 years or five years right five five year timelines

未来10年或5年内社会发生重大变化的阶段——没错，五年时间线

79:18

are sort of what the more executives and such of A.I. companies and even big tech companies believe

是更多A.I.公司甚至大型科技公司的高管们所相信的——

79:23

but even 10 year timelines you know it's reasonable but once you get to hey these these timelines

但即便是十年时间线，这还算合理。可一旦你开始讨论低于这个时间周期的情况，那么要让美国相对于中国形成显著优势或劣势，唯一的方法就是限制compute。因为人才其实并不是瓶颈——中国的人才储备可能更多，STEM毕业生更多，AI行业里的外籍人才也更多。很多AI团队里都是没有美国身份的人。这其实很好，正是我们想要的。但人才只是一个方面，我不认为这能成为美国可量化的优势。真正的关键就在于compute。即便在compute层面，当我们对比芯片和数据中心时，情况也是如此。

79:30

are uh but below that time period then the only way to sort of like create a sizable advantage or

但在这个时间段以下，唯一能创造显著优势的方式就是

79:38

disadvantage for America versus China is if you constrain compute because talent is not really

美国相对于中国的劣势在于，如果你限制算力，因为人才其实并不是一个制约因素——中国的人才可能更多，对吧？STEM毕业生更多，AI行业里的外国人更多，很多AI团队里都是没有美国背景的人。这很好，这正是我们想要的，对吧？但人才只是一个方面，我不认为这是美国能形成可衡量优势的地方。真正的关键其实就在于算力。即便在算力方面，当我们看芯片和数据中心时，他们正在建设越来越多的电力设施，他们拥有的钢厂，单个的规模就相当于一个发电站。而当我们讨论最大的数据中心时，我提出了这个观点。

79:46

something that's constraining right China arguably has more talent right more STEM graduates more

现在制约中国的一个因素是，中国在人才方面其实更有优势，STEM毕业生更多，AI行业里也有很多外国人，很多AI团队里都是没有美国身份的人。这很好，这正是我们想要的。但人才只是一个方面，我不认为这能成为美国的一个可衡量的优势。真正的问题在于算力。就算在算力方面，当我们看芯片和数据中心时，中国在建设越来越多的电力设施，他们拥有的钢厂，单个的规模就相当于一个发电站。当我们讨论最大的数据中心时，我提到过，中国拥有全球最大的工业设施之一。如果中国想建最大的数据中心，他们完全可以做到。

79:51

programmers the U.S. can draw upon the world's people uh which it does there's tons of you know

美国的程序员可以吸纳全球的人才，嗯，确实如此，AI行业里有大量外国人，很多AI团队里的人都没有美国护照。是啊，是啊，我的意思是，很多中国人都在往美国搬，对吧。这很好，这正是我们想要的，对吧。嗯，但人才只是其中一个方面，我不认为这是美国能衡量的优势。真正的问题其实在于算力。现在，当我们看芯片和数据中心的时候，对吧，中国拥有前所未有的能力来建设庞大的电力系统，就像发条一样精准。他们一直在扩建电力设施，他们的钢厂，单个的规模就能比得上……

79:55

foreigners in the A.I. industry so many of these A.I. teams are all people without a U.S.

A.I. 行业里的外国人很多，这些 A.I. 团队里很多人没有美国身份。

80:00

passport yeah yeah I mean as many of them are are Chinese people are moving to America right

护照这事儿，对，我是说很多中国人都在往美国跑，对吧。这挺好的，这正是我们想要的，对吧。但人才只是一方面，我不觉得这能算美国一个可量化的优势。真正的问题还是算力。就算看算力这块，芯片和数据中心对比一下，中国有那种前所未有的能力，能搞出离谱规模的电力系统，对吧。他们一直在建更多更多的电力，他们的钢厂，单个就能顶一个电力系统的规模。然后我们聊到最大的数据中心项目，我当初对“星门”那个宣布大做文章，但其实等它完全建好，也就那样。

80:06

and that's that's great that's exactly what we want right um but there's that talent is one aspect

这其实很好，这正是我们想要的，对吧？但 talent 只是其中一个方面。

80:11

but I don't think that's one that is a measurable advantage for the U.S. or not it truly is just whether

我不认为这是美国能形成可衡量优势的地方，真正的关键还是 compute。

80:16

or not compute right now even on the compute side uh when we look at chips versus data centers right

现在看 compute 这边，芯片和数据中心对比一下。

80:22

China has the unprecedented ability to build ridiculous sums of power clockwork right they're always

中国在建设大规模电力基础设施方面拥有前所未有的能力，他们一直在不断扩建电厂，甚至单个钢厂的规模就相当于一座发电站。当我们讨论全球最大的数据中心时，我提到过Stargate那个大项目——但那个项目完全建成后，规模可能还比不上中国现有的某些工业设施。如果中国想建全球最大的数据中心，只要他们能获得芯片，这根本不是问题。问题只在于"何时"而非"能否"。所以他们的工业产能远超美国，尤其是在制造业方面。长期来看，他们必然会在本土生产芯片。

80:30

building more and more power they've got steel mills that that like individually are the size of

他们建了越来越多的电力设施，有些钢厂单个的规模就跟发电站一样大。

80:36

the entire U.S. industry right and they've got aluminum mills that consume gigawatts and gigawatts

整个美国工业界就是这样，他们那些铝厂消耗的电量是几千兆瓦几千兆瓦的。我们聊到最大的数据中心时，我大张旗鼓地提了Stargate那个项目，但那个其实——等它完全建好，还要几年时间，也就两吉瓦的电力。这规模还是比中国最大的工业设施小。中国如果想建全球最大的数据中心，只要他们有芯片供应，完全能做到。所以问题不是“能不能”，而是“什么时候做”。他们的工业产能远超美国，没错，尤其是在制造方面。所以长期来看，他们肯定会在本土生产芯片。

80:40

of power right and when we talk about what's the biggest data center right opening I made this

当我们讨论最大的数据中心时，我建的这个已经是全中国最大的工业设施之一了。

80:45

huge thing about Stargate their announcement there that's not that's like once it's fully built out

关于Stargate那个公告里有个很重要的点，就是等它完全建成之后，规模会非常庞大。中国那些最大的工业设施，对吧？如果中国想建全球最大的数据中心，而且能拿到芯片的话，他们完全做得到。所以这其实不是“能不能”的问题，而是“什么时候做”的问题。没错，他们的工业产能远超美国。制造东西这方面确实是这样。所以长期来看，他们会在那里生产芯片。现在在美国，决定人们能多快建起最大规模集群的关键因素，是电力。不管是发电、输电还是变电站，这些都制约着美国工业界建设更大规模训练系统的能力。

80:50

in a few years it'll be two gigawatts right of power right and this is still smaller than the

几年后，它的功耗就会达到两吉瓦对吧，但这仍然比中国那些最大的工业设施要小。中国如果想建世界上最大的数据中心，只要他们能拿到芯片，就完全能做到。所以这根本不是“能不能”的问题，而是“什么时候”的问题。他们的工业产能远超美国，没错，就是制造能力。所以长期来看，他们肯定会在那里生产芯片。不过晶圆厂本身也消耗大量电力，别误会我的意思——但那不一定是瓶颈。今天在美国，制约人们能多快建起最大规模集群的关键因素，其实是电力。就是电力，可能是发电、输电，也可能是变电站。

80:55

largest you know industrial facilities in China right China if they wanted to build the largest

中国如果想建最大的，他们完全可以做到。

81:00

data center in the world if they had access to the chips could so there's not just it's just a

世界上最大的数据中心，如果他们能拿到芯片的话，就能做到。所以这不只是“什么时候”的问题，而是“会不会”的问题。没错，他们的工业产能远超美国。所以长期来看，他们会在那里制造芯片。目前在美国，制约人们能多快建起最大规模集群的关键因素是电力。无论是发电、输电还是变电站，都限制了美国工业建设更大规模训练系统的能力。现在正是时候，对于那些不思考这个问题的人来说——因为如果出口管制的时间点搞错了，中国正在投入大量资金到芯片生产上，一旦时机不对……

81:05

question of uh went not if right so they're industrial capacity far exceeds the United States exactly

问题在于，他们的工业产能远超美国，没错。

81:11

to the manufacturer stuff yeah so why why so long term they're going to be manufacturing chips there

制造这些东西嘛，所以长期来看，他们会在那里生产芯片。

81:18

chips are a little bit more specialized I'm specifically referring to the data centers right chips

芯片其实更偏向专用化，我特指数据中心用的那种芯片。晶圆厂耗电量巨大，别误会，但这不一定是瓶颈。真正的瓶颈在于，今天在美国，人们能多快建起最大规模的集群——关键就是电力。无论是发电、输电，还是变电站、变压器这些设备，以及数据中心本身的建设，所有这些都制约着美国工业界构建更大规模训练系统、以及部署更多推理算力的能力。我觉得有必要向那些平时不关注这些的人讲清楚，为什么现在正是关键节点——本质上就是因为出口管制。

81:22

fabs take huge amounts of power don't get me wrong uh that's not necessarily the gating factor

晶圆厂耗电量巨大，但别误会，这倒不一定是关键制约因素。如今在美国，制约人们能多快建起最大规模集群的关键因素就是电力。没错，无论是发电、输电还是变电站，都已成为美国产业界建设更大规模训练系统以及部署更多推理算力的瓶颈。我觉得有必要向那些不关注此事的人讲清楚，为什么现在正是关键节点——因为出口管制存在时机问题。中国正在芯片生产上投入巨额资金，如果时机把握不当，他们将在产能和能源供应上占据优势，并最终找到解决方案。

81:27

there the gating factor on how bill fast people can build the largest clusters today in the U.S.

目前在美国，制约人们能多快建起最大规模集群的关键因素是电力。

81:32

is power right it is whether it's now it could be power generation power transmission uh substations

就是电力，可能是发电、输电、变电站，这些都是美国工业建设更大规模训练系统的瓶颈。

81:38

and uh you know all these sorts of transformers and all these things uh building the data center these

嗯，你知道，所有这些transformer啊、建数据中心这些事，其实都在限制美国工业界构建更大规模训练系统的能力，同时也限制了部署更多inference算力的能力。我觉得有必要跟那些平时不琢磨这事儿的人讲清楚，为什么现在时机这么关键——因为出口管制的时间点一旦搞错，中国正在往芯片生产上砸海量资金。要是时间点没踩对，他们就会拥有更大的生产能力、更大的能源供应能力，并且能搞明白怎么造芯片，最终在芯片制造能力上超过全世界其他地方——因为所有人都能买，他们会把中国造的芯片卖给所有人，甚至可能还会补贴。

81:43

are all constraints on the U.S. industries ability to build fat larger and larger training systems

现在正是时候，那些没考虑过这事的人要注意了，因为本质上，加上出口管制，

81:49

as well as deploying more and more inference compute I think we need to make the point clear on why

以及部署越来越多的推理算力，我觉得有必要把为什么现在就要行动这点讲清楚，给那些没想过这事的人听。因为说到底，出口管制如果时机不对，中国正在往芯片生产上砸大钱，一旦你时机没踩准，他们就会有更多的产能、更多的能源，还会想办法造出来、卖出去——他们可能会补贴自己的芯片，卖给全世界。美国公司的性能优势会受影响，出货量也会减少，而台积电又不能卖给中国，这样一来我们的需求就会下降，也就没法持续推动生产循环了。长期来看，由于这些限制，除非AI在短期内能做出点什么来改变局面。

81:54

the time is now for people that don't think about this because essentially with export controls

如果时机不对，中国正在投入大量资金到他们的芯片生产上，而如果你时机没把握好，

81:58

you're making it so China cannot make or get um cutting edge chips and the idea is that if you

你这是在让中国无法制造或获取最先进的芯片，想法是如果你时机没算准——中国正在砸大钱搞芯片生产，如果你时机搞错了，他们反而会有更多的生产能力、更多的能源供应，并且能搞明白怎么造芯片，最终在芯片制造能力上超过全世界其他地方。因为所有人都能买，他们会把中国芯片卖给所有人，甚至可能补贴这些芯片。所以如果AI要花很长时间才能实现差异化，那我们就等于拖累了美国公司的财务表现——比如英伟达没法卖更多芯片，台积电也不能卖给中国，这样一来需求就减少了，也就没法继续推动生产周期。这就是问题所在。

82:04

time this wrong China is pouring a ton of money into their chip production and if you time it wrong

他们就会把中国造的芯片卖给所有人，甚至可能补贴这些芯片。

82:10

they are going to have more capacity for production more capacity for energy and figure out how to make

他们将拥有更多的生产能力，更多的能源供应，并想办法制造出可销售的芯片——他们可能会把中国芯片卖给所有人，甚至可能提供补贴。美国公司在视频领域的表现可以卖出更少的产品，台积电无法向中国销售，因此我们的需求减少，为了维持生产循环，长期来看，除非AI在短期内有所作为，否则这些限制会持续存在。这就是那个关键的解锁因素。即便在今天，如果习近平决定——所谓的“规模觉醒”，也就是认定规模定律才是关键——就像建设多吉瓦级的数据中心，无论是在德克萨斯州、路易斯安那州还是威斯康星州，都一样。

82:14

the chips and have more capacity than the rest of the world to make the chips because everybody

这些芯片的产能比全球其他地方加起来还大，因为所有人都能买——他们会把中国造的芯片卖给所有人，甚至可能补贴价格。美国公司的性能优势体现在视频领域，但台积电不能卖给中国，所以我们的需求就减少了，也就没法持续推动生产周期。这就是这些限制带来的后果。长期来看，除非AI在短期内做点什么——我相信AI会在中短期内给社会带来巨大变革，对吧——这才是真正的破局点。而且就算在今天，如果习近平决定变得“规模至上”，也就是说，认定规模定律才是关键，对吧，就像

82:18

can buy they're going to sell their Chinese chips to everybody they might subsidize them

他们可能会把中国芯片卖给所有人，甚至补贴

82:22

and therefore if AI takes a long time to become differentiated we've kneecapped the financial

因此，如果AI需要很长时间才能实现差异化，那就会拖累美国公司的财务表现——比如视频业务卖得少，台积电不能卖给中国，所以需求就下降，进而无法持续推动生产周期。这就是这些限制带来的长期影响，除非AI在短期内有所作为——而我相信AI会在中短期内对社会带来巨大变革，对吧。所以这就是那个关键的解锁因素。甚至就在今天，如果习近平决定——怎么说呢——被“规模洗脑”了，也就是认定规模定律才是关键，就像美国高管们——比如Sachin Adela、Mark Zuckerberg、Sundar以及所有那些美国高管一样——

82:28

performance of American companies in video can sell less TSMC cannot sell to China so therefore

美国公司在视频领域的表现可能销量不佳，台积电不能卖给中国，所以需求就减少了，也就没法继续推动生产周期。这就是因为那些限制长期存在，除非AI在短期内搞出点什么名堂——而这正是那个关键的解锁点。甚至就在今天，如果习近平决定变得“规模觉醒”，也就是说认定缩放定律才是关键，就像那些多吉瓦级的数据中心，不管是在德州、路易斯安那还是威斯康星，年复一年地建，他们深信这就是方向，这就是他们在做的事——但如果中国决定要干，他们能比我们更快，可这就是限制发挥作用的地方。

82:34

we have less demand to therefore and to like keep driving the production cycle so that's the

我们因此需求减少，无法继续推动生产周期，所以这就是

82:40

assumption behind the time timing being less than 10 years or five years to above right China will win

假设时间少于十年或五年就能让中国获胜，背后有个前提——因为长期来看这些限制会起作用，除非AI在短期内做出点什么。而我相信AI确实会做到，你知道，在中短期内给社会带来巨大变化。所以，这就是那个关键的解锁因素。甚至就在今天，如果习近平决定，怎么说呢，变得“规模至上”——也就是说，认定规模定律才是关键，就像美国那些高管，比如Sachin Adela、Mark Zuckerberg、Sundar，还有所有那些最强大科技公司的美国高管一样，他们已经选择了规模至上，正在建设多吉瓦级别的数据中心，不管是在德克萨斯、路易斯安那还是威斯康星，随便哪里。

82:47

because of these restrictions long-term unless AI does something in the short-term which

由于这些长期限制，除非AI在短期内做点什么——就是那种所谓的“规模至上”（scale-pilled），也就是认定缩放定律（scaling laws）才是关键，对吧——比如搞出多吉瓦级的数据中心，不管是在德州、路易斯安那还是威斯康星，随便哪儿。像AMD这样的公司会自己造芯片，Intel当然也一直自己造芯片。过去50年电子和半导体行业就是这样：你需要越来越高的专业化程度。随便搜一下，你就能看到行业里任何一家公司都是如此——比如汽车，连门把手里面都有两颗芯片，简直离谱。而且那门把手还挺酷的，能赚钱，也够用，但造下一个的成本就会上升。他们可能会试着这么干。

82:52

I believe AI will do you know make massive changes to society in the medium short-term right

我相信AI会在中短期内对社会带来巨大的变化，对吧，所以这就是那个关键的解锁因素。即使到今天，如果习近平决定，你知道，所谓的“scale-pilled”，也就是认定scaling laws才是关键，就像多吉瓦级别的data centers，无论是在德州、路易斯安那还是威斯康星，或者全球任何一个地方集中建设data centers，这就是他们明年、后年已经承诺要做的事情。他们如此确信这就是方向，所以正在这么做。但如果中国决定要干，他们可以比我们更快，但这就是限制所在。目前还不清楚中国整体上，从最高层开始，是否已经做出了这个决定。

82:57

and so that's that's the big unlocker there and even even today right if Xi Jinping decided to get

所以，这就是那个关键的解锁点。即便在今天，如果习近平决定——你懂的，所谓的“规模觉醒”，也就是认定规模定律才是关键——就像那些多吉瓦级的数据中心，不管是在得克萨斯、路易斯安那还是威斯康星，AMD这样的公司会自己造芯片，Intel当然也一直自己造芯片。过去50年的电子和半导体行业就是这样：你需要越来越高的专业化程度。随便搜一下，你就能看到行业里任何一家公司都是如此——汽车的门把手里面都有两颗芯片，这简直离谱。而且那门把手还挺酷的，能赚钱，也够用，但造下一个的成本就会上升。他们可能会试着这么做。

83:04

you know quote unquote scale-pilled right i.e. decide that scaling laws are what matters right just like

你知道，所谓的 "scale-pilled"，也就是说认定 scaling laws 才是关键，就像

83:11

the US executives like Sachin Adela and Mark Zuckerberg and and and Sundar and all these US executives

美国的科技高管，像Sachin Adela、Mark Zuckerberg、Sundar，还有所有这些美国高管，都在搞多吉瓦级的数据中心，不管是在德州、路易斯安那还是威斯康星，反正就是全球各地集中在一个地方建数据中心。这就是他们明年、后年以及之后承诺要做的事。他们非常确信这就是方向，这就是他们正在推进的。但如果中国决定做，他们能比我们更快，但这就是限制所在。目前还不清楚中国整体上，从最高层是否已经认定这是优先事项。美国某种程度上算是确定了，你看Trump在同一周里既谈Deep Seek又谈Stargate，对吧？Biden和那些人也一样，讨论了很多。

83:17

of the biggest most powerful tech companies have decided their scale-pilled and they're building

那些最庞大、最强大的科技公司已经决定要“规模至上”了，他们正在建设多吉瓦级的数据中心——不管是在德州、路易斯安那、威斯康星还是全球其他地方，集中在一个点。这就是他们明年、后年以及更远未来已经承诺要做的事。他们如此坚信这就是正确的道路，所以正在全力推进。但如果中国决定这么做，他们可以比我们更快——不过这里就涉及限制因素了。目前还不清楚中国整体上是否从最高层就认定这是优先事项。而美国某种程度上已经明确了——你看特朗普在同一周里既谈Deep Seek又谈Stargate，对吧？拜登政府时期也有很多相关讨论。

83:21

multi-gigawatt data centers right whether it's in Texas or Louisiana or Wisconsin wherever it is

多吉瓦级的数据中心，不管是在德州、路易斯安那还是威斯康星，都一样。像AMD这样的公司会自己造芯片，Intel当然也还是自己造芯片。这就像过去50年电子和半导体行业的发展一样，你需要越来越高的专业化程度。随便搜一下Google，或者看看行业里任何一家公司，都是这样——汽车里连门把手都装了两个芯片，简直离谱。不过那个门把手确实挺酷的，利润也不错，够用就行。但造下一个的成本只会越来越高，他们可能还是会继续这么干。还有文化因素，就像你说的，台湾那种极致的拼搏精神和工作态度。我觉得如果这些人跑到日本或者美国去生孩子，那情况就不一样了。

83:26

they're building these massive things that cost as much as their entire budget for spending

他们在建这些巨型项目，成本相当于他们全球数据中心预算的总和，全都砸在一个地方——这就是他们明年、后年以及更远未来的承诺。他们如此确信这就是方向，所以正在全力推进。但如果中国决定这么做，他们能比我们更快——不过这正是限制发挥作用的地方。目前并不清楚中国整体上，从最高层是否已将其列为优先事项。美国某种程度上是明确的——你看特朗普在同一周里既谈DeepSeek又谈Stargate，对吧？拜登政府时期也有大量关于AI的讨论。很明显他们一直在思考这个问题——就在上周，DeepSeek才刚出现。

83:32

on data centers globally in one spot right there this is what they've committed to for next year

在全球数据中心这一块，这就是他们明年、后年以及更远承诺要投入的方向。他们如此确信这就是正确的道路，所以正在全力推进。但如果中国决定这么做，他们可以比我们更快——而这正是限制措施发挥作用的地方。目前尚不清楚中国整体上是否从最高层做出了决定。同一周内，星门项目也在推进，拜登和梅嫩德斯等人进行了大量讨论。问题在于：我们为什么要禁止这个？因为美国政府认定这一切对AI系统至关重要。我认为关键点在于从7纳米到5纳米芯片的过渡——几年前似乎是华为做出了7纳米芯片。

83:36

year after etc and and so they're so convinced that this is the way that this is what they're doing

年复一年，他们如此坚信这就是方向，这就是他们正在做的事。

83:43

but if China decided to they could do it faster than us but this is this is where the restrictions

但如果中国决定这么做，他们可以比我们更快——但这就是限制所在。

83:48

come in it is not clear that China as a whole has decided you know from the highest levels that

进来吧，目前还不清楚中国整体上是否已经从最高层做出了决定。

83:53

this is a priority the US sort of has right you know you see Trump talking about deep seek and

这是美国目前的一个优先事项，你知道吗，特朗普在同一周内既提到了Deep Seek又提到了Stargate，对吧。拜登政府以及其他人也讨论了很多，对吧，比如我们为什么要禁止这个，因为美国政府已经认定所有这些都对AI系统至关重要。我觉得关键点在于从7纳米芯片到5纳米芯片的过渡，我记得几年前是华为做出了7纳米芯片，这涉及到极紫外光刻技术，就是关于芯片的那个背景。Nathan指的是2020年华为发布了他们的Ascend 910芯片，这是一款AI芯片，是第一个基于7纳米的，而且当时是提交的最好的芯片，对吧，这当时可是个大新闻，特朗普政府也注意到了。

83:58

stargate within the same week right so he's in the Biden and men as well had a lot of discussions

星门项目就在同一周内，所以拜登那边也有不少讨论。

84:03

about AI and and and such it's clear that they think about it only just last week did deep seek

关于AI之类的，很明显他们现在才意识到这个问题。就在上周，Deep Seek

84:09

meet the second in command of China right like they have not even met the top right and have

见中国二把手？他们连一把手都没见过呢。她连跟人家坐下来谈的机会都没有，他们刚刚才批了一万亿人民币的补贴——大概相当于一千六百亿美元，差不多是微软、Meta和谷歌今年加起来的总投入。他们现在才反应过来，但这就是出口限制发挥作用的地方：最先进的美国芯片不能运到中国，只能卖阉割版；也不能卖给那些明知道会转租给中国的国家，还得限制数量。制造设备也一样，深度……

84:14

him at G she hasn't sat down and and they only just released a subsidy of a trillion RMB

他还没坐下来谈，他们刚刚才释放了一笔一万亿人民币的补贴，

84:20

you know roughly a hundred and sixty billion dollars which is closer to the spending of like

大概相当于一千六百亿美元，这差不多是微软、Meta和谷歌今年加起来的总投入。所以感觉他们现在才反应过来，

84:25

Microsoft and meta and Google combined right for this year so it's like they're they're realizing it

但这就是出口限制发挥作用的地方——说“嘿，你不能把最先进的美国芯片运到中国，

84:31

just now but that's where the export restrictions come in and say hey you can't you can't ship

你可以运阉割版，但不能把最先进的芯片运到那些我们知道会转租给中国的国家，

84:36

the most powerful US chips to China you can ship a cut down version you can't you can't ship the

你必须限制数量，对吧，还有工具也不行。”制造方面也一样，Deep也是如此。

84:42

most powerful chips to all these countries who we know we're just going to rent it to China

最强大的芯片都卖给了这些国家，而我们明知道最后还是会租给中国。

84:47

you have to limit the numbers right and the tools so you can't and same with manufacturing with deep

你得限制数量，还有工具，制造环节也一样，比如深紫外光刻和沉积设备。还有那些来自某家小公司的、莫名其妙的子系统，对吧？很小，为什么连这个也要禁？因为美国政府认定所有这些都对AI系统至关重要。

84:51

tools all these all these different aspects but it all stems from AI and then what downstream

工具啊，所有这些不同的方面，但归根结底都源于AI，然后往下游延伸。

84:56

can slow them down in AI and so the entire semiconductor restrictions you read them they are very

能拖慢AI发展的因素，比如整个半导体限制措施，你去读那些条文，它们写得很清楚——就是关于AI和军事民用技术融合，对吧？非常明确。然后从那里延伸开来，虽然我们禁止他们购买光刻机、刻蚀设备、沉积设备，还有那些来自某家小公司的、看起来不起眼的子系统——比如为什么连这个也要禁？因为美国政府认定，所有这些都对AI系统至关重要。

85:02

clear it's about AI and military civil fusion of technology right there it's very clear and then

我觉得关键点在于从七纳米芯片到五纳米芯片的过渡。我记得几年前华为就做出了七纳米芯片。

85:07

from there it goes although we're banning them from buying like lithography tools and etched tools

然后呢，虽然我们禁止他们购买光刻工具、蚀刻工具、沉积工具，还有那些来自某个小公司的随机子系统——你知道的，就是那种很小的东西——为什么连这个也要禁？因为美国政府认定所有这些都对AI系统至关重要。我觉得整个关键点在于从七纳米芯片到五纳米芯片的过渡。我记得几年前是华为做出了七纳米芯片，对吧？就是那个极紫外光刻技术。Nathan刚才提到的背景是，2020年华为发布了他们的Ascend 910芯片，这是一款AI芯片，第一个做到七纳米的，比Google和Nvidia都早，他们还把它提交到了MLPerf基准测试里。

85:11

and deposition tools and oh this random like you know subsystem from a random company that's like

我觉得完整的反驳点是：从七纳米到五纳米芯片的过渡——我记得几年前是华为做出了七纳米芯片，对吧？这就要提到极紫外光刻技术了。Nathan说的背景是，2020年华为发布了Ascend 910芯片，那是第一款七纳米工艺的AI芯片。

85:16

tiny right like why are we banning this because all of it the US government has decided is critical

很小的问题对吧，比如我们为什么要禁止这个，因为美国政府已经认定这对AI系统至关重要。

85:22

to AI systems I think the the full-con point is like the transition from seven nanometer to five

我觉得关键点在于从七纳米到五纳米芯片的过渡，我记得几年前是华为做出了七纳米芯片。

85:27

nanometer chips where I think it was Huawei that had the seven nanometer chip a few years ago which

2020年华为发布了他们的Ascend 910芯片，这是第一款七纳米的AI芯片。

85:32

caused another political bruhaha almost like this moment and then it's the ASML deep UV when it's

引发了另一场政治风波，几乎和现在这个时刻一样，然后就是ASML的深紫外光刻，也就是极紫外光刻技术，就是芯片制造的那个背景。Nathan指的是，2020年华为发布了他们的Ascend 910芯片，这是一款AI芯片，第一个采用七纳米工艺，比Google和Nvidia都早，他们把它提交到了ML Perf基准测试，这是机器学习性能的行业标准基准测试，结果表现相当不错，提交时是最好的芯片。当然，Trump在2019年就下了禁令，禁止华为从台积电获取七纳米芯片，所以他们不得不转向使用国内自产的芯片。

85:40

like extreme ultraviolet lithography just that context on the chips right what Nathan's referring to

就像极紫外光刻技术，就是芯片制造的那个背景，Nathan指的是这个。2020年华为发布了昇腾910芯片，这是他们第一款基于7纳米工艺的AI芯片，当时提交测试时性能是最好的，这引起了巨大轰动。特朗普政府实施了出口管制。所以你的意思是，目前She's being还没有感受到AGI的影响，但感觉DeepSeek时刻已经来了？可能现在正在开一些会议。而且这款芯片明显是针对AI的，当时所有人都觉得“你们到底在干什么？”——就像生成式AI对社会的影响一样。但至少国家安全委员会的人应该很清楚。既然我无法获取它，那干脆谁都别想用，对吧？还有几个类似的例子。

85:45

is in 2020 Huawei released their Ascend 910 chip which was an AI chip first one on seven

当时提交的时候它是最好的芯片，这确实是个大事。

85:52

nanometer before Google did before Nvidia did and they submitted it to the ML perf benchmark which is

在Google之前，Nvidia之前，他们就已经做到了纳米级别，并且提交到了ML perf基准测试中，那次提交的芯片是最优秀的。这当时可是件大事。当然，2019年实施了禁令，禁止华为从台积电获取七纳米芯片。于是他们不得不转向使用国内自产的芯片。要知道华为当时在多大程度上补贴了那款芯片的生产——就像Intel也做过七纳米芯片，但根本不赚钱，诸如此类。所以你看，这一切最终都反馈到了出口管制的经济引擎上。那么你是说，目前她还没有感受到AGI的影响，但DeepSeek时刻已经来了？对，可能现在就有会议正在讨论这个。

85:57

sort of a industry standard for machine learning performance benchmark and and it did quite well

这算是机器学习性能测试的一个行业标准，它表现得相当不错。而且它是当时提交的芯片里最好的，这确实是个大事。当然，特朗普在2019年就实施了禁令，禁止华为从台积电获取7纳米芯片。所以他们不得不转向使用国内自产的芯片。要知道华为当时在多大程度上补贴了那款芯片的生产——就像英特尔也做过7纳米芯片，但根本不赚钱，诸如此类。所以你看，这一切最终都反馈到出口管制的经济引擎上。那么你是说，目前She's being还没有感受到AGI的冲击，但感觉像是DeepSeek时刻？对，可能现在正有一些会议在讨论这个。

86:03

and it was the best chip at the submission right this was this was a huge deal the trumpetman

出口管制的推动力。

86:08

of course banned is 2019 right banned the Huawei from getting seven nanometer chips from TSMC

当然，禁令是在2019年对吧，那时候禁止华为从台积电获取七纳米芯片。

86:15

and so then they had to switch to move using internal domestically produced chips which was a

所以他们就不得不转向使用国内自产的芯片，这背后是——你知道华为当时补贴了多少芯片生产成本吗？就像英特尔做的七纳米芯片，根本不赚钱，诸如此类。所以这就是出口管制如何反哺经济引擎的。

86:19

multi-year setback many companies have done seven nanometer chips and the question is like we don't

多家公司已经做出了七纳米芯片，问题是，我们不知道华为在补贴那款芯片的生产上投入了多少——就像英特尔也做出了七纳米芯片，但根本不赚钱，诸如此类。所以这就是出口管制如何反馈到整个经济引擎中的。嗯，所以你是说，目前她还没有感受到AGI，但感觉像是Deep Seek时刻？对，可能现在已经有会议在开了，他可能又要开始穿同一件T恤了，事情会升级。我的意思是，他可能上周才刚醒过来。Leon Fang见了那位副主席——二把手——他们开了个会，然后第二天，他们就宣布了AI补贴。

86:23

know how much Huawei was subsidizing production of that chip like Intel has made seven nanometer chips

嗯，所以你是说，目前她还没有感受到AGI，但感觉像是Deep Seek时刻？对，可能现在正在开一些会议，他也在场。

86:29

that are not profitable and things like this so this is how like all feeds back into the economic

而且那很明显是针对AI的，当时所有人都觉得“你到底在干嘛？”——这是生成式AI对社会可能带来的影响。但我觉得至少国家安全委员会的人心里很清楚。

86:34

engine of export controls well so you're saying that for now she's being has not felt the AGI but it

所以你是说，目前她还没有感受到AGI，但……

86:41

feels like the deep seek moment yeah might like there might be meetings going on now where he's

感觉像是那个 Deep Seek 时刻，嗯，可能现在他那边正在开会吧。

86:48

going to start wearing the same t-shirt and things are going to escalate I mean like like the this

我要开始穿同一件T恤了，事情会升级的，我的意思是，就像这样

86:53

he may have woken up last week right Leon Fang met the vice chair vice the second command guy

他可能上周才刚醒过来，对吧，Leon Fang 见了副委员长，就是二把手

86:59

and they had a meeting and then the day the next day they announced the AI subsidies which are

他们开了个会，然后第二天就宣布了 AI 补贴

87:03

trillion RMB right so it's possible that this deep seek moment is truly the beginning of a cold war

万亿人民币对吧，所以这个Deep Seek时刻可能真的是一场冷战的开端。很多人都在担心这个，AI圈子里的人一直担心事情会走向冷战，或者说已经开始了。但这不是Deep Seek的错，而是有一堆因素凑到了一起，历史就像润滑剂一样推动了这一切。我的意思是，这跟NVIDIA股价不会跌有关，可能吧，但这更像是一种宏观理论，最终导致习近平开会并意识到这个问题，而美国政府早在2022年10月7日、ChatGPT发布之前就意识到了——那天出台的限制措施震惊了所有人，而且明显是针对AI的，当时大家都觉得“你们到底在干嘛，这又不是核聚变”。

87:10

that's what a lot of people are worried about people in AI have been worried that this is going

这正是很多人担心的，AI 圈的人一直担心这会走向冷战，或者说已经开始了

87:14

towards a cold war or already yes but there's not deep seeks fall but there's something a bunch of

但这不是 DeepSeek 的锅，而是有一堆因素凑在一起，历史在起作用

87:20

factors came together where history works lotion I mean all has to do with NVIDIA is not going down

我的意思是，这跟 NVIDIA 股价不跌有关，可能吧，但这更像是一种大众理论，最终导致习近平开会并意识到这个问题

87:24

probably but it's just some kind of a mass theory that happened that eventually led to Xi Jinping

而美国政府早在2022年10月7日就意识到了

87:32

having meetings and waking up to this idea and the US government realized in October 7th 2022

开会的时候突然想到这个，2022年10月7号美国政府也意识到了。很明显就是冲着AI来的，所有人都懵了，心想你们这是在搞什么，这简直是核聚变级别的。Gen AI对社会的影响太大了，但至少对国家安全委员会那帮人来说，很明显这就是世界未来的方向，这场冷战正在发生。那有没有人担心，出口管制会逼中国在台湾问题上采取军事行动？这确实是最大的风险，对吧。你越把中国推开，不让他们接触美国最尖端的全球技术，他们就越可能想，既然我拿不到，那干脆谁都别想拿到。而且还有几个……

87:38

before chat GPT released that that restriction on October 7th which dropped and shocked everyone

在ChatGPT发布那个10月7日的限制之前，那个限制一出来就震惊了所有人，而且很明显是针对AI的，大家都在想你们到底在干嘛，这就是生成式AI能给社会带来的东西。但我觉得至少对国家安全委员会和那类人来说，很明显这就是世界发展的方向，这场正在发生的冷战。那么，有没有人担心出口管制会促使中国在台湾问题上采取军事行动？这确实是最大的风险，对吧？你越把中国推开，不让它接触美国乃至全球的尖端技术，他们就越有可能说，既然我得不到，那干脆谁都别想得到。而且还有几个类似的情况。

87:44

and it was very clearly aimed at AI everyone was like what the heck are you doing it's the fusion

而且很明显是针对 AI 的，所有人都在想“你到底在干嘛”，这就像是核聚变。

87:48

was out then but not chat GPT yeah but not chat GPT so like starting to be rumbling like of what

当时还没出来，但ChatGPT还没出来，不过已经开始有关于Gen AI对社会影响的议论了。但至少对国家安全委员会和那类人来说，已经很清楚了——这就是世界发展的方向，这场冷战正在发生。那么，有没有人担心出口管制会促使中国对台湾采取军事行动？这正是最大的风险，对吧。你越把中国推开，不让它接触美国乃至全球最尖端的技术，它们就越可能想：既然我得不到，那谁也别想得到。这里面有几个有意思的点，比如中国的城乡差距是独一无二的。

87:53

Gen AI can do to society but it was very clear I think to at least like national security counsel and

生成式 AI 对社会能造成的影响，但至少对国家安全委员会来说，我觉得是很清楚的。

87:59

and those sort of folks that this was where the world is headed this cold war that's happening so

那些人是这么想的，觉得世界正在走向这个方向，就是这场正在发生的冷战。

88:05

is there any concerns that the export controls push China to take military action in Taiwan

那么，有没有人担心出口管制会促使中国对台湾采取军事行动？

88:15

this is this is the big risk right the further you push China away from having access to you

这确实是最大的风险，对吧。你越把中国推开，不让它接触到最尖端的美国乃至全球技术，它们就越可能想：既然我拿不到，那干脆谁都别想拿到。

88:20

let cutting edge American and global technologies the more likely they are to say well because I

而且还有几项关键的技术——至少美国是这么认为的——中国可能也开始觉得这是最重要的技术，于是开始往里面砸补贴，对吧。它们之前觉得电动车和可再生能源是最重要的技术，现在已经在那个领域占主导了。而现在，它们又开始……

88:25

can't access it I might as well like no one should access it right and there's a few like

既然我访问不了，那还不如谁都别访问，对吧？而且还有几个类似的情况。

88:29

interesting aspects of that right like you know China has a urban rural divide like no other

说到这个有意思的点，你知道中国有那种城乡差距，别的国家根本没法比。

88:36

they have a male female birth ratio like no other to the point where you know if you look in

他们的男女出生比例极其失衡，以至于你知道，如果你看中国大部分地区，比例其实没那么糟，但当你看到中国农村的单身男性时，比例能达到30比1，而且这些人都是被边缘化的，对吧，就像美国有“在室男”问题一样，中国也有，只是他们以某种方式被安抚了，或者被压制了。你拿这些人怎么办？同时，你又无法获取最重要的技术——至少美国这么认为，而中国可能也开始觉得这是最重要的技术，于是开始往里面砸补贴，对吧？他们之前觉得电动车和可再生能源是最重要的技术，现在他们已经主导了那个领域。现在他们开始——他们已经开始——

88:41

most of China it's like the ratio is not that bad but when you look at single dudes in rural China

中国大部分地区男女比例其实没那么糟，但你要是看农村的单身男性，那比例能到30比1，而且这些人都是被边缘化的群体，对吧，就像美国有“incel”问题一样，中国也有。只不过他们要么被安抚住了，要么被压制下去了。

88:45

it's like a 30 to 1 ratio and those are disenfranchised dudes right like quote unquote like the US has

你拿这些人怎么办？同时呢，你又没法接触到最重要的技术——至少美国是这么想的。中国可能也开始觉得这是最重要的技术了，所以开始往里面砸补贴。

88:51

an in-cell problem like China does too it's just they're placated in some way or cut crushed down

他们之前觉得电动车和可再生能源是最重要的技术，现在他们已经主导那个领域了。现在他们又开始……

88:56

what do you do with these people and at the same time you're not allowed to access the most

你拿这些人怎么办？同时你又不被允许接触最核心的技术——至少美国这么认为，而中国可能也开始觉得这是最重要的技术，于是开始往里面砸补贴，对吧？他们之前觉得电动车和可再生能源是最重要的技术，现在他们已经主导了那些领域。现在他们开始……他们本来就很聪明，所以问题就是：什么时候会达到一个临界点？如果中国觉得，就算没有技术准入，他们也能继续推进，甚至发动一场真正的热战——比如拿下台湾，或者试图以某种方式颠覆其民主制度，或者封锁它——那对世界其他地区的伤害将远大于对中国自身的伤害。

89:00

import technology at least the US thinks so China is maybe starting to think this is the most

import technology，至少美国是这么认为的。中国可能也开始觉得这是最重要的技术，所以开始往里面砸补贴，对吧？他们之前觉得电动车和可再生能源是最重要的技术，现在他们已经主导了那个领域。现在他们又开始——什么时候会到临界点呢？如果中国觉得，嘿，他们可以继续这么干，哪怕没有技术接入，甚至真的挑起热战——比如拿下台湾，或者试图以某种方式颠覆其民主，或者搞封锁——那对世界其他地方的伤害可能远大于对中国的伤害，对吧？我不是什么地缘政治专家，但很明显，世界会因此分裂。我觉得我们应该提一下，为什么中国经济会因此受损。

89:04

important technology by starting to dump subsidies in it right they thought EVs and renewables were

通过大量补贴来押注关键技术，对吧？他们之前觉得电动车和可再生能源是

89:08

the most important technology they dominate that now right now they're starting to they started

最重要的技术，现在他们在这方面已经主导了。现在他们开始——

89:12

thinking about about semiconductors in you know the late 2010s and early 2020s and now they've

想想看，半导体这块，在2010年代末和2020年代初，他们一直在砸钱，现在正在快速追赶，AI上他们也会如法炮制对吧，因为他们确实很有才华。所以问题就是，什么时候会达到一个临界点？如果中国觉得，就算拿不到技术，他们也能继续，甚至发动一场真正的热战——比如拿下台湾，或者试图颠覆其民主制度，或者搞封锁——这对世界其他地区的伤害远大于对他们自己的伤害，那他们确实有可能这么做。所以这是不是在把他们往那个方向推？我不是搞地缘政治的，但很明显，全世界都看在眼里。

89:18

been dumping money and they're catching up rapidly and they're going to do the same with AI right because

一直在砸钱，而且他们追赶得很快，接下来在AI上也会这么做，对吧？因为他们非常有天赋。所以问题就是，什么时候会达到一个临界点？如果中国觉得，他们可以继续这样下去——即使没有技术获取渠道，甚至发动一场真正的热战，比如拿下台湾，或者试图以某种方式颠覆其民主制度，或者实施封锁——这对世界其他地区的伤害远大于对他们自己的伤害，那他们确实有可能这么做。那这是不是正在把他们推向那个方向呢？我不是什么地缘政治专家，但很明显，世界会因此分裂。我觉得我们应该提一下，为什么中国经济会因此受损——

89:22

they're very talented right so so the the question is like when when does when does when does

他们非常有天赋，对吧。所以问题是，什么时候会达到一个临界点？如果中国认为，即使无法获得这些资源，他们也能继续下去，并且发动一场真正的热战——比如占领台湾，或者试图以某种方式颠覆其民主制度，或者实施封锁——那对世界其他地区的伤害可能远大于对中国的伤害。我不是地缘政治专家，但你懂的，很明显世界会崩溃。我觉得我们应该指出，为什么中国经济会因此受损，是因为他们的经济同样依赖从全球各地进口原材料，对吧。美国只要封锁马六甲海峡的贸易，你知道的，就……

89:29

when does this hit a breaking point right and if China sees this as hey they can continue if they

什么时候会到临界点？如果中国觉得他们可以继续这样下去，哪怕

89:36

if not having access and starting a true hot war right taking over Taiwan or trying to subvert

没有访问权限，甚至挑起真正的热战——比如拿下台湾，或者试图颠覆。

89:41

its democracy in some way or blockating it hurts the rest of the world far more than it hurts

这在某种程度上是民主的，或者封锁它伤害世界其他地区的程度远大于伤害它自身。

89:47

them this is something they could potentially do right and and so is this pushing them towards

他们其实是有可能做对这件事的，那这是不是在推动他们往那个方向走呢？我算不上地缘政治专家，但很明显世界正在分裂。我觉得应该提一下，为什么中国经济会因此受损——因为他们的经济同样依赖从全球各地进口原材料，对吧？美国只要封锁马六甲海峡的贸易就行了。与此同时，你可以说美国自70年代以来的几乎所有GDP增长，要么来自人口增长，要么来自科技。因为你看，今天的生活跟80年代相比，除了科技之外并没有好太多，对吧？车还是那辆车。

89:52

that potentially right I'm not quite a geopolitical person but you know it's obvious that the world

这有可能对吧，我不是什么地缘政治专家，但你知道很明显世界会分裂。

89:59

regime of peace and like trade is like super awesome for economics but but at some point it could

和平与贸易的体制对经济来说超级棒，但某种程度上它也可能崩溃。我觉得我们得提一下，中国经济之所以会因此受损，是因为他们严重依赖出口。美国买得那么多，如果这层关系没了，他们的经济也会受影响，而且他们也没法从世界各地进口原材料了。美国只要封锁马六甲海峡的贸易，就能切断这一切。同时，你可以说美国自70年代以来的几乎所有GDP增长，要么靠人口增长，要么靠科技。因为你看，今天的生活跟80年代相比，除了科技之外，其实也没好到哪去——车还是那辆车。

90:06

break right I think we should comment that the like why Chinese economy would be hurt by that is

我觉得我们应该评论一下，为什么中国经济会因此受损，所以你能解释一下TSMC在半导体这个故事里的角色吗？

90:10

that they're export heavy I think the United States buys so much like if that goes away like that's

他们非常依赖出口，我觉得美国买走了那么多东西，如果这个市场没了，那他们的经济也会出问题。而且他们也没法再从世界各地进口原材料了，对吧？美国只要封锁马六甲海峡的贸易，就能直接切断。同时，可以说美国自70年代以来的几乎所有GDP增长，要么靠人口增长，要么靠科技，对吧？因为你现在的生活，除了科技领域，跟80年代的人相比并没有好太多。你想想，还有那些有趣的故事，说俄罗斯人拆洗衣机，因为里面有一些德州仪器的芯片，他们可以重新利用，装到自己的反导弹系统里。

90:15

how they're economy also also they just like would not be able to import raw materials from like

他们经济上也是，而且他们根本没法从世界各地进口原材料对吧，美国只要封锁马六甲海峡的贸易，你就知道……

90:20

all over the world right the US would just shut down the trade in Malacca and like you know at

你知道，70年代以来要么靠人口增长，要么靠科技对吧，因为你现在的生活，除了科技之外，其实并没有比80年代的人好多少，你照样开车……

90:24

the same time the US entire like you could argue almost all the GDP growth in America since you

与此同时，美国整体——你可以说，自70年代以来，美国几乎所有的GDP增长要么来自人口增长，要么来自科技，对吧？因为你看，你如今的生活，跟80年代的人相比，除了科技之外，并没有好太多。你仍然有汽车、德州仪器的芯片，他们可以重新利用这些芯片，装进他们的反导弹系统里。半导体的一切都深深嵌入我们生活的方方面面。所以，你能解释一下台积电在这个半导体故事中扮演的角色吗？以及，也许美国如何能摆脱对台积电的依赖？我不认为这一定是“摆脱依赖”，我觉得关键是让台积电在美国建厂。但先退一步说——

90:30

know the 70s has been either population growth or tech right because you know your your life today

德州仪器的芯片，他们可以重新利用，装到他们的反导弹系统里……

90:38

is not that much better than someone from the 80s outside of tech right you still you know cars

半导体这东西方方面面都跟我们生活的每个部分紧密相连。

90:43

they all have semiconductors in them everywhere fridges semiconductors everywhere there's these

它们里面到处都有半导体，冰箱里也有，到处都是。有个挺有意思的故事，说俄罗斯人以前会拆洗衣机，因为里面有一些德州仪器的芯片，他们可以重新利用，装到他们的反导导弹系统里，比如S-400之类的——这方面你应该比我懂。但总之，半导体几乎渗透到我们生活的方方面面。所以你能讲讲台积电在这个半导体故事里扮演的角色吗？还有，美国要怎样才能摆脱对台积电的依赖？我觉得不一定是“摆脱依赖”，而是让台积电在美国建厂。不过先退一步说……

90:46

funny stories about how Russians were taking apart laundry machines because they had certain like

有个挺好笑的故事，说俄罗斯人把洗衣机拆了，因为里面有些德州仪器的芯片，他们能重新利用，装到自己的反导弹系统里。半导体这东西真是无处不在，跟我们生活的每个部分都息息相关。那你能讲讲台积电在半导体这个故事里扮演的角色吗？还有，美国怎么才能摆脱对台积电的依赖？我觉得不一定是“摆脱依赖”，而是让台积电在美国建厂。不过先退一步说，其实有很多公司自己造芯片，比如三星、英特尔、ST微电子、德州仪器、亚德诺半导体这些公司都自己造芯片，还有XP什么的。

90:50

Texas instrument chips that they could then repurpose and put into like their their anti-missile

那么你能讲讲台积电在这个半导体故事里扮演的角色吗？

90:56

missile things right like they're S 400 or whatever you you would know more about this but

导弹这类东西，比如S-400，你肯定比我懂。但半导体其实渗透到了我们生活的方方面面。你能讲讲台积电在半导体产业里扮演的角色吗？还有美国要怎么摆脱对台积电的依赖？我觉得不一定是摆脱依赖，而是让台积电在美国建厂。先退一步说，很多公司都自己造芯片，像Samsung、Intel、ST micro、Texas instruments、analog devices这些，它们都自己生产芯片。但越来越多公司，过去几十年里，一直在把芯片制造外包给台积电。你能解释一下吗？

91:01

there's all sorts of like everything about semiconductors is so integral to every part of our lives

还有，美国怎样才能打破对台积电的依赖？我觉得这不一定非得……

91:06

so can you explain the role of TSMC in this story of semiconductors and

还有，也许美国如何打破对TSMC的依赖？我不认为这一定是必要的。

91:12

maybe also how the United States can break the reliance on TSMC I don't think it's necessarily

你知道，像Analog Devices这类公司都自己造芯片，但更多是供应链层面的。

91:18

breaking the reliance I think it's getting TSMC to you know build in the US but so taking a step

打破这种依赖，我觉得就是要让台积电在美国建厂，迈出这一步。像仪器、模拟器件这类公司，它们自己造芯片，还有更多。供应链上，很多公司会自己造芯片，它们会设计芯片、制造芯片，然后卖出去。但随着时间的推移，这变得非常困难，因为建一座晶圆厂的成本在不断叠加。不管怎么说都很难，但光看所需的资金投入，先不说技术能力——顺便说一句，技术能力本身也很难获得，对吧？英特尔在失败，三星也在失败等等——但如果你只看建厂要花多少钱。

91:26

back right TSMC produces most of the world's chips right especially on the foundry side you know

没错，TSMC 生产了全球大部分的芯片，尤其是在代工这一块。你知道，有很多公司自己造芯片，比如 Samsung、Intel，还有 ST micro、Texas instruments、analog devices 这类公司，它们都自己造芯片。但越来越多这样的公司，过去几十年里，一直在把业务外包给 TSMC。你能解释一下这个供应链吗？以及 TSMC 在制造环节中处于什么位置？当然。从历史上看，供应链的模式是公司自己造芯片——一家公司成立，自己设计芯片、自己制造、自己销售。但随着时间的推移，这变得非常困难，因为建一座 fab 的成本在不断叠加。

91:33

there's a lot of companies that build their own chips Samsung Intel you know ST micro Texas

很多公司都自己造芯片，像三星、英特尔，还有ST微电子、德州仪器、模拟器件这些公司，都是自己造芯片的。但以前，供应链上的公司也会自己造芯片——一家公司起步，自己设计芯片、制造芯片，然后卖出去。但随着时间的推移，这变得越来越难，因为建一座晶圆厂的成本在不断叠加。不管技术能力如何，光是需要的资金就非常庞大——当然，技术能力本身也很难获得，对吧？英特尔在失败，三星也在失败等等。但单看建厂要花多少钱，就已经很吓人了。

91:39

instruments you know analog devices all these kinds of companies build their own chips and XP but more

公司会自己造芯片，他们会——你知道，一家公司起步后，自己设计芯片、制造芯片并销售芯片。

91:44

and more of these companies are outsourcing to TSMC and have been for multiple decades can you

而且越来越多的公司把芯片制造外包给TSMC，这已经持续了几十年了。以前供应链的模式是，公司自己造芯片——你懂的，一家公司起步，自己设计芯片、自己制造、自己销售。但随着时间的推移，这变得极其困难，因为建一座晶圆厂的成本在不断叠加。不管技术能力如何（顺便说一句，要拥有这种技术能力本身就非常难——Intel在失败，Samsung也在失败），光是看建下一代晶圆厂需要投入的美元金额，它就在不断增长，对吧？有点像摩尔定律，成本也在不断攀升。

91:49

explain the supply chain there and where most of TSMC is in terms of manufacturing sure so historically

解释一下那边的供应链，以及台积电目前在制造环节处于什么位置。好，从历史上看，供应链的模式是公司自己造芯片——比如一家公司起步，自己设计芯片、自己制造芯片、再自己卖出去。但随着时间的推移，这变得极其困难，因为建一座晶圆厂的成本在不断叠加。困难是方方面面的，但单看资金投入——先不说“我有没有全部的技术能力”（顺便说一句，这个技术能力本身就极难获得，你看Intel在失败，三星也在失败等等）——光是建下一代晶圆厂所需的资金就在持续增长，有点像摩尔定律那样，成本也在不断攀升。

91:56

supply chain was companies would build their own chips they would you know it would be a company

供应链方面，公司会自己造芯片，他们会——你知道的——成立一家公司，自己设计芯片、制造芯片，然后卖出去。

92:00

started they build their own chips and then they they design the chip and build the ship and sell it

回顾过去二三十年，曾经有二十到三十家公司能够制造最先进的芯片，它们自己设计、自己生产、自己销售。

92:05

over time this became really difficult because the cost of building a fab continues to compound

随着时间的推移，这变得非常困难，因为建造一座晶圆厂的成本在不断叠加

92:11

every single generation of course the technology figuring out the technology for it is incredibly

每一代技术，光是攻克技术本身就已经极其困难了，但除此之外，还需要投入巨额资金。先不说“我拥有全部技术能力”——顺便说一句，这本身就已经极难实现，你看Intel在失败，Samsung也在失败——单看建造下一代先进fab所需的资金，它一直在增长，对吧？就像摩尔定律说的是每两年芯片成本减半，但还有另一条定律，说的是每几年fab的建造成本就要翻倍。所以你看，今天能盈利的领先fab，正在生产3纳米或未来2纳米的芯片，这成本会非常高昂。

92:15

difficult regardless but just the dollars and cents that are required ignoring you know saying

困难归困难，但光是所需的资金投入就已经很夸张了，更不用说还要具备所有的技术能力——顺便说一句，这本身就已经极难实现了

92:19

hey yes I have all the technical capability which it's really hard to get that by the way right

英特尔在失败，三星也在失败等等，但如果你只看建造这些设施所需的资金

92:23

Intel's failing Samsung's failing etc but if you look at just the dollars to spend to build that

光是基础厂房建设可能就需要建好几座，对吧？所以当你回顾这个行业，比如回到二三十年前，当时有二三十家公司能够制造最先进的芯片

92:28

next generation fab it keeps growing right sort of like you know Moore's law is having the cost

下一代晶圆厂还在不断扩张，对吧？就像摩尔定律那样，建一座能生产三纳米或两纳米芯片的工厂，成本会越来越高，未来可能得同时建好几座才行。所以你看整个行业，倒退二三十年的话，当时有二十到三十家公司能制造最先进的芯片，而且它们自己设计、自己销售，对吧？比如AMD自己造芯片，英特尔当然也自己造——它们在这方面非常有名，IBM也自己造芯片，你还能继续往下数，很多公司都这样。后来台积电创造了晶圆代工这种商业模式，意思就是：我不设计任何芯片，只负责制造。

92:32

of ships every two years there's a separate law that's sort of like doubling the cost of fabs

每两年翻一番的造船业，其实也有类似规律——每隔几年晶圆厂成本就会翻倍。如今一个能盈利的先进晶圆厂，比如生产3纳米或未来2纳米芯片的，光是基础厂房建设就要花掉……而且很可能需要建多个厂。回顾过去二三十年，当年有20到30家公司能制造最先进的芯片，它们自己设计、自己生产、自己销售。比如AMD当年自己造芯片，Intel当然至今仍以自产芯片闻名，IBM也自己造芯片，这样的名单还能列很长。

92:36

every handful of years and so you look at a leading edge fab that is going to be profitable today that's

每隔几年你就会看到，一个领先的晶圆厂要想在今天盈利，它正在生产你知道的三纳米芯片，或者未来两纳米的芯片，那成本会非常高。基础厂房建设可能就需要建好几个。所以当你回顾这个行业，你知道，如果回到二三十年前，有二三十家公司能够制造最先进的芯片，然后它们自己设计、自己销售，对吧？像AMD这样的公司会自己造芯片，Intel当然现在还自己造芯片，非常有名，IBM也会自己造芯片，你可以一直往下数，所有这些公司都是这样做的。对吧？他们创造了foundry这种商业模式，也就是“我不设计任何芯片，我只负责制造”。

92:42

building you know three nanometer chips or two nanometer chips in the future that's going to cost

未来要建三纳米或两纳米的芯片厂，光是基础建设就得花大价钱，而且很可能需要建好几座。你看过去二三十年，整个行业里大概有二十到三十家公司能造最先进的芯片，它们自己设计、自己生产、自己卖。比如AMD以前是自己造芯片的，Intel当然现在也还是自己造，这点非常有名，IBM也是自己造芯片，你还能列出一长串这样的公司。后来台积电开创了foundry这种商业模式——我不设计任何芯片，只帮别人代工。其实台积电在那之前就成立了，而且一度有自己的晶圆厂，这真的很厉害。

92:46

north of 30 40 billion dollars right and that's just for like a token amount it's for like that's

三五百亿美元吧，而且这还只是买个基础量，就像建个地基一样。可能得建好几个才行。所以你看这个行业，如果倒退二三十年，当时有二三十家公司能造最先进的芯片，而且它们自己设计自己卖。像AMD自己造芯片，Intel当然也自己造，非常出名，IBM也自己造，你还能继续往下数，这些公司都自己造芯片。但慢慢地它们像苍蝇一样一个个倒下，这全是因为TSMC干的事。它们创造了代工商业模式，就是我不设计任何芯片，我

92:51

like the base building walking probably need to build multiple right and so when you look at the

而且它们自己设计、自己生产、自己销售，对吧？像AMD这样的公司会自己造芯片，英特尔当然现在也还在自己造芯片，但已经非常少了

92:55

industry over the last you know if I go back 20 30 years ago there were 20 30 companies that could

像AMD这样的公司会自己造芯片，Intel当然至今仍自己造芯片——

93:01

build the most advanced chips and then they would design them themselves and sell them right so

在电子和半导体行业过去五十年里，你需要越来越专业化。

93:04

companies like AMD would build their own chips Intel of course still builds their own chips are very

像AMD这样的公司会自己造芯片，Intel当然也自己造芯片，它们非常

93:08

famous for IBM would build their own chips and you know you could keep going down the list all these

IBM 当年以自己造芯片闻名，你还能继续往下数一堆公司。

93:13

companies built their own chips slowly they kept falling like flies and that's because of what TSMC

那些公司自己造芯片，结果一个接一个地倒下，就像苍蝇一样。这全是因为台积电做对了一件事——他们创立了晶圆代工商业模式，也就是“我不设计任何芯片”。而英伟达是唯一一家在晶圆代工时代起步、营收超过十亿美元的半导体公司，对吧？其他所有公司都是在那个时代之前成立的，并且某个阶段都拥有自己的晶圆厂——这其实挺惊人的，你想想看。比如AMD、英特尔、博通，都是这样。有个很有意思的事实：几乎所有公司都曾有过自己的晶圆厂，或者像博通这种，是通过合并多家公司拼凑起来的。但即便到今天，博通依然有自己的晶圆厂，对吧？他们还在造iPhone的射频芯片之类的。

93:18

did right they created the foundry business model which is I'm not going to design any chips I'm

他们做对的一件事就是创造了代工商业模式——也就是我不设计任何芯片，我只负责制造。

93:22

just going to contract manufacturer chips for other people and one of their early customers is in

他们只是帮别人代工芯片，早期客户之一是视频领域的公司。而视频这家公司是唯一一家在代工时代创立、营收超过十亿美元的半导体公司。其他所有公司都是在代工时代之前成立的，并且都曾拥有自己的晶圆厂——这其实挺惊人的，你知道吗？比如AMD、英特尔、博通，都是这样。有个很有意思的事实：几乎所有公司都曾有过自己的晶圆厂，或者像博通这种，是通过合并多家公司整合起来的。但即便到今天，博通仍然有自己的晶圆厂——他们在科罗拉多为苹果生产iPhone的射频芯片。所有这些公司都曾拥有晶圆厂，而大多数后来都放弃了。

93:28

video right and video was is is the only semiconductor company uh that's worth you know that's

视频里提到，英伟达是唯一一家在晶圆代工时代成立、营收超过十亿美元的半导体公司。其他所有公司都是在那个时代之前成立的，而且一度都有自己的晶圆厂——这其实挺惊人的，对吧。像AMD、英特尔、博通，都有过这样的历史，每家都曾拥有自己的晶圆厂。或者像博通这种，是通过多次合并整合起来的公司，但即便到今天，博通依然有自己的晶圆厂，他们为iPhone生产射频芯片。基本上所有人都依赖台积电，包括英特尔——他们最新的PC芯片也用了台积电的制程，虽然也有一部分是英特尔自己生产的，但核心还是台积电的工艺。你能解释一下，为什么晶圆代工模式会如此成功吗？

93:34

doing more than a billion dollars of revenue that was started in the era of foundry right every other

营收超过十亿美元的公司，是在代工时代起步的，对吧？其他所有公司都在那之前成立，而且某个阶段都拥有自己的晶圆厂，这其实挺不可思议的，你知道吗？比如AMD、Intel和Broadcom，有个特别有趣的事实：每家公司都曾有过自己的晶圆厂，或者像Broadcom这种，是通过合并多家公司整合起来的，但即便是今天，Broadcom依然有晶圆厂，对吧？他们为iPhone制造射频芯片。基本上所有人都依赖台积电，包括Intel——他们最新的PC芯片也用了台积电的芯片，对吧？虽然也用了部分Intel自己的芯片，但制程是台积电的。你能解释一下为什么代工模式如此成功吗？建一座晶圆厂的成本太高了，研发难度也极大，而且当你看看这些……

93:39

company started before then and at some point had fabs which is actually incredible right um you know

有些公司在那之前就成立了，甚至一度拥有自己的晶圆厂，这其实挺不可思议的。

93:44

like AMD and Intel and Broadcom such a great fact like everyone had fabs at some point or you know

像AMD、Intel和Broadcom，有个很有意思的事实——以前几乎每家公司都有自己的晶圆厂，或者你懂的。有些公司比如Broadcom，其实是好几家公司合并重组起来的。但直到今天，Broadcom还是有晶圆厂的，他们造了iPhone里的射频芯片，差不多吧。其实所有人都得靠TSMC，连Intel也不例外——他们最新的PC芯片用的就是TSMC的制程，对吧？虽然也用了自家的一些芯片，但制程是TSMC的。你能解释一下为什么代工模式这么成功吗？建一座晶圆厂的成本太高了，研发也极其困难。而且你看，这些芯片本身高度定制化，每个都不一样。但回顾过去五十年电子和半导体的发展史，你会发现，专业化程度越来越高。

93:50

brought you know some companies like Broadcom it was like a merger of malgamation of various companies

比如像 Broadcom 这样的公司，它其实是多家公司合并而成的。

93:54

that rolled up but even today Broadcom has fabs right they built a iPhone uh RF radio chips sort of

但即便到今天，Broadcom 仍然有自己的晶圆厂，他们为 iPhone 制造射频芯片之类的。

94:00

in Colorado for for you know for Apple right like there's all these companies had fabs and for most

在科罗拉多州，比如苹果对吧，很多公司都有自己的晶圆厂，但大多数公司都依赖台积电，对吧？就连英特尔最新的PC芯片也用了台积电的芯片，虽然也用了部分英特尔自己的芯片，但制程是台积电的。你能解释一下为什么代工模式对这些公司来说这么成功吗？为什么他们都选择这种规模化？嗯，就像我刚才提到的，建晶圆厂的成本太高了，研发难度也极大。而且你看那些拥有垂直整合体系的公司，过去那种流程其实很过时，比如每个芯片都要做高度定制化。但当我们回顾过去50年电子和半导体行业的发展历史，你会发现，专业化程度越来越高。

94:05

of the fabs they threw them away or sold them off or they got rolled into something else uh and now

那些晶圆厂要么被扔掉、要么被卖掉、要么被合并到其他业务里了，现在所有人都依赖台积电对吧，连英特尔最新的PC芯片都用台积电的芯片，它也用一些自家芯片，但制程用的是台积电。你能解释一下为什么代工模式对这些公司来说这么成功吗？为什么他们都选择规模效应？对，我的意思是，就像我刚才提到的，建一座晶圆厂的成本太高了，研发也极其困难。而且你看那些拥有垂直整合体系的公司，它们过去那种流程其实很过时，比如每个芯片都要做极度定制化。但当我们回顾过去50年电子和半导体行业的发展历史，你会发现你需要越来越高的专业化程度。

94:10

everyone relies on TSMC right including Intel their latest PC chip uses TSMC chips right it also

现在每个人都依赖台积电，包括 Intel——他们最新的 PC 芯片也用了台积电的制程，虽然也有一部分用 Intel 自己的芯片，但核心制程是台积电的。

94:16

uses some Intel chips but uses TSMC process can you explain why the foundry model is so successful for

你能解释一下为什么代工模式这么成功吗？

94:22

these companies why are they going with some scale scale yeah so I mean like like I mentioned right the

这些公司为什么都在追求规模，规模，对吧？我是说，就像我刚才提到的，建造一座晶圆厂的成本太高了，研发也极其困难。而且，当你看看那些拥有自己垂直技术栈的公司，它们过去有一种过时的流程，就是针对每一款芯片做极度定制化。但回顾过去50年电子和半导体行业的历史，你会发现，你需要越来越专业化。它们有像素芯片，有各种各样的芯片，这些芯片支撑着谷歌所有的经济价值，对吧？运行着所有服务之类的。而这还只是谷歌一家公司，你可以看看行业里任何一家公司，情况都是这样。汽车里也包含这些。

94:28

cost of building a fab is so high the R&D is so difficult um and uh when you look at like these

因为建一座晶圆厂的成本太高了，研发难度也极大，而且当你看看这些……

94:34

the companies that had their own vertical stack there was an antiquated process of like okay like

那些拥有自己垂直技术栈的公司，过去有个老掉牙的流程，就是那种“好吧，我得针对每一块特定芯片做极度定制化”。但回顾过去大概50年电子和半导体行业的历史，你会发现，你需要越来越高的专业化程度。他们有像素芯片，有各种各样的芯片，这些芯片支撑着谷歌所有的经济价值——运行所有服务之类的。而这还只是谷歌一家公司，你随便看行业里任何一家公司，情况都差不多。汽车里连门把手都有两块芯片，这简直离谱。而且那门把手确实挺酷的，能赚钱，也够用，但开发下一个的成本就会上升，他们可能还是会这么干。

94:39

I'm so hyper customized to each specific chip right but as we've gone through the history of sort of

我对每个特定芯片的定制化程度非常高，对吧。但回顾过去大概50年电子和半导体的发展史，你会发现专业化需求越来越高。拿Google来说，它要运行所有服务等等，而这还只是Google一家公司。你随便看行业里的任何一家公司，情况都差不多——比如汽车，连门把手里面都有两个芯片，对吧，简直离谱。而且那门把手还挺酷的，能赚钱，也够用，但造下一个的成本却在上升。他们可能会尝试这样做：比如你有一个小工艺，跟某种化学蚀刻或者等离子蚀刻有关，或者某个小环节出了岔子，你没注意到。

94:44

like the last 50 years of of electronics and semiconductors a you need more and more specialization

就像过去五十年的电子和半导体行业一样，你需要越来越专业化

94:49

right because Moore's law has died um Denard scaling has died i.e chips are not getting better just

对，因为摩尔定律已经失效了，登纳德缩放也失效了——也就是说，芯片不会再随随便便就变好了。你明白吧，从制造角度来说，你必须做出真正的架构创新才行。Google 做网页服务早就不只是用 Intel CPU 了，他们有 YouTube 芯片、有 TPU、有 Pixel 芯片，还有各种各样其他的芯片，这些芯片支撑着 Google 所有的经济价值，对吧，跑着所有的服务和各种东西。而且这还只是 Google 一家，你随便看行业里哪家公司，情况都差不多。一辆车里就有 5000 颗芯片，200 多种不同的型号，全是这些乱七八糟的东西。特斯拉一个门把手里面就有两颗芯片，听起来挺离谱的吧，但那个门把手确实很酷，对吧？

94:54

for free right you know from manufacturing you have to make real architectural innovations right

免费嘛，对吧。你看，从制造业的角度来说，你必须做出真正的架构创新，对吧。

94:59

Google is not just running on Intel CPUs for web serving they have a YouTube chip they have TPUs

Google 并不只是用 Intel CPU 来做网页服务，他们还有 YouTube 芯片、TPU、Pixel 芯片，各种不同的芯片，嗯，这些芯片支撑着 Google 所有的经济价值，对吧，跑着所有服务和各种东西。而这还只是 Google 一家，你随便看行业里哪家公司，情况都差不多，对吧。一辆车里有 5000 颗芯片，嗯，200 种不同的型号，对吧。特斯拉的一个门把手就有两颗芯片，对吧，简直离谱。而且那门把手还挺酷的，对吧，能赚钱，也够用，但造下一个的成本就会上升，他们可能还想继续这么搞。

95:03

they have pixel chips they have a wide diversity of chips that uh you know generate all the economic

他们有pixel芯片，有各种各样的芯片，嗯，你知道，这些芯片创造了Google所有的经济价值，对吧，运行着所有的服务和各种东西。而这还只是Google，你可以看看行业里的任何一家公司，情况都一样，对吧。汽车里，连门把手都有两个芯片，对吧，简直离谱。嗯，而且那门把手挺酷的，对吧，能赚钱，也够用。但造下一个的成本就会上升。他们可能会尝试这样做，对吧，你知道，可能只是一个小工艺，比如某种化学蚀刻，或者某种等离子蚀刻，或者你知道，某个小环节出了差错，你没把它设计好，然后整个公司就垮了，你就造不出芯片了。所以，非常非常。

95:09

value of Google right running you know it's running all the services and stuff and so and this is

Google 的价值就在于它支撑着所有服务之类的运转，而这还只是 Google 一家。你放眼整个行业的任何公司，情况都差不多——比如车门把手，里面就有两颗芯片，简直离谱。而且这还是个挺酷的门把手，能赚钱，也够用，但造下一个的成本就会上升。他们可能会尝试这么做：比如你有一个很小的工艺环节，涉及到某种化学蚀刻或者等离子蚀刻，或者某个小流程出了岔子，你总不能自己跑去开一家芯片公司吧。结果他去了台湾，创办了台积电。本来也可能有台积电，但如果是德州半导体制造商的话，那可能就是德州仪器了。

95:13

just Google and you could go across any company in the industry and it's like this right cars contain

就拿 Google 来说，你可以去行业里的任何一家公司看看，都是这样，对吧？汽车里面

95:17

5,000 chips you know 200 different varieties of them right all these random things a Tesla

五千块芯片，你知道有两百种不同的型号对吧，全是些乱七八糟的东西。特斯拉一个车门把手就有两块芯片，是不是很离谱？而且那个门把手确实挺酷的，能赚钱，也够用。但造下一个的成本就上去了，他们可能想试着做出来，结果太贵了，要么就干脆不做了，要么就是故障点更多了。比如某个小工艺环节，像什么化学蚀刻或者等离子蚀刻，或者某个小流程出了岔子，你没设计好，整个公司就垮了，芯片就造不出来了。所以像Intel这种超级强大的公司，它们扛过了风风雨雨，到今天还活着。

95:22

door handle has two chips right like it's like ridiculous um and it's a cool door handle right it's like

车门把手里面有两个芯片，对吧？这有点夸张，嗯，但这是个很酷的车门把手，对吧？就好像

95:26

you know you don't think about it but it's like has two really chip like like penny like chips in

你平时可能不会去想，但其实就像是有两块真正的芯片，像那种 penny 芯片一样，放在里面。

95:30

that right anyways so so as you have more diversity of chips as you have more specialization required

好吧，反正就是这样。所以随着芯片种类越来越多，需要的专业化程度也越来越高，

95:36

and the cost of fabs continues to grow you need someone who is laser focused on building the best

而晶圆厂的成本还在不断上涨，你就需要一个专注于打造最先进工艺技术、并尽可能让它灵活的人。

95:41

process technology and making it as flexible as possible I think you could say it's simply which is

我觉得可以简单地说，就是每个晶圆厂的成本在上升，如果你是个小玩家，只生产几种芯片，

95:47

the cost per fab goes up and if you are a small player that makes a few types of chips you're not

你根本不会有足够的需求来收回晶圆厂的成本。

95:53

going to have the demand to pay back the cost of the fab whereas Nvidia can have many different

而 Nvidia 可以有很多不同的客户，把所有这些需求集中到一个地方，

95:58

customers and aggregate all this demand into one place and then they're the only person that

然后他们就成了唯一一个靠造芯片赚到足够钱、再去建下一个晶圆厂的人。

96:03

makes enough money building chips to buy the next to build the next fab so this is kind of why they

所以这大概就是为什么他们会这样。

96:09

the company slowly get killed because they have the they have 10 years ago a chip that is

这家公司慢慢就被干掉了，因为他们十年前有一款芯片，既能赚钱又够用，但造下一代芯片的成本却越来越高。他们可能尝试去做，结果失败了——要么没钱搞成，最后啥芯片都没有；要么造出来了，但太贵了，根本卖不动。而且你知道，失败的点太多了，比如某个工艺环节出了问题——像什么化学蚀刻、等离子蚀刻之类的，一个小流程没弄对，设计没做好，整个公司就崩了，芯片根本造不出来。所以像Intel这种超级强大的公司，当年也是扛过了各种风暴，才能活到今天。

96:15

profitable and is good enough but the cost to build the next one goes up they may try to do this

有利润，也够用，但造下一个的成本会上涨。他们可能会尝试这样做

96:20

fail because they don't have the money to make it work and then they don't have any chips or they

失败是因为他们没有足够的资金来让它运转起来，然后他们也没有芯片，或者他们造出来了但成本太高，最后只能放弃。你知道的，失败点其实很多，比如某个小环节出了问题，像是某种化学蚀刻或者等离子蚀刻，或者某个小工艺没设计好，整个公司就垮了，根本造不出芯片。所以像Intel这样超级强大的公司，他们经历了风雨才活到今天——他们差点破产，不得不把晶圆厂卖给阿联酋的Mubadala，然后那部分变成了一个独立的代工厂叫Global Foundries，之后AMD才能……

96:23

build it and it's too expensive and they just I have or they you know there's more failure points

造出来之后成本太高，结果要么就是他们只能自己用，要么就是——你知道的——故障点更多了。对吧，你可能只是一个小环节出了问题，比如某种化学蚀刻或者等离子蚀刻，或者某个小流程没弄对，工程没做好，整个公司就垮了，芯片根本造不出来。所以像Intel这种超级强大的公司，它们经历过风浪，到今天依然存在。还有一家独立的公司叫Global Foundries，是一家晶圆代工厂。然后AMD就能针对不同市场做不同的芯片，专注于特定的工作负载，而不是什么都做。这样一来，芯片的多样性就增加了，芯片公司也比以往任何时候都多。

96:28

right of you know you could have one little process related to like some sort of like a chemical

对啊，你知道可能只是一个小流程，比如某种化学蚀刻或者等离子蚀刻，或者某个小环节出了岔子，你就不可能说“我自己去开个芯片公司”对吧。然后他去了台湾，创办了台积电，对吧。本来也可能有台积电，但叫德州半导体制造商，你懂的，德州仪器嘛。所以从出口管制的角度来看，这些措施一直很刺激。在美国本土建厂，嗯，是可行的，但得花巨资。我真的觉得，要彻底革新并完全实现半导体本土化，需要十年时间和一万亿美元。还有文化因素，就像你说的，台湾有极端的敬业精神和极端的职业道德。我觉得如果你有

96:33

etch or some sort of like plasma etch or you know some little process that screws up you didn't

etch或者某种等离子体蚀刻，就是那种搞砸了的小工艺步骤，你懂的

96:37

engineer it right and now the whole company falls apart you can't make chips right and so super super

把工程做好，结果整个公司就垮了——芯片做不出来，那就太要命了。所以他就干脆自己开了一家芯片公司，跑到台湾，搞出了台积电。本来也可能有“德州半导体制造公司”对吧，就是那个德州仪器。这听起来像是一个人情故事：张忠谋没升上去，全靠他个人的才华——我并不是要低估这一点——但这里面其实还有另一层运作逻辑。他们的起薪大概是七万到八万美元，这跟谷歌、亚马逊那些公司的起薪差不多，现在大概全世界都看明白了。所以这里有一个巨大的分化：社会上那顶尖的1%到底在干什么。

96:42

powerful companies like Intel they had like the weathering storm to like hey they still exist today

像Intel这样的大公司，经历风雨之后，嗯，它们今天依然存在。

96:47

even though they really screwed up their manufacturing six seven years ago but in the case of like AMD

虽然六七年前他们在制造环节确实搞砸了，但像AMD这种案例，他们差点破产，不得不把晶圆厂卖给阿联酋的Mubadala，对吧？然后那部分业务就独立成了一家叫Global Foundries的代工厂。之后AMD才能重新聚焦，想着“好，我们专注做chiplet，针对不同市场做各种芯片，专注于特定工作负载，而不是什么都搞”。于是芯片种类变得更多元，设计芯片的公司比以往任何时候都多，但制造芯片的公司却比以往更少，对吧？这就是台积电登场的地方——他们一直是最强的，真的太擅长这件事了。

96:52

they almost went bankrupt they had to sell their fabs to Mubidala UAE right and and like that became

他们差点破产，不得不把晶圆厂卖给阿联酋的穆巴达拉，对吧，然后那部分就独立成了一家公司叫Global Foundries，是一家代工厂。之后AMD才能针对不同市场做不同的芯片，专注于特定工作负载，而不是什么都做。所以芯片种类变得更多了，设计芯片的公司比以往任何时候都多，但制造芯片的公司却比以往更少，对吧。这就是台积电登场的地方——他们一直是最强的，对吧，他们在这方面实在太厉害了。他们尽量把很多复杂的东西替你抽象掉，赚得不错，不是暴利，但利润可观，而且他们能整合所有这些需求，继续推进。

96:58

a separate company called Global Foundries which is a Foundry firm and and then AMD was able to then

有一家独立的公司叫Global Foundries，是一家晶圆代工厂，然后AMD就能够……

97:03

focus on like on the return back up was like hey let's focus on making chiplets and a bunch of

重點是，回過頭來看，當時的想法是：「嘿，我們專注做 chiplet，然後針對不同市場做一堆不同的晶片，專注在特定工作負載上，而不是什麼都做。」所以晶片的多樣性變高了，設計晶片的公司比以往任何時候都多，但製造晶片的公司卻比以往任何時候都少，對吧？這就是台積電登場的地方——他們就是做得最好，對吧？他們真的太擅長這件事了。他們試著幫你抽象掉很多複雜的東西，他們賺不少錢，但不是那種誇張的暴利，就是穩穩地賺，而且他們能把所有這些需求整合起來，繼續蓋下一座晶圓廠、再下一座、再下一座。那為什麼台灣對台積電來說這麼特別？為什麼是台灣？

97:08

different chips for different markets and focusing on specific workloads rather than you know all of

针对不同市场做不同的芯片，专注于特定的工作负载，而不是什么都做。

97:13

the these different things and so you get more diversity of chips you have more companies than ever

这样一来芯片种类更多了，参与的公司也比以往任何时候都多。

97:17

designing chips but you have fewer companies than ever manufacturing them right and this is this is

设计芯片的公司越来越少，而能制造它们的公司更是屈指可数，对吧。这时候台积电就登场了——他们就是做得最好，真的，太擅长这个了。他们尽量帮你把很多复杂的东西抽象掉，赚得不错，不是暴利，但利润可观，而且能整合所有需求，持续下去。我觉得有些方面是，有些方面不是。台积电遥遥领先，因为前德州仪器高管张忠谋没升上CEO，他一气之下说，算了，我自己去搞个芯片公司。于是他去了台湾，创立了台积电。本来也可能有“德州半导体制造公司”的，对吧，就在德州仪器旁边。

97:22

where TSMC comes in is they've they've just been the best right they are so good at it right

台积电（TSMC）之所以能脱颖而出，是因为它们一直做得最好，对吧，它们在这方面实在太强了。

97:27

their customer focus they make it easy for you to fabricate your chips they take all of that complexity

他们的客户导向让你能轻松制造芯片，把那些复杂的流程都替你抽象化处理掉。他们赚得不错，不是暴利，但利润可观，而且能汇聚所有需求，持续建造下一座晶圆厂、再下一座、再下一座。那么为什么台积电在台湾如此特别？为什么偏偏在那里发展起来？这能在美国复制吗？嗯，有些方面我觉得可以，有些方面则不行。台积电能遥遥领先，是因为德州仪器前高管张忠谋没被提拔为CEO，他一气之下说“算了，我自己去创办一家芯片公司”，然后去了台湾，创立了台积电。

97:32

and like kind of try and abstract a lot of it away from you they make good money they don't make

它们会尽量帮你把很多复杂的东西抽象掉，赚的钱不少，但不是那种暴利，不过确实赚得不错。

97:36

insane money but they make good money and and they're able to aggregate all this demand and continue

而且它们能汇聚所有需求，持续发展下去。

97:42

to build the next fab the next fab the next fab so why is Taiwan so special for TSMC why is it

要建下一个晶圆厂、再下一个、再下一个。那为什么台湾对台积电这么特别？为什么是它？我会说，有些方面是肯定的，有些方面我觉得不是。台积电遥遥领先，是因为前德州仪器高管Morse Chang没升上CEO，他就想，算了，我自己去搞个芯片公司。于是他去了台湾，创办了台积电。本来也可能有“台积电”但叫“德州半导体制造”对吧，就是德州仪器那种。但你看，现在他们就在德州。这听起来像是个人的故事——因为没升职，全靠Morse Chang的才华，这点我不否认。但这里面其实还有更深层的运作逻辑。

97:47

happening there can it be replicated inside the United States yes so there's there's aspects of it

在那里发生的事情能否在美国复制？嗯，有些方面我觉得可以，有些方面不行。台积电之所以遥遥领先，是因为前德州仪器高管张忠谋没被提拔成CEO，他心想“算了，我自己去搞个芯片公司”，然后就去了台湾，创立了台积电。本来也可能有“德州半导体制造商”之类的，你懂的，德州仪器嘛。但整个故事就是这样，他们现在就在德州。这听起来像是个人的故事——因为没升职，全靠张忠谋的才华，这点我不该低估——但这里面也有不同层面的运作逻辑。

97:53

that I would say yes and aspects that I'd say no right TSMC is way ahead because former you know

我会说，有些方面是肯定的，有些方面则是否定的。台积电遥遥领先，因为你知道……

98:00

executive Morse Chang of Texas Instruments wasn't promoted to CEO and he's like screw this I'm

德州仪器的高管张忠谋没升上CEO，他就想“去他的，我自己开个芯片公司”，然后去了台湾，创办了台积电。本来可能叫“德州半导体制造公司”之类的，你懂的，德州仪器嘛。听起来像是个很人性化的故事——因为没升职，全靠张忠谋的才华，这点我不否认——但这里面其实还有另一层运作逻辑。他们的起薪大概是七八万美元，而谷歌、亚马逊这些公司起薪就是几千美元（现在全世界都看到了吧）。所以社会上存在巨大的两极分化：那1%的顶层人群到底在干什么。

98:05

gonna go make a my own chip company right and he went to Taiwan and made TSMC right and there's

他不可能说“我要自己开个芯片公司”然后跑去台湾搞出台积电，对吧

98:09

there's a whole lot more story there so he could have a Texas Instruments could have been the T you know

这背后其实还有更多故事。比如，德州仪器本来有可能成为那个“T”，你懂的——本来可能是台积电，但德州半导体制造商嘛，就是德州仪器。不过，这里面确实有一段完整的故事，而他们现在就在德州。听起来像是一个关于人的故事——不只是因为张忠谋的才华才被提拔，虽然我也不想低估这一点——但这里面还有另一个层面的运作逻辑。在台湾，顶尖大学——也就是台大——最优秀的那批毕业生，几乎全都去了台积电。而且你猜他们的起薪是多少？大概七万到八万美元，这差不多就是……

98:14

could have been TSMC but Texas semiconductor manufacturer right that a you know Texas Instruments right

本来可能是台积电，但也可以是德州半导体制造商，你懂的，就像德州仪器那样

98:19

but you know so there is that whole story there but they're sitting here in Texas I mean and that

但你知道，这背后其实有整个故事。他们就在德克萨斯州，我是说，这听起来像是一个人类的故事——它之所以被推广，并不仅仅是因为Morse Chang的才华，虽然我也不想低估这一点。但这里面还有另一个层面的运作逻辑，对吧。所以他们的起薪大概是七万到八万美元，这跟Google和Amazon那些公司的起薪差不多，现在大概也是OpenAI那个水平吧。所以这里有一个巨大的分化：社会上那top 1%的人在做什么，以及他们因为经济原因会往哪个方向走。因为直到现在，那些公司也没给过那么离谱的高薪，对吧。对他们来说，这根本说不通。这就是其中一个方面——最优秀的人才到底流向哪里。

98:24

sounds like a human story like it didn't get promoted just the brilliance of Morse Chang you know which

听起来像是一个人类的故事，它并没有被大肆宣传，只是 Morse Chang 的才华本身就很耀眼，你知道吧。

98:28

I wouldn't underplay but there's also like a different level of like how how this works right so

我不想低估这一点，但这里面其实还有另一个层面的运作逻辑，对吧。

98:34

in Taiwan the you know like the number top percent of graduates of students that go to the best

在台湾，你知道，最顶尖的那批毕业生，能进最好的学校像是台大，这些顶尖学生全都跑去台积电工作，对吧？你猜他们的薪水是多少？起薪大概七万、八万美元，这差不多就是谷歌和亚马逊这类公司的起薪水平。现在全世界都看清了这一点，对吧？所以社会上存在一个巨大的分歧：社会最顶尖的1%的人在做什么，他们又因为经济因素往哪里去——因为台积电的薪资从来没高到那么离谱，对吧？对他们来说这根本说不通。这是其中一个层面：最优秀的人去了哪里。第二个层面是工作态度，你知道，我们喜欢工作，你工作很多，我们也工作很多。

98:42

school which is NTU the top percent of those all go work to TSMC right and and guess what their

NTU 这种顶尖学校，最优秀的那批学生全都去台积电上班了，对吧？你猜他们薪水多少？起薪也就七万、八万美元，这跟谷歌、亚马逊那些公司给新人的起薪差不多，都是几千美元的水平。现在全世界都看清了吧——社会上存在巨大的两极分化：最顶尖的1%的人在做什么，他们又因为经济原因往哪儿走。台积电给的薪水从来没那么夸张地好过，对他们来说根本不划算。这是其中一个方面：最优秀的人才到底流向哪里。第二个方面是工作态度。你知道的，我们喜欢工作，你干得多，我们也干得多。但晶圆厂的工作性质是什么？那可不是能在家远程办公的活儿。

98:46

pay is they're starting pay is like $80,000 $70,000 right which is like that's like starting pay for

他们的起薪大概是八万、七万美元，对吧，这差不多就是 Google 和 Amazon 这些公司的起薪水平，现在估计 OpenAI 也是这个水平了。

98:53

like a good graduate in the US right not not the top the top graduates are making hundreds of

就像美国的好毕业生，现在顶尖的那批毕业生都在谷歌、亚马逊这些公司赚几十万美元，现在大概还有OpenAI吧。所以社会顶层那1%的人在做什么、他们因为经济原因往哪个方向走，这两者之间有很大的分化——因为以前那些公司根本给不了这么夸张的薪水，对他们来说根本不划算。这是其中一个方面：最优秀的人往哪去。第二点是工作态度。我们确实喜欢工作，也干得很多，但说到底，你投入的时间和劳动量是多少？而晶圆厂需要的是什么？晶圆厂可不是能在家办公的工作。

98:57

thousands of dollars at the Googles and the Amazon's and now I guess the open eyes of the world right

所以这里有一个巨大的反差：社会顶层那1%的人在做什么？

99:02

so there's there is a large dichotomy of like what is the top 1% of the society doing

他们仍然落后，而美国的限制措施试图在后面拖住他们，但你知道，

99:07

and where they headed because of economic reasons right until never paid that crazy good right

因为经济原因，他们往那个方向走，但从来没拿到过那么夸张的好待遇，对吧。

99:11

and it didn't make sense to them right that's that's one aspect right where's the best going

而且对他们来说这根本说不通，对吧，这就是一个方面。那最好的方向到底在哪呢？

99:16

second is the work ethic right like you know we like to work you know you work a lot we work a lot

第二点是职业道德，对吧？你知道，我们喜欢工作，你工作很多，我们也工作很多。

99:21

but at the end of the day um when there's a you know when when what what is the time and amount

但说到底，嗯，关键还是看你投入的时间和精力有多少，对吧？晶圆厂需要什么？晶圆厂可不是能远程办公的工作。地震一来，机器震动，要么坏了，要么部分产能报废，很多时候还得重新校准。所以像台积电，最近那次地震，他们根本不用打电话叫员工，员工自己就直接往厂里跑，停车场瞬间爆满，大家冲进去抢修，就像蚂蚁一样——蚁群不需要蜂后下指令，对吧？

99:26

of work that you're doing and what does a fab require right fabs are not work from home jobs there

你正在做的工作，而一座晶圆厂需要什么？晶圆厂可不是能在家办公的工作。

99:30

you go into the fab and grueling work right um there's there's hey if there is any amount of vibration

你走进晶圆厂，开始那种极其辛苦的工作。嗯，就是说，如果有一丁点震动——比如地震震动了机器，那它们要么坏了，要么就得报废掉一部分产能，而且很多时候校准也全乱了。所以，台积电遇到地震的时候——最近就发生过一次——他们不会打电话叫员工回来，员工自己就直接往厂里跑。停车场瞬间爆满，大家冲进去就开始修机器。这就像蚂蚁一样，对吧？蚁群不会等蚁后下指令才知道该干嘛，蚂蚁自己就知道。每个人就专精于某一项任务，就是这样。

99:37

right an earthquake happens vibrate the machines they're all you know they're either broken you've

地震来了，机器会震动，它们要么坏了，要么你报废了一部分产能，很多时候还校准不准。所以台积电遇到地震的时候——最近就发生过一次——他们不会打电话叫员工，员工自己就直接去晶圆厂了。停车场瞬间爆满，大家进厂就开始修，就像蚂蚁一样。你知道吗，蚁群不需要蚁后告诉每只蚂蚁该干什么，你一辈子在晶圆厂就干这一件事：某种特殊化学工艺加上纳米制造，就在一条工具线上不断迭代。就是这样。

99:43

scrapped some of your production and then in many cases they're like not calibrated properly

他们报废了你的一些产品，而且在很多情况下，这些产品校准得并不准确。

99:47

so so when TSMC when there's an earthquake right recently there's been an earthquake

所以，当台积电遇到地震时——最近就发生了一次地震——

99:51

TSMC doesn't call their employees they just they just go to the fab and like they just show up

台积电不会打电话叫员工来，他们就是直接去晶圆厂，直接出现。

99:56

the parking lot gets slammed and people just go into the fab and fix it right like it's like an

停车场瞬间爆满，人们直接走进晶圆厂去修，对吧？就像

100:01

it's like ants right like it's like you know a hive of ants doesn't get told by the queen what to

就像蚂蚁一样，对吧？就像一窝蚂蚁，不需要蚁后告诉它们

100:06

do the ants just know it's like one person just specializes on these one task and it's like

蚂蚁们是不是就像这样——一个人只专精于某一项任务，然后这辈子就在晶圆厂里干这一件事，比如某种特殊化学加上纳米制造，就盯着一条不断迭代的生产线。对啊，就像专门用特定等离子体边缘去除二氧化硅，你整个职业生涯就只研究这个，特别细分。所以这不像现在AI那样容易迁移。今天AI厉害的地方在于，人们很快就能上手。而半导体制造非常古老且困难，材料根本没法轻易在网上查到和学习，论文又特别晦涩，需要大量经验才能掌握。

100:11

you're gonna take this one tool and you're the best person in the world and this is what you're

你会拿着这一个工具，成为全世界最擅长它的人，然后你这辈子就只干这一件事——在晶圆厂里做某个特定工序，比如某种特殊的化学工艺加上纳米制造，就在一条不断迭代的生产线上。对，就像专门用某种等离子体边缘技术去除二氧化硅，你整个职业生涯就只专注这个。这真的太专了。所以它不像那种容易迁移的技能。今天的AI很厉害，因为人们很快就能上手。但半导体制造非常古老且困难，没有任何材料能让人轻松在线查阅和学习。论文非常晦涩，需要大量的经验才能掌握。

100:14

gonna do for your whole life is this one task in the fab which is like some special chemistry plus

你一辈子要做什么，就是在晶圆厂里完成这一项任务，也就是某种特殊的化学工艺加上

100:19

nano manufacturing on one line of tools that continues to get iterated and yeah it's just like

纳米制造依赖一条不断迭代的工具链，这就像整个职业生涯都扎在一个极其专业的领域里，技能很难迁移。而今天的AI之所以厉害，是因为人们上手很快。相比之下，半导体制造非常古老且困难，相关材料在网上很难找到，普通人根本没法轻松学习。论文内容极其密集，要在晶圆厂里积累经验需要很长时间。而且一旦出问题，工程师半夜就得赶过去——比如地震了，他老婆说“地震了”，他回“太好了，我正好去厂里”。你说，换作一个美国人，会这么干吗？就是这种状态。

100:24

it's like specific plasma edge for removing silicon dioxide right that's all you focus on your

就像那种专门用来去除二氧化硅的等离子体边缘工艺，你整个职业生涯就只盯着这一件事，特别专精，所以根本谈不上什么可迁移性。现在的AI之所以厉害，是因为人们上手特别快。而半导体制造这行非常老旧又困难，所有资料都不公开，普通人根本没法轻松查到和学习。论文写得极其晦涩，得靠大量经验才能在晶圆厂里真正学会。而且一旦出任何问题，他们半夜就得赶过去——比如地震了，他老婆说“地震了”，他回“太好了，我正好去趟晶圆厂”。你说，换作一个美国人，会这么干吗？就是这种事儿。

100:28

whole career and it's like such a specialized thing and and so it's not like the taster transferable

整个职业生涯都耗在这上面，而且这东西特别专，不像那种能随便迁移的技能。

100:34

AI today is awesome because like people can pick it up like that uh semiconductor manufacturing is

今天的AI很厉害，因为人们上手很快，但半导体制造呢，

100:39

is very antiquated and difficult none of the materials are online for people to read easily uh

非常老旧又困难，网上也没什么资料让人容易读懂的，

100:44

and learn right the papers are very dense and like it takes it takes a lot of experience to learn

要学的话，论文都特别晦涩，得花大量经验才能学会。

100:49

and so it makes the beard entry much higher too so so when you talk about hey you have all

所以这就让准入门槛变得更高了。当你谈到说，嘿，你有这么多超级专业的人，他们愿意每周在工厂里干80个小时，对吧，在晶圆厂里。而且一旦出任何问题，他们半夜都会赶过去——比如地震了，他老婆说“地震了”，他说“太好了，我正好去晶圆厂”。你会愿意像这样吗，作为一个美国人？对吧。就是这类事情，我觉得，恰恰说明了为什么台积电现在这么厉害。那你能在美国复制它吗？别忘了，英特尔在制造领域领先了超过20年，他们第一个把每一项技术推向市场——除了紫外应变硅、高k金属栅极和FinFET。

100:54

these people that are super specialized they will work you know 80 hours a week in a factory right

那些超级专业的人，他们会每周在工厂里干80个小时，对吧，就是在晶圆厂里。如果出了什么问题，他们半夜也会赶过去，比如地震了，他老婆说“地震了”，他说“太好了，我要去晶圆厂”。你说，换成一个美国人，会这么干吗？对吧。这种事情，我觉得就是台积电为什么这么厉害的例子。那你能在美国复制吗？别忘了，英特尔在制造领域领先了超过20年，他们第一个把每一项技术推向市场，除了UV应变硅、高k金属栅极、FinFET这些。同时，所有这些天才，写了五万篇博士论文的人，对吧。

101:00

in a fab uh and if anything goes wrong they'll go show up in the middle of the night because some

在晶圆厂里，要是出了什么问题，他们半夜就得赶过去，因为地震了——

101:04

earthquake their wife is like there's an earthquake he's like great I'm gonna go to the fab

他老婆说“地震了”，他说“太好了，我要去晶圆厂了”。

101:08

it's like what would you would you like as an American do that right it's like these sorts of things

这就像，作为一个美国人，你会怎么做？对吧，就是这类事情。

101:12

are like what you know I guess are the exemplifying like why TSMC is so amazing now can you replicate

就像你知道的那些例子，比如为什么台积电这么厉害，现在能不能在美国复制？别忘了英特尔在制造领域领先了超过20年，他们第一个把每一项技术推向市场，除了紫外线、应变硅、高k金属栅极、FinFET这些。同时，所有这些聪明人，那些五万个博士，你懂的，我们心里都清楚这种事迟早会发生。那么美国能不能把尖端半导体制造带回美国本土？目前美国远远不够，20%的产能根本不算什么。而且，这仍然依赖于台湾的存在，对吧？

101:18

it in the US let's not ignore intel was the leader in manufacturing for over 20 years they brought

在美国，我们别忘了英特尔在制造领域领先了超过20年，他们第一个把各种技术推向市场，除了UV应变硅、高k金属栅极、FinFET这些。对吧？同时，所有这些聪明人，写了大概五万篇博士论文，呃，你知道，就像——我们其实心知肚明这种事会发生。那么，美国能把——呃，美国能把领先的半导体制造带回美国吗？在美国本土，现在这点产能根本不够，对吧？20%的产能在美国，几乎等于零，对吧？而且，这仍然依赖台湾的存在，对吧？全都依赖。实际上，这相当关键。我喜欢说的一句话是：如果我有像——

101:24

every technology to market first besides the UV strain silicon high k metal gates fin fed

每一项技术要率先推向市场，除了UV应变硅、高k金属栅极、FinFET这些。

101:31

you know and you the list goes to goes on and on and on of technologies that intel brought to market

你知道的，英特尔带到市场上的技术清单可以一直列下去、列个没完没了。

101:34

first made the most money from um and and and manufactured at scale first best highest profit

它最早靠这些赚了大钱，而且最早实现大规模量产，最早做到最好、利润最高，对吧。

101:41

margins right so we shouldn't ignore that intel can't do this right it's that the culture uh has broken

所以我们不能忽视一点：英特尔不是做不了这些事，而是文化出了问题，对吧。

101:47

right um you've invested in the wrong things they said no to the iPhone they they had all these

你投错了方向，他们拒绝了iPhone，还有各种乱七八糟的事，比如晶圆厂管理混乱、设计管理混乱、这种内耗。

101:52

different things regarding like you know mismanagement of the fabs mismanagement of designs this lockup

与此同时，所有这些聪明人——那些五万个博士，或者硕士——在俄勒冈州，几十年如一日地研究特定的化学或物理工艺、纳米制造工艺，他们还在那里，还在产出惊人的成果。

101:58

right and at the same time all these brilliant people write these like 50,000 PhDs uh you know

对吧，同时所有这些天才的人，写了五万篇博士论文，你知道吗？

102:03

or or masters that have been working on specific chemical or physical processes or nano manufacturing

在俄勒冈，有些硕士级别的专家，几十年如一日地研究特定的化学、物理流程或者纳米制造工艺，他们至今还在那里，持续产出惊人的成果。

102:08

processes for decades in Oregon they're still there they're still producing amazing work

你知道，他们能制造几十上百种不同的芯片，而且客户体验确实做得不错。

102:13

is just like getting it to the last mile of production at high yield where you can design where you

就像是在高良率下把生产推进到最后一英里，这样你就能设计并制造几十上百种不同的芯片，对吧。而且客户体验已经出问题了，你知道的，就是那种客户体验。部分原因在于，人们会说英特尔在2000年代到2010年代太傲慢了，他们就是觉得自己比谁都强。那些工具厂商的人会说：“我觉得这还不够成熟。”而英特尔的人就会说：“你不懂，我们懂。”这种事情确实发生过。那么，美国能把领先的半导体制造带回来吗？从数学上讲，答案是肯定的，对吧。而且我们确实在这么做，亚利桑那州的情况正在好转。

102:17

can manufacture dozens and hundreds of different kinds of chips you know and and it's good you

但问题在于，客户体验就像——有人会说，英特尔在2000年代到2010年代太傲慢了，他们就是觉得自己比谁都强。

102:22

customer experience has broken right you know it's that customer experience it's like the like part of

那些设备工程师说：“我觉得这个技术还不够成熟。”

102:26

it is like people will say intel was too pompous in the 2000s 2010s right they just thought they were

英特尔的人就回：“你不懂，我们懂。”这种事儿经常发生。

102:31

better than everyone the tool guys were like oh I don't think that this is mature enough they're

那么，美国能把领先的半导体制造带回来吗？

102:34

like I you just don't know we know right this sort of stuff would happen um and so can the us bring it

就像，你就是不知道，但我们知道这类事情会发生。那么美国能不能把——

102:39

to the uh can the us bring leading edge semiconductor manufacturing to the US

能不能把领先的半导体制造带回美国？

102:44

mathematically yes right and we aren't right it's happening like Arizona is getting better and

数学上确实是这样，但我们说的不是这个——实际上，亚利桑那州的情况正在好转，但在美国目前这点产能远远不够，你知道，美国只有20%的产能，几乎等于零。而且，这仍然依赖于台湾的存在。有个重要的区分方式：研发和大规模制造是两回事。实际上，全球只有三个地方在做最前沿的研发：台湾新竹、俄勒冈州希尔斯伯勒，还有韩国平泽。这三个地方在为全球其他地区做最前沿的半导体研发。而制造环节可以更全球化地分布，这大概就是关键所在。

102:48

better or time goes on TSMC has built you know roughly 20% of their capacity for five nanometer

随着时间的推移，台积电在美国已经建了大约20%的5纳米产能，但这远远不够。20%的产能在美国根本不算什么，而且这仍然依赖于台湾的存在。有一个重要的区分方式：研发和大规模量产是两回事。实际上，全球只有三个地方在做前沿研发：台湾新竹、美国俄勒冈州希尔斯伯勒，以及韩国平泽。这三个地方在为全球其他地区做前沿半导体的研发。而制造环节可以更全球化地分布，这才是关键所在。

102:55

in the US right now this is nowhere near enough right uh you know 20% of capacity in the US is like

在美国，现在这远远不够，对吧，20%的产能在美国，根本不算什么。

103:01

nothing right um and furthermore this is still dependent on Taiwan existing right all

而且，这仍然依赖于台湾的存在，对吧？

103:06

there's sort of important way to separate it out there's R&D and there's high volume manufacturing

有一个重要的区分方式：研发和大规模制造是两回事。

103:11

there are there effectively there's three places in the world that are doing leading edge R&D

实际上，全球只有三个地方在做最前沿的研发。

103:16

there's Sinshu Taiwan there's Hillsboro Oregon and there is Pyong Pyong Pyongyang uh South Korea right

一个是日本的新宿，一个是俄勒冈州的希尔斯伯勒，还有一个是韩国的平泽。

103:24

these three places are doing the leading edge R&D for the rest of the world's leading edge semiconductors

这三个地方在为全球最先进的半导体做前沿研发。

103:29

right um now manufacturing can be distributed more globally right um and this is sort of where

而制造环节可以更分散地分布在全球各地。

103:36

this dichotomy exists of like who's actually modifying the process who's actually developing the

这种二元对立确实存在——真正在改进工艺、开发下一代技术、推动迭代的人，是在新竹、希尔斯伯勒、平壤，对吧？而不是其他那些，你懂的，像亚利桑那那样的晶圆厂。亚利桑那根本就是个摆设。如果新竹从地球上消失，嗯，一年内，最多几年，亚利桑那也会停产，对吧？这其实非常关键。我常说的一个观点是：如果我有几枚导弹，我完全知道往哪儿打能造成最大的经济损失——不是白宫，而是研发中心。台积电、英特尔、三星的研发中心，再加上一些存储芯片厂商，比如美光和SK海力士，因为它们决定了这些技术的未来演进方向。

103:41

next generation one who's improving them is Sinshu is Hillsboro is Pyongyang right it is not the

下一代负责改进它们的是新竹、希尔斯伯勒、平壤，对吧？可不是其他地方那些晶圆厂，比如亚利桑那——亚利桑那根本就是个摆设。如果新竹从地球上消失，一年内、两年内，亚利桑那也会停产。这地方其实相当关键。我常爱说一句话：如果我有几枚导弹，我清楚知道往哪儿打能造成最大的经济损失——不是白宫，而是台积电、英特尔、三星的R&D中心，还有美光和海力士这些存储芯片厂商的R&D中心，因为它们定义了这些技术的未来演进方向。而这一切的核心就是台积电，对吧？没有台积电的芯片，你连辆车都买不到。

103:47

rest of these uh you know fabs like Arizona right Arizona is a paperweight if if Sinshu disappeared

这就是为什么像亚利桑那州这样的晶圆厂——如果新宿从地球上消失，亚利桑那州在一两年内也会停产。

103:53

off the face of the planet um you know within within a year a couple years Arizona would stop producing

这其实非常关键。我喜欢说的一句话是：如果我有……

103:59

too right it's it's actually like pretty critical one of the things I like to say is if I had like

对吧，这其实相当关键。我喜欢说的一句话是，如果我有——

104:03

a few missiles I know exactly where I could cause the most economic damage right it's not targeting

有几枚导弹，我清楚地知道该往哪儿打才能造成最大的经济损失——目标不是白宫，而是研发中心，是台积电、英特尔、三星的研发中心，还有那些存储芯片厂商，像美光和SK海力士，因为它们决定了这些技术的未来演进方向。说到底，关键就是台积电，对吧？没有台积电的芯片，你连车都买不了。讽刺的是，少数能买到的东西之一是德州仪器的图形计算器，因为人家确实在德州生产。但除此之外，笔记本电脑、各种设备、服务器、GPU——这些东西全都离不开台积电。而且很多时候，甚至不需要最前沿的、那种很酷的五纳米、三纳米、两纳米制程芯片。

104:08

the White House right it's the R&D centers it's the R&D centers for TSMC Intel Samsung and then

白宫，还有那些研发中心——台积电、英特尔、三星的研发中心，再加上一些存储芯片厂商，像美光和SK海力士，因为它们决定了这些技术的未来演进方向。说到底还是台积电，对吧？你想想，现在没有台积电的芯片，连车都买不到。讽刺的是，少数能买到的东西里，还真有德州仪器的图形计算器——毕竟人家是在德州本土生产的。但除此之外呢？笔记本、各种设备、服务器、GPU——这些东西全都离不开台积电。而且很多时候，还不只是那种最前沿的、听起来很酷的五纳米、三纳米、两纳米芯片。台积电还能建那种长尾晶圆厂，里面的工艺技术已经非常成熟了。

104:13

some of the memory guys micron and high next because they define the future evolution of these

一些内存领域的公司，像美光和SK海力士，因为它们定义了这些技术的未来演进方向。

104:16

semiconductors and everything's moving so rapidly that's it really is fundamentally bought R&D

半导体和整个行业的发展速度实在太快了，这本质上就是一场烧钱的研发竞赛。而这一切都绕不开台积电，对吧？台积电，你想想，现在买辆车都离不开台积电的芯片，对吧？买台冰箱也离不开台积电的芯片，你懂的。我觉得现在少数还能买到的不依赖台积电的东西，讽刺地说，可能就是德州仪器那种图形计算器，因为它们确实还在德州生产。但除此之外，笔记本电脑、服务器、GPU——这些东西全都离不开台积电。很多时候甚至都不是什么最前沿的、听起来很酷的五纳米、三纳米、两纳米芯片，往往就是那种傻乎乎的电源管理IC，比如用来做电压转换的。

104:24

and it is all about TSMC huh and so TSMC you know you cannot purchase a vehicle without TSMC chips right

而这一切都绕不开台积电，对吧？台积电，你知道的，你买辆车都离不开台积电的芯片。

104:32

you cannot purchase a fridge without TSMC chips you cannot you you get you like I think one of the

你买不到一台没有台积电芯片的冰箱，真的买不到。我觉得少数能买到的东西，讽刺的是，像德州仪器的图形计算器，因为他们确实在德州生产。但除此之外，笔记本电脑、任何东西、服务器、GPU，这些东西全都造不出来，全都离不开台积电。而且很多时候，甚至不是那种最前沿的、性感的五纳米、三纳米、两纳米芯片，往往就是一些傻乎乎的电源IC，比如做电压转换的。他们可以建这种长尾的晶圆厂，技术成熟得多，不用去解决那些UV光刻的难题。他们正在投资这个领域，然后就有了。

104:38

few things you can purchase ironically is a Texas instruments like graphing calculator right because

讽刺的是，你还能买到少数几样东西，比如德州仪器的图形计算器，因为它们确实在德州生产。

104:43

they actually manufacture in Texas but like outside of that like a laptop of folks anything you servers

但除此之外，笔记本电脑、各种设备、服务器，对吧？GPU——这些东西没一样能存在，没有台积电就不行。而且在很多情况下，甚至不光是那种最前沿的、性感的五纳米芯片、三纳米芯片、两纳米芯片。

104:48

right GPUs none of this stuff can exist and this is without without TSMC and in many cases it's not

它们还能建出那种长尾晶圆厂，工艺技术更成熟、更广为人知。

104:54

even like the leading edge you know sexy five nanometers ship three nanometers ship two nanometers ship

这还涉及整个经济层面的讨论——他们拥有的资源比我们多得多，而且供应充足。

104:58

oftentimes it's just like some stupid power I see that's like converting from like you know

很多时候就是那种很蠢的电力问题，比如你知道的，他们可以建那种长尾晶圆厂，技术已经很成熟了，不用再费劲去解决那些UV工艺的难题。他们在这方面投了很多钱，而且还有一整套经济层面的讨论——他们资源比我们多得多，保障这类供应链对日常生活至关重要。所以他们开始投资大规模制造，但并没有做研发，研发还是靠自己搞，这方面差距很大。所以我觉得，2015年中国有个五年计划，目标定在2025年——当然，坦白说这个目标没达成，但在某些领域，他们真的已经非常接近了。

105:02

some voltage to another right and it's made at TSMC right this is what China is investing in as

把一些电压转换成另一种，对吧，这是在TSMC制造的，对吧——这就是中国正在投资的方向。他们可以建这种长尾晶圆厂，技术已经很成熟了，不用去解决那些UV的难题。他们投这个，然后就能大量供应像车门把手这种乱七八糟的东西。这又牵扯到整个经济讨论：他们在这方面的供应比我们多得多，而这些东西对日常生活至关重要。所以他们开始投资高量产，但没做R&D。他们自己搞R&D，但远远落后，对吧。我觉得2015年中国有个五年计划，目标是在2025年之前……

105:06

well as like they can build out this long tail fab where the techniques are much more known you

他们可以把这种长尾晶圆厂建起来，因为相关工艺已经比较成熟了。

105:10

don't have to figure out these problems with UV they're investing in this and then they have

不用非得自己解决UV这些难题，他们正在这方面投资，而且还有一整套经济层面的讨论——毕竟他们资源比我们多得多，像这类物资的供应对日常生活至关重要。所以他们开始着手搞大规模制造，但研发这块没怎么碰。当然他们自己也在做研发，不过差距还很大。这么说吧，2015年中国就制定了五年计划，目标定在2025年——坦白讲肯定完不成，但在某些领域他们确实非常接近了。比如造芯片，他们有自己的faps（晶圆厂），虽然高端芯片还得靠进口，但至少像内燃机需要40颗芯片、电动车需要更多这种基础需求，他们能自己解决。

105:15

large supply for things like the car door handles and the random stuff and that trickles down into

像车门把手这类东西的需求量很大，还有各种杂七杂八的玩意儿，这其实也牵扯到整个经济讨论——他们拥有的资源比我们多得多，而保障这类物资的供应对日常生活至关重要。所以他们开始投资大规模制造，但并没有投入研发。他们自己搞研发，但进度远远落后。这么说吧，2015年中国制定了一个五年计划，目标是在2025年实现某些目标——显然没达成，但他们在某些领域确实非常接近了。比如BYD很可能会成为全球第一家不需要依赖TSMC来制造芯片的公司，因为他们有自己的fab（晶圆厂）来生产芯片，不过他们目前仍然需要购买……

105:22

this whole economic discussion as well which is they have far more than we do and having supply

这其实也是个经济层面的问题——他们拥有的资源比我们多得多，而且有大规模量产的能力。

105:27

for things like this is crucial to normal life so they're doing the they're starting to invest in

像这类事情对日常生活至关重要，所以他们开始投资大规模生产，但并没有做研发——他们自己搞研发，但进度远远落后。对吧，所以我觉得，2015年中国有个五年计划，他们定下了到2025年的目标。坦白说，这个目标肯定达不到，但在某些领域，他们确实非常接近了。因为制造芯片，他们有自己的fabs对吧，现在他们还是得买那些非常高端的设备，但至少像内燃机需要40个芯片，而电动车更复杂，所有这些不同的电源IC、电池管理控制器之类的东西，从2015年开始他们就在做了。现在在成熟制程方面，他们产能已经非常大了。

105:31

high-volume manufacture but they're not doing R&D so they do R&D on their own there's way behind

但他们不做研发，自己搞研发的话，水平还差得远。

105:37

right so I would say like in 2015 China had a five-year plan where they defined by 2025

对，所以我觉得，2015年中国有个五年计划，目标定在2025年。

105:45

in 2020 certain goals including like 80% domestic production of semiconductors they're not they're

2020年定了一些目标，比如半导体80%国产化——说清楚啊，他们肯定达不到这个数，但在某些领域确实非常接近了。比如比亚迪很可能会成为全球第一家不用台积电造芯片的公司，因为他们有自己的晶圆厂。现在他们还是得从国外买一些芯片，比如自动驾驶相关的，因为那些要求特别高。但至少你看，燃油车需要40颗芯片，电动车光是控制流量什么的就更复杂了，还有各种电源管理芯片、电池管理控制器这些。

105:50

not going to hit that right to be clear but they are they are in certain areas really really close

坦白说，那个目标肯定达不到，但在某些领域，他们确实已经非常接近了。

105:55

right like BYD is probably going to be the first company in the world to not have to use TSMC

对，像比亚迪很可能会成为全球第一家不用台积电的公司，因为他们有自己的晶圆厂来造芯片。现在他们还是得买那些特别高端的芯片，但至少像内燃机需要40个芯片，而电动车光是控制流量什么的就更复杂了，所以各种电源管理芯片、电池管理控制器这些，从2015年开始，在成熟制程这块他们已经积累了很大的产能。至于先进制程，也就是五纳米这些，他们在GPU方面还是落后，而美国的限制就是想阻止他们在后者上追赶，但你懂的。

106:00

for making because they have their own faps right for making chips now they still have to buy

因为他们有自己的晶圆厂来造芯片，不过现在还是得买。

106:05

some chips from foreign for example like around like self-driving eight-ass capabilities because those

比如一些来自国外的芯片，比如围绕自动驾驶八级能力的那种，因为那些确实是非常高端的。但至少你知道，比如一台内燃机有40个芯片，而一辆电动车，光是控制流量之类的东西就需要很多芯片，而且电动车甚至更复杂。所以所有这些不同的power IC和battery management controller之类的东西，从2015年开始，在成熟制程方面，他们现在已经有了很大的产能。而在先进制程方面，也就是五纳米之类的，GPU方面他们仍然落后。这正是美国限制措施试图阻止他们的地方，但你知道，实际发生的情况是，他们的五纳米、三纳米等制程确实被拖慢了。

106:11

are really high-end but at least like you know like an internal combustion engine has 40 chips and an EV

真正高端的芯片还得靠进口，但至少像内燃机需要40颗芯片，而电动车更复杂。

106:16

you know just just for like controlling like flow rates and all these things and EVs are even more

你知道，就是用来控制流速之类的东西，还有电动车就更复杂了，所以各种电源IC、电池管理控制器这些玩意儿。从2015年到现在，在落后制程这块，他们已经积累了很大的产能；而在先进制程这边，也就是五纳米之类的，GPU方面他们还是落后的。美国的限制措施就是想在这后面这块卡住他们，但你知道，键盘里的芯片那种东西嘛。所以这里有个角度：美国从出口管制的角度出发，动作搞得这么激烈，反而刺激了他们在其他领域的进步，因为他们知道这事儿太重要了。如果美国真要退出的话……

106:19

complicated so all these different power ICs and battery management controllers and all these things

所有这些不同的电源管理IC、电池管理控制器之类的东西，他们都能做。

106:24

they're they're in-sourcing right and this is this is something that like China has been doing

他们现在在做内包，对吧，中国从2015年就开始这么干了。在落后制程这块，他们已经积累了巨大的产能；但在先进制程，也就是五纳米这些方面，他们仍然落后，而美国的限制措施就是想在这方面卡住他们。但你知道，实际发生的情况是——没错，他们的五纳米、三纳米确实被拖慢了，但他们在45纳米、90纳米这些功率IC、模拟IC，甚至我键盘里随便一个芯片上反而加速了。所以从某个角度看，美国这些出口管制措施，实际上起到了激化作用。

106:29

since 2015 now as far as like the trailing edge they're getting so much capacity there as far

从2015年到现在，在技术落后端这边，他们获得的产能已经非常大了。但依然落后，而美国的限制措施就是想阻止他们追赶，你懂的，像键盘里塞芯片那种事。所以从某个角度看，美国的出口管制措施确实非常激进。他们在其他领域也在推进，因为他们知道这有多重要。如果美国打算自己建半导体产业链，嗯，确实可以，但需要投入巨额资金。我真的觉得，要彻底革新并完全实现半导体本土化，需要十年时间和一万亿美元。还有文化因素，就像你说的，台湾那种极致的专注和极端的敬业精神。我觉得如果你有……

106:35

as the leading edge right i.e. this five nanometer and so on so forth right where GPUs they are

在领先的制程上，比如五纳米这些，GPU 还是落后一步，而美国的限制就是想在这方面阻止他们，但你知道，键盘里卡个芯片这种事儿嘛。所以从某个角度看，美国的这些出口管制措施确实太激进了，反而逼得他们在其他地方加速推进，因为他们知道这事儿太重要了。如果美国打算自己建，嗯，是能建，但得花巨资。我真的觉得，要彻底革新并完全实现半导体本土化，得花十年时间和一万亿美元。而且还有文化因素，就像你说的，台湾那种极致的专注和极致的敬业精神，我觉得如果你有的话——

106:40

still behind and this is the US restrictions are trying to stop them in the latter but you know

芯片和键盘这类东西，对吧。所以这里有一个角度，就是美国的行为——

106:45

all that's happened you know is yes they've slowed down their five nanometer three nanometer et cetera

你知道的，现在发生的一切就是，他们在五纳米、三纳米这些制程上确实放慢了速度，还有我键盘里的芯片之类的。所以这里有一个角度，就是美国的行为——从出口管制的角度来看——已经非常具有挑衅性了。他们在其他地方也在推进，因为他们知道这太重要了。如果美国要在这里把他们排挤出去，或者也把我们锁在落后制程里，那回到问题本身：美国能自己造吗？能，但需要花一大笔钱。我真的觉得，要彻底革命性地把半导体完全本土化，需要十年时间和一万亿美元。其中一部分也是文化问题，就像你说的，台湾那种极端的专注和极端的职业道德。我觉得如果你有……

106:50

but they've accelerated their hey 45 nanometer 90 nanometer power IC or analog IC or you know random

但他们已经加速了他们的——嘿，45纳米、90纳米的功率IC或模拟IC，或者你知道的，我键盘里那种随机芯片，诸如此类的东西。所以这里有一个角度，就是美国的行为——从这些出口管制的角度来看——已经变得如此具有挑衅性，以至于他们在其他领域取得了进展，因为他们知道这太重要了。如果美国要在这里把他们排挤出去，或者也把我们锁在落后工艺之外，那么回到问题：美国能在这里建起来吗？嗯，能，但这需要巨额资金。我真的认为，要彻底革新并完全实现半导体本土化，需要十年时间和一万亿美元。其中一部分也是文化问题，就像你说的，台湾那种极端专注和极端的工作 ethic。我觉得如果你有——

106:56

chip in my keyboard right that kind of stuff so so there is an angle of like the US's actions have

从出口管制的角度来看——已经变得非常具有挑衅性。

107:03

been so from these export you know from the angle of the expert controls have been so inflammatory

所以从出口管制的角度来看，这事儿一直特别刺激

107:08

at slowing down China's progress on the leading edge that they've turned around and have accelerated

在拖慢中国前沿进展这件事上，他们反而加速了在其他领域的进步，因为他们知道这太重要了——如果美国要在这里把他们挡在外面，或者也把我们锁在落后领域，那回到最初的问题：美国能自己造出来吗？嗯，能，但需要海量资金。我真的觉得，要彻底革新并完全实现半导体本土化，得花十年时间和一万亿美元。其中也有文化因素，就像你说的，台湾那种极致的工作态度和极端的工作伦理。我认为，只要有需求和资金到位，美国公司也能搞定，只是需要政府手把手扶持。但不得不说，TSMC的文化确实帮它实现了突破，而且这条路走得更顺。

107:13

their progress elsewhere because they know they this is so important right if the US is going to walk

他们在其他地方的进展，因为他们知道这件事太重要了。如果美国打算退出，那就得在这里建起来。嗯，是的，但这需要投入巨额资金。我真的认为，要彻底革新并完全实现半导体本土化，可能需要十年时间和一万亿美元。其中一部分也是文化问题，就像你说的，台湾有极端的专注和极端的职业道德。我觉得如果你有孩子在那里，还有日本的晶圆厂，同样的事情也在发生。所以这些妻子们推动着这些家伙去日本或美国生孩子。现在他们也能做到这一点。嗯，你知道，我们可以直接引进——我是说引进全世界最优秀的人才，花费数十亿美元。所以美国在半导体上投入的资金量……

107:17

them out here or if they lock us out here as well in the trailing edge and so going back can the US

如果他们把我们挡在外面，或者把我们锁在落后的一端，那美国能不能自己建起来？嗯，可以，但这需要天文数字的资金。我真的觉得，要彻底革新并完全实现半导体本土化，需要十年时间和一万亿美元。其中一部分也是文化问题，就像你说的，台湾有极端的组件和极端的职业道德。我觉得，亚利桑那州的晶圆厂有3000名来自台湾的员工，这些人的妻子都说，除非你签约去亚利桑那厂，我们去亚利桑那生孩子，否则我们就不生。日本厂也发生了同样的事，对吧？这些妻子们硬是逼着这些男人去日本或美国生孩子，就是这样。

107:22

build it here um yes but it's going to take a ton of money i truly think like to to revolutionize

“在这儿建厂”是吧，但得砸海量资金。我真的觉得，要彻底革新并完全实现半导体本土化，得花十年时间和一万亿美元

107:29

and completely in-source semiconductors would take a decade and a trillion dollars is some of it

还有文化因素，就像你说的，台湾那种极致的专注和极致的敬业精神。我觉得如果让这帮人跑到日本或美国去生娃养娃，那感觉就完全不一样了

107:33

also culture like you said extreme components extreme work ethic in Taiwan i think if you have the

还有文化方面，就像你说的，极端的组件、极端的工作态度，在台湾。我觉得如果你有

107:39

demand and the money is on the line the American companies figure it out it's kind of take hand

需求摆在那，钱也砸进去了，美国公司自己会想办法搞定。这有点像政府手把手带着走，但我觉得是文化让台积电突破了瓶颈，而且更容易一些。嗯，亚利桑那的晶圆厂有3000人从台湾过去，这些人的老婆都说，除非你报名去亚利桑那厂，我们就不生孩子了——我们去亚利桑那，在那儿生娃。日本厂也是同样的情况，对吧？所以这些老婆们就推着这些男人去日本或美国生娃。这其实就是文化的一部分。没错，台湾人确实那么拼，但美国过去也做到过，现在照样可以，对吧？嗯，我们完全可以引进——我是说引进全世界最顶尖的人才。

107:43

holding with the government but i think that the culture helps TSMC break through and it's easier

与政府保持合作，但我认为文化因素帮助台积电实现了突破，而且更容易一些。嗯，亚利桑那州的晶圆厂有3000名来自台湾的员工，这些人的妻子们说，除非你报名去亚利桑那的晶圆厂，我们才会生孩子，我们去亚利桑那，在那里生孩子。日本晶圆厂也发生了同样的事情，对吧？所以这些妻子们推动着这些男人去日本或美国生孩子。这确实是文化的一部分。没错，台湾人工作那么拼命，但美国过去也做到过，现在当然也能做到。你知道，我们可以直接引进——我说引进全球最顶尖的人才，花几十亿美元就行。所以美国在半导体上投入的资金量……

107:49

from them you get it's like TSMC has some like 90,000 employees right it's not actually that insane

从他们那里你了解到，台积电大概有九万名员工对吧，其实也没那么夸张。亚利桑那州的晶圆厂有三千人来自台湾，这些人的老婆就说，除非你报名去亚利桑那的厂，不然我们就不生孩子，我们去亚利桑那，在那里生孩子。日本也有个晶圆厂，同样的事情发生了。所以这些老婆就逼着这些男人去日本或者美国生孩子。这其实是一种文化现象。没错，台湾确实工作很拼，但美国过去也做到过，现在也可以啊。你知道，我们完全可以引进——我说引进全世界最优秀的人才，如果我们想的话。这就是移民问题棘手的地方，而且这方面已经有很多讨论了。

107:53

amount um the Arizona fab has 3000 from Taiwan and and these people like their wives were like yeah

嗯，亚利桑那那间晶圆厂有三千人从台湾过去，然后这些人的老婆就说，行啊，除非你签了去亚利桑那的厂，我们去那边生孩子，不然我们就不生。日本也有个晶圆厂，情况一模一样。这些老婆就逼着这些男的，要么去日本要么去美国，把孩子生在那儿。现在他们其实也能这么做，对吧。你知道，我们完全可以引进——我说引进全世界最顶尖的人才，花个几十亿美金就行。美国在半导体领域的投入，STEM毕业生里最顶尖的那批人，有多少流向了那边。但这种情况已经持续二十年了。而且有些国家还给了巨额补贴。

108:00

we're not gonna have kids unless we you sign up for the Arizona fab we go to Arizona and we have our

除非你签了亚利桑那晶圆厂的合同，我们才不会不要孩子——我们搬到亚利桑那，在那儿生孩子。日本晶圆厂也发生过同样的事，对吧？所以那些老婆们就逼着老公们去日本或美国生孩子。现在他们其实也能这么干，对吧？我们可以直接“进口”——我是说花几十亿美元引进全球最顶尖的人才。美国在半导体上砸了那么多钱，STEM毕业生里最优秀的那批人自然流向这个领域，但这已经持续二十年了。而且有些国家还在给巨额补贴。尽管我多希望有几百年的持久和平，但现实看起来更像是进一步的不稳定。

108:04

kids there there's also a Japan fab where the same thing happened right and so like these wives drove

有的，日本也有个工厂发生过同样的事。那些妻子就逼着丈夫去日本或美国生孩子。现在他们可以直接做了——我们可以花几十亿美元“进口”全球最顶尖的人才。美国在半导体上投入了那么多钱，哪些GPU能出口、哪些不能，你能解释一下区别吗？从技术角度看，H20有前景吗？嗯，这涉及到……美国已经对出口管制进行了多轮迭代。H20的内存容量比H100小。最近，我们在研究中还剪掉了视频里的相关内容。

108:08

like these like these dudes to like go to Japan or America to have the kids there and it's like

就像这些家伙，他们跑去日本或者美国生孩子，然后就好像

108:13

it's an element of culture yeah sure uh Taiwan works that hard but also like the US has done in the past

这是文化的一部分，没错，台湾确实那么拼，但美国过去也做过类似的事。他们现在也可以这么做，对吧。你知道，我们可以直接引进——我说的是引进全世界最顶尖的人才，花几十亿美元。所以你看美国在半导体上投入的资金，STEM毕业生里最优秀的那批人流向这个领域的比例，对吧。但他们也持续了20年，对吧。而且有些国家还有巨额补贴，中国每年在半导体上的补贴大概有2000亿美元，而美国六年的补贴才500亿左右。所以补贴的规模或者说差距也很大，对吧。所以我觉得，你知道，特朗普一直在说——

108:18

they could do it now right um you know we can just import i say import the best people in the world

他们现在就能做到，对吧。嗯，我们可以直接引进——我是说引进全世界最顶尖的人才，花个几十亿美元。所以你看，美国在半导体上投入了那么多钱，哪些GPU可以出口，哪些不行，你能解释一下区别吗？比如，从技术角度来看，H20有前景吗？嗯，这个嘛，美国已经对出口管制进行了多轮调整。H20的内存容量比H100小。最近呢，我们在研究中，在视频里做了计算，要生成下一个token，我还得读取整个KV缓存，然后生成。对吧，所以这是一个非并行的操作，你得在……

108:24

if we want to that's where the immigration conversation is the tricky one and there's been a lot

如果我们想谈移民问题，那确实是个棘手的话题，而且已经有很多讨论了。

108:28

of debate over that but yeah it seems absurdly controversial to import the best people in the world

关于这个确实有争议，但把全世界最优秀的人才引进来这件事，居然会引发这么大的争议，这看起来挺荒谬的。

108:34

i don't understand why it's controversial that's that's the one of the ways of winning

我不明白这有什么好争议的，这明明就是取胜的方式之一。

108:38

i'm sure we agree with you and then like even if you can't import those people i still think you

我肯定我们和你看法一致，而且就算你没法引进这些人，我仍然觉得，只要资金到位，你完全可以在美国本土制造出大部分东西，对吧？所以问题只是成本高得多，短期内不太可能实现。这就是《芯片法案》的背景——它只有大约500亿美元，而相比之下，《通胀削减法案》和《基础设施法案》里通过的一些可再生能源计划，总额高达数千亿美元，对吧？所以美国在半导体上投入的资金，其实也就那么点。

108:42

could do a lot to manufacture most of in the US if the money's there right and so like it's just

在美国，只要资金到位，很多东西其实都能制造出来，对吧？但问题就是成本高得多，短期内不太可能实现。

108:46

way more expensive it's not probable for a long time and that's the context of like the chips act

这就是《芯片法案》的背景——它只有大约500亿美元，而相比之下，《通胀削减法案》和《基础设施法案》里通过的一些可再生能源计划，总额可是几千亿美元。

108:51

is only like 50 billion dollars relative to you know some of the renewable um you know initiatives

所以美国在半导体上花的钱，跟那些比起来，根本不算什么。

108:57

that were passed in the inflation reduction act and the infrastructure act which total in the hundreds

说到工作 ethic、工作量这些方面，还有STEM毕业生的数量，以及他们中最优秀的人才会不会去这个领域，但中国也有……

109:01

of billions of dollars right and so like the amount of money that the US is spending on the semiconductor

数十亿美元的资金规模，美国在半导体上的投入就是这么大。哪些GPU允许出口、哪些不允许，你能解释一下区别吗？从技术角度来看，H20有前景吗？嗯，这就要说到……美国对出口管制已经迭代了好几个版本。H20相比H100，内存容量更大。最近我们在研究中剪辑了视频……计算下一个token时，我还得读取整个KV缓存并生成结果。因此这是一个非并行操作，你必须……要花更长时间才能产出成果，这就是为什么Anthropic不开源——至少他们自己是这么声称的。

109:05

industry is is nothing right um whereas all these other countries have uh structural advantages in

行业本身没什么，嗯，而其他这些国家在比如工作 ethic、工作时长这些方面有结构性优势，还有 STEM 毕业生数量，他们最顶尖的那批人进入这个领域的比例，嗯，但他们在法律上也有差异，比如税收优惠，这些优惠在法律里已经存在了20年，嗯。然后有些国家还有巨额补贴，中国每年有大约2000亿美元的半导体补贴，而美国六年才500亿美元，所以补贴金额的差距也很大，嗯。我觉得，你知道，Trump 一直在说——

109:11

terms of like you know work ethic and amount of work and like things like that but also a number of

像工作伦理啊、工作量这些方面，还有STEM毕业生的人数，以及他们中最优秀的那批人进入这个领域的比例，对吧。而且他们这样已经持续了大概20年了。但有些国家还有巨额补贴，比如中国每年在半导体补贴上投入大约2000亿美元，而美国六年才500亿美元。所以补贴金额的差距也特别大。我觉得吧，特朗普一直在说，可能他不想补贴美国半导体产业了，但显然，如果台湾出问题，很多东西都会变得贵得多。

109:15

STEM graduates the the percentile of their best going to that right um but they also have like

STEM毕业生中，最顶尖的那部分人去了那个领域，嗯，但这也持续了大概20年，对吧。而且有些国家还有巨额补贴。

109:21

differences in terms of like hey there's just tax benefits in the law and have been in the law

法律里确实有税收优惠，而且已经存在了20年对吧。然后有些国家还有巨额补贴，中国每年在半导体补贴上大概投入2000亿美元，而美国六年才500亿左右。所以补贴金额的差距也特别大。我觉得特朗普一直在说，可能他不想补贴美国半导体产业了。显然，如果台湾出事，很多东西都会变得更贵。但这会改变台积电在美国建更多晶圆厂的局面吗？他大概就是这个意思。

109:26

for 20 years right um and so but and then and then some countries have massive subsidies right

虽然我很希望有长达几个世纪的和平，但看起来并不会，反而会进一步动荡。

109:30

China has something like 200 billion dollars of semiconductor subsidies a year we're talking about

中国每年大概有两千亿美元的半导体补贴，我们说的是这个量级

109:35

50 billion dollars in the US over like six right so the the the the the the the the girth or difference

美国那边六年才五百亿左右，所以补贴的规模差距也特别大

109:41

in like the subsidy amounts is also huge right and and so i think um you know trump has been talking

我觉得吧，川普一直在说不能买电池，他们还有军方客户

109:46

about terrifying Taiwan recently um you know that's sort of like one of these things that's like oh

最近关于“恐吓台湾”的讨论挺吓人的，你知道，这就像那种“哦，好吧，也许他不想补贴美国半导体产业”的事。显然，“恐吓台湾”会让很多东西变得更贵，但这会改变台积电在美国建更多晶圆厂的计划吗？他大概就是在问这个。所以你能分析一下吗？顺便说一句，你对这么多事情了解得这么深，真是不可思议——我们说过Dylan什么都懂，对吧？好，你之前解释了为什么台积电如此重要。如果我们展望未来10到20年，美中关系似乎可能走向一个黑暗的境地，比如冷战升级，甚至更激烈的冷战。

109:51

okay well like you know maybe he doesn't want to subsidize the US semiconductor industry

嗯，你知道，他可能并不想补贴美国的半导体产业。

109:55

obviously terrifying Taiwan is going to cost a lot of things to go get much more expensive

显然，台湾局势紧张会让很多东西变得贵得多。

110:00

but does it change the equation for TSMC building more fabs in the US that's what he's sort of

但这会改变台积电在美国建更多晶圆厂的局面吗？他大概就是这个意思。

110:04

positing right so can you lay out the so we laid out the importance by the way it's incredible

好，那你能先讲讲——我们刚才已经说了重要性，顺便说一句，你知道的东西真的多得惊人，我们告诉过你Dylan什么都懂，没错。好，那你先说说，为什么台积电在未来10到20年这么关键？美中关系看起来可能会走向一个很糟糕的局面，冷战升级、经济对抗。我觉得美国已经向中国领导人明确表态：我们打算不惜一切代价控制这项技术，哪怕牺牲全球经济一体化也在所不惜，这种局面已经很难逆转了。同样，他们也限制了美国公司进入中国市场，对吧？所以这其实是趋同的，但至少在过去十年里，这种趋势一直在不断分化、越走越远。

110:10

how much you know about so much we told you Dylan knows all the stuff yeah so okay you laid out

你对这些了解多少？我们说过，Dylan 什么都懂，对吧？好，那你来展开说说。

110:19

why TSMC is really important if we look out into the future 10 20 years out

为什么台积电如此重要？如果我们展望未来10到20年，

110:25

US China relationship seems like it can go to a dark place of cold war escalated cold war

中美关系可能会走向一个黑暗的境地——冷战升级，甚至更激烈的冷战。

110:35

even hot war or to a good place of anything from frenemies to cooperation to working together

从热战到好的方向，从亦敌亦友到合作共事，什么都有可能

110:44

so in this game theory complicated game uh what are the different trajectories what should

所以在这个博弈论式的复杂游戏里，呃，有哪些不同的轨迹？美国应该怎么做？

110:52

US be doing like what do you see as the different possible trajectories of US China relations

在你看来，随着两国领导人越来越感受到AGI的存在，也越来越意识到芯片和AI的重要性，美中关系可能走向哪些不同的轨迹？

110:56

as both leaders start to feel the AGI more and more and see the importance of chips and the

我的意思是，归根结底，出口管制指向的是一个分离的未来经济。我认为美国已经向中国领导人明确表示，我们打算不惜一切代价控制这项技术，哪怕牺牲全球经济一体化——所以很难再回头了

111:02

importance of AI I mean ultimately the export controls are pointing towards a separate future

同样，他们也限制了美国公司进入中国市场，对吧？所以就是这样

111:09

economy I think the US has made it clear to Chinese leaders that we intend to control this

经济上，我认为美国已经向中国领导人明确表示，我们打算不惜一切代价控制这项技术，哪怕牺牲全球经济一体化，

111:16

technology at whatever cost to global economic inter like integration so that it's hard to unwind

以至于这种脱钩很难逆转。

111:24

that like the same extent they've also limited US companies from entering China right so it is

同样地，他们也限制了美国公司进入中国市场，对吧？

111:30

it is you know it's been a long time coming you know at some point you know there was there was

你知道，这其实已经酝酿很久了。在某个时间点上，确实存在过趋同，对吧？但至少在过去十年里，分歧越来越大了。比如美国公司进不了中国，中国公司也进不了美国。美国在说，嘿中国，你在某些领域不能接触我们的技术，而中国也用类似的方式反击，比如他们在某些特定材料上做了限制，像是镓之类的，试图限制美国。还有一家美国无人机公司，不被允许购买电池，而他们又有军方客户。这家无人机公司直接跟军方客户说，嘿，我只能从亚马逊上买，因为我实际上买不到。

111:35

convergence right but but over at least the last decade it's been branching further and further

所以这其实是趋同的，对吧？但至少在过去十年里，双方的分歧一直在不断扩大。

111:40

out right like US companies can't enter China Chinese companies can't enter the US the US is saying

很明显，像美国公司进不了中国，中国公司也进不了美国。美国在说，嘿中国，你在某些领域不能接触我们的技术，而中国也用同样的话回击，比如他们在某些特定材料上做了限制，像镓这些东西，试图限制美国。有一家美国无人机公司，不能买电池，而他们的客户里有军方。这家无人机公司直接跟军方客户说，嘿，我就从Amazon买，因为我实际上买不到。至于进一步的分歧，我完全不知道，我也希望我们能手拉手一起唱Kumbaya，但我完全不知道这怎么可能发生。这种分歧是好是坏？

111:45

hey China you can't get access to our technologies in certain areas and China's rebuttaling with

嘿，中国，你在某些领域拿不到我们的技术，而中国也在用同样的方式回击，比如他们限制了一些特定材料，像镓之类的，试图限制美国。有一家美国无人机公司，被禁止购买电池，而他们的客户里有军方。这家无人机公司直接跟军方客户说，嘿，我就从亚马逊买，因为我实际上买不到。至于进一步的脱钩，我完全没概念，我也希望我们能手拉手一起唱《Kumbaya》，但我完全不知道这怎么可能发生。这种脱钩是好是坏？训练AI系统其实有助于避免军事冲突，这是一个客观事实。

111:51

the same thing around like you know they've done some sort of specific materials and you know gallium

同样地，他们在某些特定材料上做了些动作，比如镓之类的，试图限制美国。有一家美国无人机公司，甚至不能买电池，而他们还有军方客户。这家无人机公司直接跟军方客户说，嘿，我只能从亚马逊买，因为我实际上买不到。

111:56

and things like that that they've tried to limit the US on one of the there's a US drone company

至于进一步的脱钩，我完全没概念。我也希望我们能手拉手一起唱《Kumbaya》，但我完全想不出这怎么可能发生。这种脱钩是好是坏？

112:01

that's not allowed to buy batteries and they have like military customers and this drone company

这家无人机公司直接跟军方客户说，我从亚马逊买的，因为我确实买不到

112:05

just tells the military customers like hey I just get it from Amazon because I can't actually

至于进一步的脱钩，我完全没概念，我倒是希望我们能手拉手一起唱kumbaya

112:09

physically get them right like there's all these things that are happening that point to further

物理上把它们搞对，比如现在发生的所有这些事情，都指向越来越大的分歧。我完全不知道，我也希望我们能手拉手一起唱首《Kumbaya》，但我完全不知道这怎么可能发生。这种分歧对于避免战争来说是好事还是坏事？在制造AI系统的芯片方面，这种分歧实际上是否有利于避免军事冲突？从客观事实来看，历史上世界最和平的时候，恰恰是存在全球霸主或区域霸主的时候，对吧？从历史背景来看，地中海地区最和平的时候是罗马人在的时候，对吧？中国历史上既有和平时期也有战乱时期，而和平时期正是当……

112:12

and further divergence I have zero idea and I would love if we could we could all hold hands and

但我真不知道这怎么可能实现，这种脱钩是好是坏

112:17

sing kumbaya but like I have zero idea how that could possibly happen is the divergence good or bad

虽然我多希望有几百年的持久和平，但看起来更像是进一步的不稳定

112:23

for avoiding war is it possible that the the divergence in terms of manufacturer chips of

为了避免战争，在训练AI系统的芯片制造上存在分歧，是否反而有助于避免军事冲突？从客观事实来看，当全球存在霸主或区域霸主时，世界往往是最和平的。从历史背景看，罗马统治时期的地中海是最和平的；中国历史上也有和平与战乱时期，而和平时期通常伴随着一个主导力量，尽管期间也有不少动荡。所以，美国试图维持其领先地位，而中国则试图成为领先者，显然双方存在摩擦。简单来说，这可能会导致冲突。

112:31

training AI systems is actually good for avoiding military conflict it's an objective fact that

训练AI系统实际上有助于避免军事冲突，这是一个客观事实。

112:36

the world has been the most peaceful as ever been when there are global hegemons right or regional

历史上，当全球或区域存在霸权时，世界往往是最和平的，对吧？比如地中海地区，罗马人统治时就是最和平的时期。中国历史上也有和平与战乱交替的时期，而和平时期通常伴随着某种主导力量，否则就会有很多动荡。所以，美国现在想做的就是维持它的顶尖地位，而中国想做的就是成为那个顶尖地位，对吧？显然，这里会有冲突。简单来说，尽管我多希望能有几百年的长久和平，但看起来国际上的不稳定还会加剧。而美国现在的任务就像是说，嘿，如果我们能控制住局面……

112:42

hegemons right in historical context right the Mediterranean was the peace most peaceful ever when

历史上的霸权时期对吧，地中海最和平的时候就是罗马人统治的时候，对吧。

112:47

the Romans were there right China had very peaceful and warring times and the peaceful times were when

中国有过非常和平的时期，也有战乱的时期，而和平时期通常是在它占据主导地位的时候。

112:51

dynasties had a lock hold over not just themselves but all their tributaries around them right

历朝历代不仅牢牢控制着自身，还控制着周边所有附属国，对吧

112:56

and likewise the most peaceful time in human history has been when the US was the global hegemon

同样地，人类历史上最和平的时期，就是美国作为全球霸主的时候

113:02

right the last hand you know decades now we've sort of seen things start to slide right with

对吧，最近这几十年，我们其实已经看到局势开始有点不稳了，比如

113:06

Russia Ukraine what was going on in the least and you know Taiwan risk all these different things

俄乌冲突、中东局势，还有你知道的，台湾风险这些不同的问题

113:11

are starting to bubble up still objectively extremely peaceful now what happens when it's not

都开始冒出来了——不过客观上现在依然极其和平。但问题是，当全球霸主

113:15

one global hegemon but it's two obviously and and you know China will be you know competitive or

不是一个，而是两个的时候会发生什么？显然，中国会跟美国竞争，

113:22

even overtake the US like it's possible right and so this this change in global hegemony it's I

甚至可能超越美国，这是有可能的，对吧。所以这种全球霸权的更迭，

113:27

don't think it ever happens like super peacefully right when empires fall right which is a possible

我觉得从来不会特别和平地发生，对吧。当帝国衰落的时候——这是一种可能——

113:32

trajectory for America they don't fall fall gracefully right like they they don't just slide out of

美国的发展轨迹，他们不会优雅地衰落，对吧？他们通常不会悄无声息地退出历史舞台，而是伴随着剧烈的动荡。所以，美国现在想做的就是维持它的领先地位，而中国想做的就是成为那个领先者。很明显，双方正在发生碰撞。简单来说，这种冲突可能以各种形式出现，包括代理人战争。现在这已经在发生了。尽管我多么希望有长达几个世纪的持久和平，但看起来国际上的不稳定局势就在前方。而美国现在的任务就像是：嘿，如果我们控制了AI，如果我们成为AI领域的领导者，那么AI就能显著加速进步，我们就能……

113:37

irrelevance usually there's a lot of shaking um and so you know what the US is trying to do is

嗯，所以你知道，美国现在想做的就是保持它的顶尖位置，而中国想做的就是成为那个顶尖位置，对吧。

113:43

maintain its top position and what China is trying to do is become the top position right and and

显然，这里会有冲突摩擦，嗯，用最简单的话说，尽管我多么希望有长达几个世纪的持久和平，但看起来国际上的进一步不稳定就在前方。

113:48

obviously there there's budding of heads here um and in the most simple terms and that could

而美国现在的任务有点像，嘿，如果我们能控制住……

113:53

take shape in all kinds of ways including proxy wars and now it's like it's already happening like

以各种形式显现，包括代理人战争，而且现在这已经在发生了。尽管我多希望能有长达几个世纪的持久和平，但看起来国际局势反而会更加动荡。美国现在的任务就像是：如果我们掌控AI，如果我们成为AI领域的领导者，那么AI就能显著加速进步，然后我们就能——好吧，大概这就会带来和平，至少对我们来说是和平。但显然，世界其他地方的人会受到负面影响。你知道，如果真这样发展，中国人显然不会处于那么有利的位置。但这就是现实，正在发生的事和正在采取的行动。那么，我们能回到具体问题上来吗？

113:59

as much as I want there to be centuries of prolonged peace it does not it looks like further instability

如果真到了那种有利的位置，嗯，但你知道，这就是现实——大家都在做的事，以及正在采取的行动。所以我们能回到具体问题吗？

114:06

internationally is ahead and and the US is like sort of like current task is like hey if we control

国际上处于领先地位，而美国现在的任务就像是说，如果我们控制全球，其他地方就会受到负面影响。你知道，显然如果发生这种情况，中国人民不会处于那么有利的位置，但这就是现实，正在做的事情和正在采取的行动就是这样。那么我们能回到具体问题吗？哪些GPU允许出口，哪些不允许？你能解释一下区别吗？从技术角度来看，H20有前景吗？是的，这涉及到……嗯，美国已经经历了多轮出口管制。你知道，DeepSea已经建成了他们的集群，他们声称有2000个，但我认为实际上他们拥有的更多。

114:13

AI if we're the leader in AI then we and AI could significantly accelerate progress then we can

如果我们在AI领域领先，那么AI和我们就能显著加速进步，然后我们大概就会想，好吧，这应该会带来和平，对我们而言的和平。但显然，世界上其他地方的人会受到负面影响，比如中国人如果这种情况发生，他们的处境就不会那么有利。不过，这其实就是当前正在做的事情和正在采取的行动的现实。那我们能不能回到具体问题上来——哪些GPU允许出口，哪些不允许？你能解释一下区别吗？比如从技术角度看，H20有前景吗？是的，这个问题涉及到……嗯，美国已经对出口管制进行了多次迭代。

114:19

maintain the global hegemony position and therefore I hope that works and as an American like you know

维持全球霸权地位，所以我希望这能奏效，作为美国人你懂的，就有点像“好吧，我猜这能带来和平，对我们来说的和平”。嗯，显然世界其他地方的人会受到负面影响，你懂的，如果真那样的话，中国人显然不会处于那么有利的位置。但，嗯，这就是现实，正在做的事情和正在采取的行动就是这样。那我们能回到具体硬件的细节吗？出口管制里有一张很好的图表，标明了哪些GPU允许出口，哪些不允许。你能解释一下区别吗？比如，从技术角度看，H20有前景吗？嗯，这就要说到——

114:24

kind of like okay I guess that's going to lead to peace peace for us uh now obviously other people

大概就是，好吧，我觉得这最终会给我们带来和平。嗯，显然世界上其他地方的人会受到负面影响，你知道，如果真发生这种情况，中国人的处境肯定不会那么有利。但这就是现实，正在发生的事情和采取的行动就是这样。那我们能回到具体问题吗？哪些GPU允许出口，哪些不允许？你能解释一下区别吗？比如从技术角度看，H20有前景吗？嗯，这个嘛……美国已经对出口管制进行了多次迭代。你知道，DeepSea已经建成了他们的集群，他们声称有2000个，但我认为实际上不止。

114:29

around the world get affected negatively um you know obviously the Chinese people are not going to be

全球各地都会受到负面影响，嗯，显然如果这种情况发生，中国人不会处于那么有利的位置，但呃，这就是现实，关于正在做的事情和正在采取的行动。所以我们能回到具体问题吗？哪些GPU允许出口，哪些不允许？你能解释一下区别吗？比如，从技术角度来看，H20有前景吗？是的，这涉及到……嗯，H20，你知道美国已经多次迭代了出口管制规则。呃，DeepSeek已经建成了他们的集群，他们声称有2000个，我认为他们实际上比H100拥有更大的内存容量。最近，嗯，我们在研究中，我们切入了视频。

114:34

in as advantageous of a position um if that happens but uh you know this is sort of the reality of

哪些GPU允许出口，哪些不允许？你能解释一下区别吗？比如从技术角度看，H20是不是很有前景？

114:41

like what's being done and the actions that are being carried out so can we go back to the specific

是的，这个嘛……嗯，美国已经对出口管制进行了多次迭代。

114:46

detail of the different hardware there's this nice graphic in the export controls uh of which

关于不同硬件的细节，出口管制里有一张很清楚的图表，标明了哪些GPU允许出口、哪些不允许。你能解释一下区别吗？比如从技术角度看，H20有前景吗？嗯，这个嘛……美国对出口管制已经迭代了好几次。H800在23年一度是允许的，但后来被取消了。而那时候，Deep Sea已经建成了他们声称的2000块集群——我觉得他们实际拥有的可能更多，大概有1万块左右。现在H20是法律允许的芯片。英伟达去年向中国出货了100万块这种芯片。给你个参考，大概是五到四……

114:54

which GPUs are allowed to be exported and which are not can you kind of explain the difference

哪些 GPU 被允许出口，哪些不允许，你能大概解释一下区别吗？

115:00

like is there um from a technical perspective are the H20s promising yeah so this goes uh and I

比如，嗯，从技术角度来看，H20s 有前景吗？对，所以这个就…呃，然后我

115:09

think we'd have to like we need to dive really deep into the reasoning aspect and what's going on

我觉得我们得深入探讨一下推理这个方面，以及背后到底发生了什么。但说到H20，你知道美国已经对出口管制进行了多次迭代对吧。这个H800曾经在23年某个时候是被允许的，但后来被取消了，而那时候字节——你知道，DeepSeek已经建成了他们的集群，他们声称有2000块，但我认为实际上他们拥有的要多得多，大概有1万块左右。而现在这个H20是法律允许的芯片对吧。英伟达去年向中国出货了100万块这种芯片，对吧，作为背景，这大概是——总共是500万到400万块GPU对吧，所以这个专门针对中国的H20在GPU中的占比相当高，对吧，大概20%到25%，差不多20%左右。而这个H20在某种程度上已经被削弱了。

115:14

there but the H20 you know the the US has gone through multiple iterations of the export controls

不过H20那边，你知道美国已经经历了多轮出口管制

115:20

right this H800 was at one point allowed uh back in 23 but then it got canceled and by then bite

这个 H800 在 23 年那会儿一度是允许的，但后来被禁了，而到那时候，DeepSea 已经建好了他们的集群，他们号称有 2000 块，但我估计实际数量要多得多，大概有 10000 块左右。现在这个 H20 是合法允许的芯片。去年英伟达向中国出货了 100 万块这个芯片，给你个参考，大概是 20% 到 25% 左右。这个 H20 在 AI 的三个维度上被阉割了——先不管软件栈和具体架构，只看原始规格：首先是浮点运算，也就是 flops；然后是内存带宽，也就是内存容量和 I/O；最后是芯片间的互联。

115:25

uh you know deep sea could already built their cluster of they claim 2k I think they actually have

嗯，你知道 DeepSea 已经建成了他们的集群，他们声称有 2000 个，我觉得他们实际上的内存容量已经超过 H100 了。最近，我们研究的时候，把视频里的浮点运算次数砍到了 25 个零，就是训练用的浮点运算次数。然后特朗普最近签署了一个命令，大概是 1e26，一旦你达到那个浮点运算次数，再加上混合专家模型，你就可以调整活跃参数和总参数的比例。还有上下文里的所有词，这跟参数本身是两回事。上下文长度之间是相对关联的。我觉得，对，KV 缓存更好，KV 缓存是优化手段之一。嗯，所以注意力机制……

115:29

like many more like something like 10k of those um and now this H20 is the legally allowed chip right

像很多那种，大概一万个左右吧。嗯，现在这个H20是合法允许出口的芯片，对吧。

115:34

in video shipped a million of these last year to China right for context it was like five four

去年他们往中国发了一百万个这种芯片，对吧。作为参考，大概是五到四个左右。

115:38

five million GPUs right so the percentage of GPUs that were this China specific H20 is quite high

五百万块GPU，所以其中专门针对中国的H20占比相当高。对，大概20%到25%左右，差不多20%的样子。这个H20在某个方面被削弱了。AI有三个关键维度——先忽略软件栈和具体架构，只看原始规格：浮点运算能力（也就是FLOPs）、内存带宽（也就是内存容量和I/O），还有芯片间互联。这三者对构建AI系统都极其重要，因为AI系统需要大量计算，也需要频繁搬运数据——无论是到内存还是到其他芯片。所以这三个维度，美国最初其实有多重……

115:44

right um you know roughly 20% 25% right 20% or so um and so this H20 has been neutered in one way

嗯，大概20%到25%吧，差不多20%左右。嗯，所以这个H20在三个方面被阉割了。

115:52

but it's actually upgraded in other ways right and the you know you could think of chips along

但实际上它在其他方面有所升级，对吧。你知道，我们可以从三个维度来思考AI芯片——先忽略软件栈和具体架构，只看原始规格：首先是浮点运算，也就是FLOPs；然后是内存带宽，也就是内存容量和I/O；最后是芯片间的互联带宽。这三个维度对于构建AI系统都极其重要，因为AI系统需要大量计算，也需要频繁搬运数据——无论是到内存还是到其他芯片。所以在这三个方向上，美国最初控制了其中两个维度，而有一个维度没有控制，那就是FLOPs和互联带宽。

115:57

three axes for AI right um you know ignoring ignoring software stack and like exact architecture

针对AI的三个维度，对吧。嗯，先忽略软件栈和具体架构，

116:02

just raw specifications there's floating point operations right flops there is memory bandwidth

只看原始规格：浮点运算，也就是FLOPs；内存带宽，

116:08

i.e. in memory capacity right i.o. right memory and then there is interconnect right chip to chip

也就是内存容量，对吧，I/O，内存；然后还有互连，也就是芯片到芯片的通信。

116:13

interconnections all three of these are incredibly important for making AI systems right because AI

这三个方面对于构建AI系统都极其重要，因为AI系统需要大量算力，也需要频繁搬运内存——无论是到内存芯片还是其他芯片。所以这三个维度上，美国最初在其中一个维度占了60%的份额，但在另外两个维度上表现同样出色。就互联带宽而言，而在内存带宽和内存容量方面，H20比H100拥有更高的内存带宽和更大的内存容量。最近，我们研究团队大幅下调了今年H20的产量预期——原本计划再生产两百万块，所有H20的订单都——因为去年他们已经交付了一百万块，而且还有积压订单。

116:21

systems involve a lot of compute they involve a lot of moving memory around whether it be two memory

系统涉及大量计算，也涉及大量数据搬运，不管是到内存还是到其他芯片，对吧。

116:26

or two other chips right and so these three vectors um the US initially had a multi you know had two

所以这三个维度，美国最初其实有两个……

116:32

of these vectors controlled and one of them not controlled which was flops and interconnect bandwidth

控制这些向量中的一个，另一个没控制，那就是算力和互联带宽。

116:36

were initially controlled um and then they said no no no no we're going to remove the interconnect bandwidth

一开始他们控制了互联带宽，然后又说不行不行不行，我们要去掉互联带宽，只做一个非常简单的、只看算力的芯片。但现在英伟达可以做出一个芯片，嗯，它的算力降低了，大概只有H100的三分之一，在纸面规格上。实际上，真实表现接近一半，甚至可能达到60%。但在另外两个维度上，它表现一样好——互联带宽，以及内存带宽和内存容量。H20的内存带宽和内存容量甚至比H100还要高。最近，我们研究团队大幅削减了英伟达今年H20的产量预期，他们原本计划再生产两百万片。

116:40

and just make it a very simple only flops but now in video can now make a chip that has uh okay it's

然后把它简化成只看算力，但现在英伟达可以造出一款芯片，嗯，好吧，它在算力上削减了——不，你知道的，它在纸面规格上的算力性能大概是H100的三分之一，嗯，实际使用中更接近一半，甚至可能只有60%。

116:45

cut down on flops no it's you know it's like one third that of the H100 right in in in uh on spec

但在另外两个向量上，它表现一样好，嗯，互联带宽方面，然后内存带宽和内存容量方面，H20的内存带宽和内存容量都比H100更高，对吧。

116:52

sheet paper performance for flops um you know in real world it's closer to like half uh or maybe

最近，你知道，我们研究所在今年大幅削减了英伟达H20的产量，他们原本计划再生产两百万片。

116:57

even like 60% of it right but then on the other two vectors it's just as good uh for interconnect

哪怕只有60%的准确率，但在另外两个维度上它表现同样出色——比如互联带宽，而在内存带宽和内存容量方面，H20目前比H100拥有更高的内存带宽和更大的内存容量。最近，我们研究团队大幅削减了今年H20的视频产量，原本他们计划再生产两百万台。这些H20的订单呢，因为去年他们已经出货了一百万台，订单早就排满了，现在全没了。他们为什么要这么做？我觉得很明显：H20在某些任务上其实更优，而那个特定任务就是推理。推理跟模型的不同阶段相比，差别真的非常大。

117:02

bandwidth and then for memory bandwidth and memory capacity the H20 has more memory bandwidth and more

带宽方面，还有内存带宽和内存容量，H20 的内存带宽和内存容量都比 H100 更大。最近，我们研究团队大幅削减了今年 H20 的视频产量——他们原本计划再生产两百万块。这些 H20 的订单呢，因为去年他们已经出货了一百万块，订单早就排满了，现在全没了。他们为什么要这么做？我觉得很明显，对吧？H20 在某些任务上其实更出色，这个任务就是 reasoning。reasoning 跟其他模型模式非常不一样，你看不同的模型 regime 就知道了——它更依赖 interconnect 和 memory，而不是 flops。但说到底，事情就是这样。

117:08

memory capacity than the H100 right now recently you know we we at our research we cut in video's

内存容量比H100更大，最近你知道，我们在研究中，我们在视频里提到过

117:14

production for H20 for this year down drastically they were going to make another two million of those

今年H20的产量大幅下降，他们原本计划再生产两百万片。

117:19

this year but they just canceled all the orders a couple weeks ago um in our view that's because

今年，但几周前他们突然取消了所有订单。嗯，我们觉得这是因为——我们认为他们觉得自己会被限制，对吧？因为，他们为什么要取消所有H20的订单呢？嗯，去年他们出货了一百万台，今年原本还有几百万台的订单，结果全没了，对吧？H20和B20，也就是H20的后续型号，现在全没了。那他们为什么要这么做呢？嗯，我觉得这很明显，对吧？H20在某些任务上其实表现更好，而那个特定任务就是推理，对吧？嗯，推理跟其他模型模式非常不一样，你知道的。预训练完全看算力，对吧？完全看算力。你还会做一些像混合专家模型之类的事情。

117:24

we think that they think they're going to get restricted right um because why would they cancel

我们觉得他们自己认为即将受到限制，对吧？因为如果不是这样，他们为什么要取消所有H20的订单呢？去年他们出货了一百万块，今年本来还有几百万块的订单，结果全没了，连H20的后续型号B20也一起取消了。现在这些订单全都不见了。他们为什么要这么做呢？我觉得很明显，对吧？H20在某些任务上其实表现更好，而那个特定任务就是推理。推理跟其他情况非常不同，你知道，当你观察模型的不同阶段时，预训练完全看算力，完全就是算力。当然也有一些技巧，比如混合训练、降低算力需求，然后更多地依赖互联和内存，但归根结底还是算力。

117:28

all these orders for H20 um because they shipped a million of them last year they had orders in for

这些H20的订单呢，去年他们发了一百万片，订单都已经下了。

117:33

a couple million this year and just gone right for H20 B20 right let's successor H20 and now they're

今年几百万的量，H20和B20直接卖光了，H20的后续型号也是，现在全没了。他们为什么要这么做呢？我觉得很明显，H20在某些任务上其实更优，那个特定任务就是推理。推理跟其他模型阶段非常不一样，你看预训练完全是看flops，核心就是flops。你会做一些像混合、降低flops、更多依赖互联和内存的操作，但归根结底，就像我们聊过的，GPT-4是2e25，也就是2的25次方，25个零，flops，浮点运算次数，用于训练，用于训练。

117:38

all gone now why would they do this right um I think it's it's very clear right the the H20 is

现在全没了，他们为什么要这么做？我觉得很明显，H20其实在某些任务上表现更好，那个特定任务就是推理。

117:44

actually better for certain tasks and that certain task is reasoning right um reasoning is

推理跟其他模型模式非常不同，当你观察不同的模型体系时，它更依赖互连和内存，而不是浮点运算。

117:51

incredibly like different then you know when you look at the different regimes of models right

但说到底，两万五千亿次浮点运算，指的是训练时的浮点运算。

117:56

pre-training is all about flops right it's all about flops there's things you do like mixture

pre-training 本质上就是 flops 的事，对吧，全看 flops。当然你会做一些像 mixture 之类的操作来降低 flops，更多地依赖 interconnect 和 memory，但说到底——就像我们之前聊的，GPT-4 是 2e25，也就是 2 的 25 次方，对吧，后面跟 25 个零——flops，浮点运算次数，用于训练，用于训练。然后 Trump 最近签署又撤销的那个行政令，说一旦你达到 1e26 这个浮点运算次数，就必须通知政府，还必须把结果分享给我们，对吧。你看，flops 是政府历史上一直非常关注的指标，但另外两个维度同样重要，尤其是——

118:01

of experts that we talked about to trade off interconnect or to trade off you know other aspects

我们聊到的那些专家，会权衡要不要牺牲互联带宽，或者牺牲其他方面，降低算力，更多地依赖互联和内存。但说到底，算力才是一切，对吧？我们讨论模型的时候，不就是在说它们用了多少算力吗？比如我们聊到GPT-4是2e25，就是2后面跟25个零，浮点运算次数，用于训练，用于训练对吧。然后我们还在聊2e24、2e25这些限制。美国有个行政令，特朗普最近又签了，内容是：一旦你的浮点运算次数达到1e26，就必须通知政府，还必须把结果分享给我们，对吧？

118:06

and lower the flops uh and and rely more on interconnect and memory but at the end of the day

还有特朗普最近撤销的那道命令，说一旦达到1e26这个浮点运算数，就触发限制。

118:11

it's flops is everything right we talk about models in terms of like how many flops they are right

它的核心就是算力，对吧。我们讨论模型的时候，其实就是在说它们用了多少算力。比如我们之前聊过，GPT-4 大概是 2e25，也就是 2 后面跟 25 个零，浮点运算次数，用于训练。然后我们还在聊那个限制，2e24 还是 2e25 来着。美国有个行政令，虽然特朗普最近又废除了，但内容是：一旦你的浮点运算次数达到 1e26，就必须通知政府，并且把结果共享出来。这确实是个极其重要的指标——算力一直是政府关注的核心维度，但另外两个维度同样关键，尤其是……

118:16

so so like you know we talked about oh GPT-4 is 2e25 right two to the two to the 25th uh you know

就，就，我们聊过GPT-4是2e25对吧，就是2的2的25次方，嗯，你知道的，25个零对吧，FLOP，就是浮点运算，用于训练，用于训练对吧。然后特朗普最近撤销的那个行政令，嗯，就是那个说嘿，1e26，一旦你达到那个浮点运算次数，你必须通知政府，而且你必须把结果分享给我们，对吧，就像这样。所以，这个，这是一个极其重要的指标，FLOP是政府历史上一直关注的向量，但另外两个向量可以说同样重要，对吧，嗯，尤其是推理。所以互连，FLOP仍然很重要，但内存呢，内存对吧？对，没错。我们要快速进入技术细节了，是的，这里面其实有两篇文章。

118:24

two 25 zeros right flop right floating point operations um for training for training right and

两个 25 个零，右浮点，右浮点运算，嗯，用于训练，用于训练，对吧

118:30

we're talking about the restrictions for the uh 2e24 right 25 what are the US has an executive

我们聊的是针对2e24的限制，对吧，25。美国有个行政令，特朗普最近撤销了，但内容是：一旦达到1e26次浮点运算，你必须通知政府，并且必须分享你的结果。对吧，这非常关键——FLOPs一直是政府关注的指标，但另外两个维度同样重要，对吧。尤其是推理能力——我们是否清楚这三个维度中哪个对推理最有利？所以互连呢？FLOPs仍然很重要吗？还是内存？内存，对，没错。我们要快速进入技术细节了。是的，这一集里有两篇文章。

118:35

order that Trump recently unsigned but um which was hey 1e26 once you hit that number of floating point

然后特朗普最近签署但没签的那个命令，嗯，是 1e26，一旦你达到那个浮点运算次数

118:41

operations you must notify the government and we you must share your results with us right like there's

你必须通知政府你的运营情况，并且你得把结果分享给我们，对吧，就像这样。

118:46

a level of model where the US government must be told right and that's 1e26 and so as we move

一个模型级别，达到1e26时，美国政府必须被告知。随着我们向前推进，这是一个极其重要的指标——FLOPs，历史上政府一直关注这个维度，但另外两个维度可以说同样重要，对吧？尤其是当我们进入这个新范式时，世界在过去六个月才刚刚开始了解它——也就是推理。我们是否清楚这三个维度中哪一个最适合推理？那么，互连方面，FLOPs仍然很重要吗？还是内存？内存，对吧？没错，非常好。我们很快就要深入技术细节了。这里面有两篇文章，我可以展示一些图表，可能对你有意思，你可以调出来给听众看。

118:51

forward this is this is an incredibly like important flop is the vector that the government has

说真的，这是一个极其重要的转折点——政府历来关注的就是这个向量，但另外两个向量同样关键，尤其是推理能力。

118:55

cared about historically but the other two vectors are arguably just as important right um and especially

所以互联性仍然很重要，那内存呢？内存，没错，说得好。

119:02

when we come to this new paradigm which the world is only just learning about over the last six

当我们进入这个过去六个月世界才刚刚开始了解的新范式——也就是推理（reasoning）——我们是否清楚这三个维度中哪一个对推理最有利？所以互联性（interconnect）仍然重要吗？还是内存（memory）？对，内存？没错，非常好。我们马上要深入技术细节了。这里面有两篇文章，我可以展示一些图表，可能对听众来说挺有意思的，你可以调出来看看。在讨论KV cache之前，我觉得最好还是先……对，我们需要过一遍很多具体的Transformer技术细节，这样大家更容易理解，因为这非常重要，它改变了模型的工作方式。但我觉得，我觉得……

119:06

months right reasoning and do we understand firmly which of the three dimensions is best for

几个月的推理研究，我们真的清楚这三个维度中哪个对推理最有利吗？所以互联的flop仍然很重要，是内存吗？对，内存，没错，非常好。我们马上要深入技术细节了。对，这一集里其实有两篇文章。在讨论KV cache之前，我觉得最好先……对，我们应该先过一遍很多具体的Transformer技术细节，让听众容易理解，因为这极其重要，它改变了模型的工作方式。但我认为，counts对吧，还有mixture of experts，你可以改变活跃参数和总参数的比例，从而嵌入更多数据但减少flop，但更重要的是，你知道，另一个方面是……

119:12

reasoning so interconnect the flop still matters much is it memory memory right yes excellent

我们马上要深入技术细节了。对，这篇文章里其实包含了两篇内容。

119:19

we're we're going to get into technical stuff fast yeah there's a there's two articles in this one

我们会快速过一遍很多具体的技术点，比如transformer，尽量让听众好理解。

119:23

that I could show maybe graphics that might be interesting for you to pull up off the listeners

我可以展示一些图表，或许你们听众会觉得有意思。KV cache 在我们聊这个之前，我觉得最好还是——对，我们应该先过一遍很多具体的 technical 细节，比如 transformer，这样大家更容易理解。因为这真的非常重要，它彻底改变了模型的工作方式。但我觉得，counts 对吧，还有 mixture of experts，你可以调整 active parameters 和 total parameters 的比例，从而嵌入更多数据但减少 flops。不过更重要的是，你知道，过去几年这场巨大革命的一部分就是 transformer，对吧？还有它 context 里的所有词，对吧？而这一点和 parameters 本身是分开的。

119:27

were looking at the section of oh one inference architecture to economics how do you want to explain

我们正在看o1推理架构到经济学这部分，你想怎么解释？KV cache在我们聊这个之前，我觉得最好还是先——对，我们得先过一遍很多具体的技术细节，关于transformer的，这样大家更容易理解。因为这真的非常重要，它改变了模型的工作方式。但我觉得，先重新理清一下：为什么内存这么关键？因为到目前为止，我们一直在聊参数数量，对吧？还有mixture of experts，你可以调整活跃参数和总参数的比例，来嵌入更多数据，同时减少flops。但更关键的是，你知道，过去几年这场巨大革命的一部分就是transformer，对吧？

119:33

KV cash before we talk about this I think like it's better to okay yeah we should get we need to

KV cache 在我们聊这个之前，我觉得最好还是先过一遍一些具体的技术细节，比如 transformer，这样大家更容易理解，因为这真的非常重要——它改变了模型的工作方式。但我觉得，counts 对吧，还有 mixture of experts，你可以调整 active parameters 和 total parameters 的比例，从而嵌入更多数据但减少 flops。不过更重要的是，你知道，上下文里所有的词对吧，这和参数本身是两回事。上下文长度之间是相对关联的，对吧。我觉得，对，KV cache 更好。KV cache 是其中一种优化，嗯，就是 attention 那块。

119:37

go through a lot of specific technical things this transformers to make this easy for people

因为这极其重要——它改变了模型的工作方式。但我觉得，

119:42

because it's it's incredibly important because this changes how models work but I think I think

对吧，还有混合专家模型（mixture of experts），你可以改变活跃参数与总参数的比例。

119:47

resetting right why is why is memory so important it's because so far we've talked about parameter

重新来一遍。为什么记忆这么重要？因为到目前为止，我们一直在讨论参数数量，对吧，还有混合专家模型——你可以调整活跃参数和总参数的比例，来嵌入更多数据但减少计算量。但更重要的是，你知道，过去几年这场巨大变革的另一个关键部分，就是transformer，对吧，以及它上下文窗口里的所有词。这和参数本身是两回事，对吧。这是你必须计算的东西——上下文长度里的每个token，也就是每个词，彼此之间是如何关联的。而且我觉得，嗯，没错，KV cache，更好的KV cache就是其中一种优化手段。对，注意力机制。

119:53

counts right and mixture of experts you can change how many active parameters versus total parameters

还有混合专家模型，你可以调整活跃参数和总参数的比例

119:57

to embed more data but have less flops but more important you know another aspect of you know what's

嵌入更多数据，但计算量更少，不过更重要的是，你知道，另一个方面就是——所有词在它的上下文里对吧？而这跟参数本身是两回事。上下文长度彼此之间是相对关联的，对吧？而且我觉得，我觉得，我觉得——对，没错，KV cache 更好，KV cache 是其中一种优化手段。对，注意力机制里的上下文长度，也就是你输入到模型里的 token 数量，而 KV cache 实际上就是模型中所有之前 token 的某种压缩表示。所以当你做这个的时候——我们讨论自回归模型——你一次预测一个 token，从某个并行操作开始，所有 token 可以同时被处理，因此你可以……

120:03

part of this humongous revolution in the last handful of years is the transformer right and the

过去几年这场巨大变革的一部分就是transformer，对吧，还有它上下文里的所有词，对吧，这和参数本身是分开的，对吧。上下文长度之间是相对关联的，对吧，而且我觉得，我觉得，嗯，没错，KV cache，更好的KV cache是其中一种优化方式。对，所以注意力机制里，当你做这些矩阵乘法时，你用的矩阵大小取决于上下文长度，也就是你输入模型的token数量。而KV cache实际上就是模型中所有之前token的某种压缩表示。所以当你做这个的时候——我们讨论自回归模型时，你是一次预测一个token，从某个起点开始。

120:07

intention mechanism attention mechanism is that the model understands the relationships between

注意力机制 attention mechanism 就是模型理解它上下文里所有词之间关系的方式，对吧，这和参数本身是两回事。而且这是需要计算的东西，就是每个 token，也就是上下文里的每个词，彼此之间是怎么关联的。我觉得，嗯，对，KV cache 更好，KV cache 是其中一种优化手段。所以 attention 操作有三个核心部分：query、key 和 value，QKV 就是输入到这里的。你看那个公式，会发现这些矩阵是相乘的，而 query、key 和 value 这些词来自信息检索的背景，query 就是你要找的那个东西。

120:12

all the words in its context right and that is that is separate from the parameters themselves right

它上下文里的所有词，对吧，这和参数本身是分开的，对吧

120:18

and that is that is something that you must calculate right how each token right each word in

这就是你必须计算的东西，对吧？每个token，也就是上下文中的每个词，它们之间是如何相互关联的。我觉得，嗯，没错，KV cache，KV cache就是其中一种优化方式。所以，当你做这些矩阵乘法时，你用的矩阵大小取决于上下文长度，也就是你输入模型的token数量。而KV cache本质上是对模型中所有之前token的一种压缩表示。所以，当你做这个的时候——我们讨论的是自回归模型——你一次预测一个token，从某个起点开始生成第一个token，然后对每个token都执行同样的注意力操作。

120:24

the context lent is relatively connected to each other right and and I think I think I think

上下文长度彼此相对关联，对吧，而且我觉得，我觉得，我觉得

120:30

that yeah it's right KV cash better KV cash is one of the optimizations yeah so the attention

对，没错，KV 缓存，更好的 KV 缓存是优化之一，嗯，所以注意力机制

120:34

operator has three core things it's queries keys and values QKV is the thing that goes into this

operator 有三个核心部分：queries、keys 和 values，也就是 QKV，这是输入到模型里的东西。

120:42

you'll look at the equation you see that these matrices are multiplied together these words query key

你去看那个公式，会发现这些矩阵是相乘的，query、key 和 value 这几个词来自信息检索领域，query 就是你要检索的东西，诸如此类。有这些背景知识其实挺有意思的。

120:47

and value come from information retrieval backgrounds where the query is the thing you're trying to

实际上，当你做这些矩阵乘法时，矩阵的大小取决于 context length，也就是你输入到模型里的 token 数量。而 KV cache 本质上是对模型中所有之前 token 的一种压缩表示。

120:52

get the values for and you access the keys and values is reweighting my background's not information

获取这些值，然后你访问键和值，这其实是在重新加权——我的背景信息并不是检索之类的东西，只是有反向链接很好玩。实际上发生的是，当你做这些矩阵乘法时，你用的矩阵大小等于上下文长度，也就是你输入模型的token数量。而KV缓存实际上是模型中所有之前token的某种压缩表示。所以当你做这个的时候——我们讨论的是自回归模型，你一次预测一个token——你从你的提示开始，比如问一个问题：“1825年的总统是谁？”然后模型会生成它的第一个token。对于每一个这样的token，你都在执行相同的注意力操作。

120:58

retrieval and things like this is just fun to have backlinks and what effectively happens is that

所以当你做这个的时候，我们讨论的是自回归模型，你一次只预测一个 token，从某个起点开始。

121:04

when you're doing these matrix multiplications you're having matrices that are of the size of the

当你做这些矩阵乘法的时候，你处理的矩阵大小取决于上下文长度，也就是你输入到模型里的token数量。而KV cache实际上就是模型中所有之前token的一种压缩表示。所以当我们讨论自回归模型时，你是一次预测一个token，一开始是并行操作，所有token可以同时处理。因此，你不仅需要把整个模型读入内存并激活它，去计算生成下一个token，你还得把整个KV cache读进来，然后生成。所以这是一个非并行的操作，而且在这个过程中，你不得不——你知道的——

121:09

context length so the number of tokens that you put into the model and the KV cash is effectively

context length 就是输入到模型中的 token 数量，而 KV cache 本质上是对模型中所有之前 token 的某种压缩表示。所以当你做这件事时——我们讨论的是自回归模型，你一次预测一个 token，从某个并行操作开始，所有 token 可以同时被处理，因此你可以计算它来生成下一个 token。同时我还得读取整个 KV cache 并生成输出，对吧？所以这是一个非并行操作，而且在这种情况下，你需要在 cloud API 中把它加载到 Anthropic API 里并一直保留在那里，但这和另一种情况非常不同——那种情况会持续不断地进行下去，所以 sequence length 实际上就是……

121:14

some form of compressed representation of all the previous tokens in the model so when you you're

某种压缩表示，代表模型中之前的所有 token，所以当你做这个的时候

121:20

doing this we talk about autoregressive models you predict one token at a time you start with whatever

我们讨论自回归模型，你一次预测一个 token，从某个起点开始

121:25

your prompt was you ask a question like who was the president in 1825 the model then is going to

你的提示词是问一个问题，比如“1825年的总统是谁”，然后模型会开始生成第一个token。对于每一个token，你都在做同样的注意力运算，在这个过程中反复使用KV缓存、这个键值操作，你可以不断把新的值追加进去。所以你要一直追踪在这个自回归链条中你之前推理过的值，全程把它们保留在内存里。这在规模化部署推理服务时是一个非常关键的管理问题。这方面有比我专业得多的专家，而且可以深入探讨的细节层次非常多。本质上，注意力运算和transformer的一个关键所谓“缺点”就是存在一种与上下文长度成比例的二次方内存成本。

121:31

generate its first token for each of these tokens you're doing the same attention operator where

生成它的第一个token时，对于这些token中的每一个，你都在执行相同的注意力操作

121:36

you're multiplying these query key value matrices but the math is very nice so that when you're doing

你在把这些查询键值矩阵相乘，但数学上设计得很巧妙，所以当你反复做这个操作时，这个KV缓存、这个键值操作，你可以不断把新的值追加进去。这样你就能一直追踪在这个自回归链条中你之前推理过的值，全程把它保留在内存里。而在大规模服务推理时，管理好这一点非常关键。这方面有比我专业得多的专家，而且细节层面非常多，可以深入探讨。基本上，注意力机制和Transformer的一个所谓的“关键缺点”就是，存在一种与上下文长度成二次方关系的内存成本。所以当你输入更长的提问时，用于完成这个计算所需的内存也会随之增长。

121:43

this repeatedly this KV cash this key value operation you can keep appending the new values to it

这个反复出现的 KV 缓存，也就是 key-value 操作，你可以不断把新的值追加进去。

121:51

so you keep track of what your previous values you were inferring over in this autoregressive chain

这样你就能一直追踪在自回归链条里之前推理过的那些值。

121:56

you keep it in memory the whole time and this is a really crucial thing to manage when serving

它全程都保存在内存里，这在规模化推理服务时是个非常关键的管理点。

122:02

inference at scale there are far bigger experts in this and there's so many levels of detail

这方面有比我专业得多的专家，而且细节层面多到数不清。

122:07

that you can go into essentially one of the key quote unquote drawbacks of the attention operator

基本上，attention 机制和 transformer 的一个所谓“关键缺点”就是：

122:15

and the transformer is that there is a form of quadratic memory cost in proportion to the context

它的内存成本跟上下文长度成二次方关系。

122:21

so as you put in longer questions the memory used in order to make that computation is going up in

所以当你输入更长的提问时，用于计算的内存消耗会上升，但在次二次或线性注意力机制下——比如状态空间模型，我们不需要逐一深入这些——然后注意力机制本身也有创新，让内存使用和长上下文处理能力变得更精准、性能更高。这些创新能帮你应对，我是说，在内存极度受限的情况下，改善内存约束和性能。所以如果你把一整本书输入进去，我觉得Gemini是目前人们用的上下文最长的模型，Gemini以一百万、现在甚至两百万的上下文长度著称。你把一整本书丢进Gemini，它有时能从中提取出事实，但还不完美。

122:27

the form of a quadratic you'll hear about a lot of other language model architectures that are like

你常会听到二次型之外的很多其他语言模型架构，比如次二次型或线性注意力形式，也就是状态空间模型，这些我们不需要全部深入。另外，注意力机制也有创新，能让内存使用和长上下文处理能力更精准、性能更高。这些创新对你很有帮助——我是说，在高度内存受限的情况下，能缓解内存压力并提升性能。所以，如果你把一整本书输入——我觉得Gemini是目前人们用的上下文最长的模型，Gemini以一百万、现在甚至两百万的上下文长度著称——你把整本书丢进Gemini，它有时能从中提取出事实，但并非完美。

122:33

sub quadratic or linear attention forms which is like state space models we don't need to go down

还有次二次或线性 attention 的形式，比如状态空间模型，这些我们不需要全讲。

122:39

all these now and then there's innovations on attention to make this memory usage and the ability

另外 attention 本身也有各种创新，来优化内存使用和推理能力。

122:45

to attend over long contexts much more accurate and high performance and those innovations are

处理超长上下文时，准确度和性能都会高很多，这些创新能帮你解决——我是说，在内存极度受限的情况下，能缓解内存和性能的压力。所以如果你把一整本书塞进Gemini——我觉得Gemini是目前大家用的上下文最长的模型，Gemini以一百万token闻名，现在已经有两百万了——你把整本书丢进Gemini，它有时候能从中提取出事实，但也不是完美的。Token本身就不一样，对吧？原因在于，当你计算整个KV cache的时候——就是那个key-value cache——当你这么做的时候，这是一个并行操作，所有token可以同时被处理，所以你就能够……

122:51

going to help you with I mean your highly memory constraints help with memory constraint and

这能帮到你，我的意思是，你的内存限制非常严格，有助于解决内存约束和性能问题

122:55

performance so if you put in a book into I think a Gemini is the model that has the longest

所以如果你把一本书放进去，我认为Gemini是目前人们使用的上下文长度最长的模型

122:59

context length that people are using Gemini is known for one million and now two million context

Gemini以一百万token的上下文长度闻名，现在更是达到了两百万

123:03

length you put a whole book into Gemini and sometimes it'll draw facts out of it it's not perfect

你把整本书放进Gemini，它有时能从中提取出事实，但并非完美无缺

123:10

they're getting better but the so there's two things it's like one to be able to serve this

它们确实在变好，但这里有两件事：一是要在内存层面支持这一点，Google 的 TPU 堆栈有魔法，能处理非常长的上下文；二是在实际让长上下文性能生效的过程中，沿途还有很多决策。这提供了数据，注意力机制的计算也有细微变化，架构也随之改变。但服务长上下文对内存要求极高，尤其是在做大量预测的时候。我其实不知道为什么输入和输出 token 更贵，但我觉得本质上输出 token 需要做更多计算，因为你得从模型里采样。这个我可以解释——今天如果你用模型，比如看 API 的话。

123:14

on the memory level Google has magic with their TPU stack where they can serve really long contexts

在内存层面，Google 的 TPU 堆栈有魔法，能处理非常长的上下文。

123:19

and then there's also many decisions along the way to actually make long context performance work

而且在实际让长上下文性能生效的过程中，还有很多决策要做。

123:24

that supplies the data there's subtle changes to these computations in attention and it just it

这提供了数据，注意力机制里的计算也有细微变化，这改变了架构。

123:29

changes the architecture but serving long context is extremely memory constrained especially when

但处理长上下文对内存要求极高，尤其是当你做大量预测的时候。

123:35

you're making a lot of predictions I actually don't know why input and output tokens are more expensive

我其实不知道为什么输入和输出 token 更贵，但我觉得本质上输出 token 需要做更多计算，因为你得从模型里采样。

123:41

but I think essentially output tokens you have to do more computation because you have the sample

这个我可以解释。现在如果你用模型，比如看 API，token 的定价是不一样的，对吧？

123:45

from the model I can explain that so today if you use a model like you look at an API

原因在于，当你……当你……当你……

123:50

OpenAI charges you know certain price per million tokens right and that price for input and output

OpenAI 收費是按每百萬個 token 來算的對吧，而且輸入和輸出的 token 價格是不一樣的，原因是這樣的：當你向模型輸入一個查詢時，比如說你有一本書，那本書你必須先計算整個 KV cache，也就是這個 key-value cache。當你這麼做的時候，這是一個並行操作，所有的 token 可以同時被處理，因此你可以大幅降低你的花費。而生成一個 token 和輸入一個 token 所需的 FLOP 其實是完全一樣的——如果我輸入一個 token 或者生成一個 token，本質上完全相同，我都得跑一遍模型。但差別在於，輸入這個過程我可以

123:56

tokens is different right and the reason is is that there is you know when you're when you're when

token是不同的，对吧，原因在于，当你计算整个KV cache时，也就是这个key-value缓存

124:02

you're inputting a query into the model right let's say you have a book right that book you must

你输入一个query到模型里，对吧。假设你有一本书，那本书你必须先计算出整个kv cache。这个key value cache的计算是一个并行操作，所有token可以同时处理，因此你可以大幅降低生成一个token所需的flop开销。输入一个token和生成一个token所需的flop是完全一样的——如果我输入一个token，或者生成一个token，计算量完全一致，都必须经过整个模型。但区别在于，做输入时，我不仅要完整地把整个模型读进内存并激活它、进行计算来生成下一个token，我还必须读取整个kv cache并生成它。

124:06

now calculate the entire kv cache for right this key value cache and so when you do that that

当你这样做时，这是一个并行操作，所有token可以同时被处理，因此你可以

124:11

is a parallel operation all of the tokens can be processed at one time and therefore you can

这是一个并行操作，所有token可以同时处理，因此你可以计算它来生成下一个token。我还必须读取整个KV缓存，然后生成，对吧？所以这是一个非并行操作，而且这个操作需要你——你知道，在云API里，你可以把它加载到Anthropic的API中，并一直保留在那里，但这完全是另一种平衡。这个平衡会一直持续下去，所以序列长度实际上就是——DeepSeek简直是在烧钱。那么，这里有一点，对吧？人们想用它，但他们根本没有足够的GPU来提供服务。OpenAI有几十万块GPU，他们和微软一起用来服务他们的模型，而DeepSeek只有这个数量的一个零头。

124:17

dramatically reduce how much you're spending right the flop requirements for generating a token

大幅降低你在生成一个token时的计算资源需求

124:21

and input token or identical right if I input one token or if I generate one token it's completely

输入token和生成token是完全一样的，对吧？如果我输入一个token，或者生成一个token，过程完全一致，我都得跑一遍模型，对吧？但区别在于，做输入时，我只需要把整个模型读进内存并激活它，然后计算；而要生成下一个token时，我不仅要读整个模型，还得读取整个kv cache，然后才能生成。所以这是一个非并行的操作，而且在这种情况下，如果你在运营一家公司，并且要反复把同样的初始内容传给云端API，你可以把它加载到Anthropic的API里，一直保留在那里，但这和之前的情况完全不同。

124:27

identical I have to go through the model right but the difference is that I can do that input iE the

完全一样，我必须遍历整个模型对吧，但区别在于，我不仅要读取整个模型到内存中并激活它，计算它来生成下一个 token，我还必须读取整个 kv cache 并生成输出。所以这是一个非并行的操作，而且如果你在运营一家公司，并且要反复把同样的初始内容传给云端 API，你可以把它加载到 Anthropic API 里并一直保留在那里，但这完全是另一种平衡——它会一直持续下去，所以序列长度实际上就是你输入到 prompt 里的内容。而这张图展示的是，这是一个对数坐标图。

124:32

pre-fill iE the prompt simultaneously in a in a batch nature right and therefore it is all flop

pre-fill 阶段可以以 batch 的方式同时处理 prompt，所以它完全是并行的。

124:38

I think the pricing model mostly they they use is for input tokens is about one fourth the price

我觉得他们的定价模型主要是：input tokens 的价格大约是 output tokens 的四分之一，对吧？

124:43

of the output token correct but then output tokens the reason why it's so expensive is because I

但 output tokens 之所以这么贵，是因为它没法并行处理——它是自回归的。每次生成一个 token，我不仅要读取整个模型到内存里并激活它、计算它来生成下一个 token，我还得读取整个 KV cache，然后生成一个 token，再把这个 token 和它的 KV cache 追加进去，然后再重复这个过程。

124:47

can't do in parallel right it's autoregressive every time I generate a token I must not only take the

所以这是一个非并行的操作，而且你必须——你知道的——

124:53

entire I must not only read the whole entire model into memory right and activate it right go

我必须不仅要把整个模型完整读入内存并激活它，进行计算以生成下一个token，还必须读取整个KV缓存并生成结果。因此这是一个非并行的操作，在云端API中，你可以把它加载到Anthropic的API里并一直保留在那里，但这与持续运行的平衡完全不同，序列长度实际上就是你输入到prompt中的内容。所以这张图展示的是——这是一个对数坐标图——序列长度被限制，或者说你可以服务的用户数量。这里展示的是针对一个405B模型，batch size为64，Llama 3 145B，没错，batch size本质上至关重要。

124:58

calculate it to generate the next token I also have to read the entire kv cache and I generate

计算它来生成下一个token，我还得读取整个kv cache，然后生成

125:02

a token and I append that kv that one token I generated and it's kv cache and then I do it again

一个token，然后我把那个KV追加进去，就是我生成的那个token和它的KV缓存，然后再重复这个过程。对，所以这本质上是一个非并行操作，而且这个操作中，你不得不——如果你在运营一家公司，并且你要反复把同样的初始内容传给cloud API，你可以把它加载到Anthropic API里，一直保留在那里，但这跟我们接下来要聊的推理模型非常不同。我们之前展示过这个例子，也读过一些那种含糊不清的内容，关键问题是输出上下文长度变得非常长。而且，我从Dylan的工作中学到了很多，这本质上就是内存消耗的问题——在我们现有的GPU上，你基本上会耗尽内存。

125:07

right and so therefore this is a non parallel operation and this is one where you have to you know in

对，所以这是一个非并行操作，在这个操作中你必须，你知道，要

125:13

in the case of pre-fill or prompt you pull the whole model in and you calculate 20,000 tokens at once

在 pre-fill 或 prompt 的情况下，你会把整个模型拉进来，一次性计算两万个 token。

125:19

right so these are features that APIs are shipping which is like prompt prompt prompt caching

对，这些就是 API 正在推出的功能，比如 prompt prompt prompt 缓存。

125:24

pre-filling because you can drive prices down and you can make APIs much faster if you know you're

pre-filling 可以压低价格，也能让 API 快很多——如果你经营一家公司，并且要反复向云端 API 传递同样的初始内容，你可以把它加载到 Anthropic API 里，让它一直保留在那里。但这跟我们之前聊到的 reasoning 模型很不一样，我们之前展示过这个例子，还读了一些那种含糊不清的内容，关键在于输出上下文长度要高得多。而且，我很大程度上是从 Dylan 的工作中学到这一点的，本质上就是……

125:28

going to keep if you run a business and you're going to keep passing the same initial content to

如果你在经营一家公司，并且你打算反复把同样的初始内容传给云端API，你可以把它加载到Anthropic的API里，然后一直保留在那里，但这完全是另一种平衡。这个消耗会一直持续、持续、持续，所以序列长度实际上就是你输入到prompt里的内容。这张图展示的是——这是一个对数坐标图——序列长度是有上限的，或者说你可以同时服务的用户数量是有限的。所以这里展示的是针对一个405B的模型，batch size是64，Llama 3 145B，对。batch size非常关键，基本上决定了你能同时处理多少用户，对吧？对，所以你的服务成本就更低，因为服务器成本是一样的，对吧？这是8张H100，大概每张GPU每小时2美元，也就是每小时16美元，就是这样。

125:33

cloud API you can load that in to the anthropic API and always keep it there but it's very different

cloud API 你可以把它加载到 anthropic API 里，然后一直放在那里，但这非常不同

125:39

than we're kind of leading to the reasoning models which we talked we showed this example earlier

这就引向了推理模型，我们之前展示过这个例子

125:43

and read some of this kind of mumbling stuff and what happens is that the output context length

还读了一些那种含糊不清的内容，问题在于输出上下文长度

125:50

is so much higher and I mean I learned a lot about this from Dylan's work which is essentially

变得非常长，我从Dylan的研究中学到了很多，本质上就是

125:54

as the output work length gets higher you're using this you're writing this quadratic in terms of

随着输出工作长度增加，你实际上是在用二次方的方式计算内存使用量，而我们现有的GPU，最终内存会不够用。而且它们还要同时处理多个请求，所以在批量处理过程中，并不是所有提示词都完全一样，这就涉及非常复杂的处理逻辑。随着上下文长度越来越长，会出现一个你称之为“关键批量大小”的点，也就是你服务更多用户的能力——你能并行处理的程度——会大幅下降，因为长上下文导致内存使用量急剧上升。再加上这些推理模型，你仍然有很多用户，所以实际上服务成本会成倍增加。我们看一张图，x轴是序列长度。

125:58

memory used and then the GPUs that we have effectively you're going to run out of memory and they're

内存使用的问题，而我们现有的GPU，最终会耗尽内存

126:05

all trying to serve multiple requests at once so during this batch processing we're not all the

大家都在尝试同时处理多个请求，所以在批处理过程中，我们的提示词并不完全相同，处理逻辑非常复杂。而且随着上下文长度越来越长，就会出现一个你称之为“临界批大小”的东西——你服务更多用户的能力，也就是你能多大程度并行化你的推理，会急剧下降，因为这种长上下文导致你的内存使用量飙升，尤其是在这些推理模型上。同时你还有大量用户，所以实际上服务成本会成倍增加。我们看一张图，x轴是序列长度（token数），但你知道，如果我输入“天空是蓝色的”，那大概就是六个token。我想说的是，我们所谓的推理和思维链，实际上就是在延长这个序列长度。

126:09

prompts are exactly the same really complex handling and then as context lengths gets longer there's

这些prompt完全一样，处理起来非常复杂，而随着上下文长度增加

126:14

this like I think you call it critical batch size where your ability to serve more users so how much

会出现一个你称之为关键批处理大小的点，这时你服务更多用户的能力——

126:21

you can paralyze your influence influence plummet because of this long contracts your your memory

也就是你能并行处理推理的程度——会急剧下降，因为这种长上下文导致内存使用量

126:26

usage is going way up with these reasoning models and you still have a lot of users so effectively

大幅上升，尤其是在这些推理模型上，而用户数量依然很多，所以实际上

126:31

the cost to serve multiplies by a ton and we're looking at a plot when the x-axis is a sequence length

服务成本会成倍增加，我们看到的图里x轴是序列长度。

126:39

i.e. how many tokens are being generated slash prompt right so if I put in a book that's a million

比如，输入了多少个token，也就是提示词加生成的内容。如果我输入一本有一百万个token的书，但你知道，如果我输入“天空是蓝色的”，那大概就是六个token之类的。我认为我们所说的推理和思维链，其实是在扩展这个序列长度，主要是输出部分。所以，三个月前，当o1刚推出的时候，所有长上下文的使用场景都是：我放进去一大堆文档，然后得到一个答案，对吧？这基本上是一次性并行完成预填充计算，然后输出一点点内容。但现在，有了推理和智能体，这个概念完全不同了。现在，我可能只有“嘿，完成这个任务”这样的指令，或者我可能有所有这些文档，但最终，模型是……

126:45

tokens right but you know if I put in you know the sky is blue then that's like six tokens or whatever

token嘛，但你知道，如果我输入“天空是蓝色的”，那大概就是六个token之类的。

126:49

I would say that what we're calling reasoning and chain of thought is extending this sequence length it's

我觉得我们所谓的推理和思维链，其实就是在延长这个序列长度——

126:55

mostly output so so before you know three months ago whenever o1 launched all of the use cases for

大部分输出都一般般，直到三个月前 o1 发布的时候，所有关于长上下文长度的用例都变成了“我塞一堆文档进去，然后直接得到一个答案”，对吧？就是那种一次性并行填充大量内容，然后输出一点点。现在有了 reasoning 和 agents，这个思路就完全不同了。现在呢，我可能只有“嘿，做这个任务”，或者我可能有所有这些文档，但归根结底，模型会一直推理下去，不停地跑啊跑啊跑，所以序列长度实际上就是——如果它生成了 10,000 个 token，那就是 10,000 的序列长度，对吧？再加上你输入到 prompt 里的内容。所以这张图展示的是——而且这是一个对数坐标图。

127:00

long context length we're like let me put a ton of documents in and then get an answer out right and

长上下文长度就像，我把一大堆文档塞进去，然后等一个答案出来对吧？

127:05

it's a it's a single you know pre-fill computer lot in parallel and then output a little bit now with

这本质上就是一个预填充计算，大量并行处理，然后输出一点点内容。

127:12

reasoning and agents this is a very different idea right now instead I might have I might only have

但现在有了推理和智能体，这个概念就完全不同了。

127:17

like hey do this task or I might have all these documents but at the end of the day the model is

现在可能我只是说“嘿，做这个任务”，或者我有一大堆文档，但最终模型会一直跑下去、跑下去、跑下去，所以序列长度实际上就……

127:21

not just like producing a little bit right it's producing tons of information the chain of times of

不只是生成一点点内容，而是产生海量信息，整个链条不断延续、持续下去。所以序列长度实际上就是——如果它生成了10,000个token，那序列长度就是10,000，再加上你输入的prompt。这张图展示的是（而且是对数坐标），当你从1k增长到4k，或者从4k增长到16k时，你的kv cache的内存需求增长得非常快，导致你无法运行一定数量的——你的序列长度会被限制，或者你能同时服务模型的人数会受限。这里展示的是405b模型、batch size为64的情况，Llama 3 145b，没错。batch size本质上对……至关重要。

127:25

balance just continues to go and go and go and go and so the sequence length is is effectively

平衡就这样一直持续下去，所以序列长度实际上就是

127:30

that that you know if it's generated 10,000 tokens it's 10,000 sequence length right or and plus

你知道，如果它生成了10,000个token，那就是10,000的sequence length，对吧，再加上你输入到prompt里的内容。所以这个图表展示的是——它是一个对数图表——对于你的KV cache来说，最终你会发现你没法跑某个数量的，嗯，你的sequence length被限制了，或者你能同时服务的用户数量被限制了。所以这里展示的是对于一个405b模型，batch size是64，Llama 3 145b，对。batch size很关键，基本上决定了你能同时服务多少用户，对吧，因此你的serving成本就更低，因为服务器成本是一样的。这是8张H100，大概每小时每张GPU两美元，那就是每小时16美元，对吧。这算是一个固定成本，当然你可以想办法降低，但基本上就是16美元一小时。

127:35

whatever you input it in the prompt and so what this chart is showing and it's a logarithmic chart

无论你输入什么提示词，这个图表展示的是——这是一个对数坐标图

127:40

is you know as you grow from 1k to 4k or 4k to 16k the memory requirements grow so fast

你知道，从1k扩展到4k，或者从4k到16k，内存需求增长得非常快，尤其是对于你的kv cache，导致你最终无法运行一定数量的——你知道，你的序列长度会被限制，或者你能同时服务的用户数量也会受限。所以这里展示的是，对于一个405b模型，batch size为64，Llama 3145b，没错，batch size其实很关键，它决定了你能同时服务多少用户，对吧？然后你的服务成本就会更低，因为服务器成本是固定的，对吧？这是8张H100，大概每张GPU每小时2美元，也就是每小时16美元。这算是一个固定成本，当然你可以想办法降低，但基本上就是每小时16美元。那么问题就是，你能服务多少用户？能生成多少token？然后你把这两个数一除就清楚了。

127:49

for your kv cache that you end up not being able to run a certain number of you know your

对于你的 KV 缓存来说，最终会导致你无法运行一定数量的——你知道的——序列长度会被限制，或者你能服务的用户数量也会受限。所以这里展示的是，对于一个 405B 模型，batch size 为 64，Llama 3 145B 对吧，batch size 本质上决定了你能同时服务多少用户，没错。因此你的推理成本会更低，因为服务器成本是固定的，对吧？这里是 8 张 H100，大概每张 GPU 每小时 2 美元，也就是每小时 16 美元。这算是一个固定成本，当然你可以想办法降低它，但差不多就是 16 美元。然后你处理完请求，得到答案，就把它丢掉，对吧？接着处理下一个任务。但在推理场景下，我现在需要连续生成成千上万个 token。

127:55

sequence length is capped or the number of users you can say the model so this is this is showing

序列长度被限制，或者说你可以说模型服务的用户数量，所以这里展示的是

127:59

for a 405b model and batch size 64 llama 3145b yeah and batch size is crucial to essentially they

对于一个405b模型，批次大小64，llama 3145b，没错，批次大小非常关键，基本上它们

128:06

just like you want to have higher batch size to parallelize parallel your through 64 different

就像你想用更大的batch size来并行处理64个不同用户一样，对吧？这样你的服务成本就更低了，因为服务器成本是一样的。这是8块H100，大概每块GPU每小时2美元，也就是每小时16美元。这算是一种固定成本，当然你可以想办法降低它，但差不多就是每小时16美元。现在你能服务多少用户、生成多少token，然后把这两个数一除，就是你的成本。所以对于推理模型来说，这就是很多复杂问题出现的地方，也是内存如此重要的原因——因为如果你内存有限，你就没法服务那么多用户；如果你内存有限，你的服务速度也会变慢，对吧？

128:12

users at once right yeah and therefore you're serving costs are lower right because the server cost

同时服务很多用户，对吧，所以你的服务成本就更低，因为服务器成本是一样的。8块H100大概每小时2美元一个GPU，那就是每小时16美元。所以这并不一定意味着用DeepSeek应用或ChatGPT应用的人更多，但这仍然很了不起。Claude从来没有登顶过应用商店第一名，尽管他们花了那么多钱，因为他们是唯一拥有这种能力的公司。他们需要那笔钱吗？他们确实在用那笔钱吗？显然他们作为一家公司在亏钱，因为他们在其他所有事情上花了太多钱。所以是的，他们需要那笔钱，因为收入和利润要用来支付这些。而DeepSeek简直是在疯狂烧钱。那么，这里有一点——

128:15

the same right this is 8 h 100s roughly $2 an hour per GPU that's $16 an hour right that is that is

是一样的，这是8张H100，大约每小时每张GPU 2美元，也就是每小时16美元，没错

128:22

like somewhat of a fixed cost you can do things to make it lower of course but like it's like $16 an

有点像固定成本，当然你可以想办法降低它，但大概就是16美元左右。

128:26

hour now how many users can you serve how many tokens can you generate and then you divide the two

现在来算一下，你能服务多少用户？能生成多少 token？然后把这两个数一除就明白了。

128:30

and that's your cost right and so with reasoning models this is this is where a lot of the complexity

这就是你的成本所在。对于推理模型来说，这正是大量复杂性的来源，也是内存如此重要的原因——因为如果你的内存有限，你就无法服务那么多用户；如果你的内存有限，你的服务速度就会变慢，对吧。比如我在跑 Llama 405B，或者我在跑 Deep Seek V3，而且都是聊天类的应用场景，也就是说我们只是在聊天，序列长度也就几千个 token，对吧。你知道用语言模型的时候，大多数情况下上下文长度也就几千，有时候你会丢进去一个大文档，但处理完拿到答案就扔掉了，对吧，然后你就继续做下一件事。但推理模型就不一样了，我现在要连续生成几万个 token 的序列。

128:36

comes about and why memory is so important because if you have limited amounts of memory then you

这就涉及到为什么内存这么重要——因为如果你内存有限，能服务的用户数量就上不去；内存不够，服务速度也会变慢，对吧？

128:41

can't serve so many users if you have limited amounts of memory your serving speeds get lower right

比如我在跑 llama 405b，或者我在跑 deep seek v3，而且都是聊天类的应用场景——

128:46

and so your cost get a lot lot worse because all of a sudden if I was used to hey on this $16 an hour

所以你的成本会变得非常非常高，因为突然之间，如果以前我习惯了，嘿，在这台每小时16美元的服务器上，我跑的是llama 405b，或者我跑的是deep seek v3，而且都是聊天类的应用——也就是说我们只是在聊天，序列长度也就几千个token，对吧？你平时用语言模型的时候，大多数情况下上下文长度也就几千，有时候你会丢进去一个大文档，但处理完拿到答案就扔掉了，对吧？然后你就继续下一个任务了。但推理就不一样了，我现在要连续生成几万个token，对吧？所以这个内存、这个KV Cache必须一直保留着，你得不停地加载，得让它一直留在内存里，这样一来就会挤掉其他用户，对吧？如果现在有一个推理任务在跑的话。

128:52

server I'm serving llama 405b or if I'm serving you know deep seek v3 and it's all chat style applications

也就是说，我们只是在聊天，序列长度大概就几千个 token，对吧？你用语言模型的时候，大多数情况下上下文长度也就几千个 token，有时候你会丢进去一个大文档，

128:59

i.e. we're just chatting the sequence length are thousand few thousand right you know when you use

但处理完之后拿到答案，就把它扔掉了，对吧？然后继续处理下一个任务。

129:04

the language models a few thousand context length most times sometimes you're dropping a big document

而推理模型就不一样了，我现在要连续生成几万个 token，对吧？

129:08

but then you process it you get your answer you throw it away right you you move on to the next

然后你处理完，得到答案，就把它扔掉了对吧，接着处理下一个任务。

129:11

thing right whereas with reasoning I'm now generating tens of thousands of tokens in in sequence right

但推理就不一样了，我现在要按顺序生成几万个token对吧。

129:18

and so this this memory this kvcash has to stay resonant and you have to keep loading you have to keep

所以这个 memory，这个 KV cache 必须保持活跃，你得不停地加载，一直把它留在 memory 里。这样一来，就会挤掉其他用户，对吧？如果现在有了 reasoning，我就没法同时服务那么多用户了。我们再深入聊聊 Deep Seek。我觉得我们现在已经进入了 post Deep Seek R1 时代，市场观察有两个方面：一方面，看它部署起来有多难；另一方面，我们要聊聊 Deep Seek 他们自己。他们现在有个 chat app，已经冲到 App Store 第一了。不过要说明一下，App Store 的第一名是按下载速度来算的，所以不一定意味着 Deep Seek 的 app 用户比 ChatGPT 多，但这仍然很了不起。Claude 从来没拿过 App Store 第一，哪怕所有人都觉得它很厉害。

129:22

it keep it in memory constantly and now this butts out other users right if there's now a reasoning

它一直保存在内存里，现在这就会挤掉其他用户，对吧？如果现在有了推理过程，我就没法同时服务那么多用户了。我们再深入聊聊DeepSeek吧，我觉得现在已经进入了后DeepSeek R1时代。市场观察有两个方面：一方面看服务它有多难；另一方面我们要聊聊DeepSeek自己——他们现在有个聊天应用，冲到了App Store第一名。不过要说明一下，App Store的第一名是按下载速度来算的，所以不一定意味着DeepSeek应用的用户比ChatGPT多，但这仍然很了不起。Claude从来没拿过App Store第一，哪怕所有人都……而DeepSeek的API大部分几乎没法用，吞吐量也特别低，就这么说吧。

129:27

task right and the models capable of reasoning then all of a sudden it that memory pressure means

任务正确，模型具备了推理能力，然后突然之间，那个内存压力意味着我无法同时服务那么多用户。我们再深入聊聊DeepSeek。我认为我们现在处于后DeepSeek R1时代，市场对此有两个观察角度。一方面，我们讨论的是服务它有多难；另一方面，我们要谈谈DeepSeek自己——他们现在有一款聊天应用，冲到了App Store第一名。声明一下，App Store的第一名是按下载速度来衡量的，所以这不代表用DeepSeek应用的人一定比ChatGPT多，但这依然很了不起。Claude从来没拿过App Store第一，哪怕旧金山人人都说“天哪你一定要用Claude，别用ChatGPT”。所以DeepSeek做到了这一点。

129:34

that I can't serve as many users simultaneously let's go into deep seek again so we're in the

导致我无法同时服务那么多用户。我们再深入聊聊DeepSeek吧。我们现在处于后DeepSeek R1时代，我认为市场上有两股力量在观察服务难度。一方面，我们要谈谈DeepSeek本身——他们现在有一款聊天应用，冲到了App Store第一名。声明一下，App Store的第一名是按下载增速来衡量的，所以不一定意味着DeepSeek应用的用户比ChatGPT应用多，但这依然很了不起。Claude从未登顶过App Store，尽管每个人都在用……而DeepSeek的API，大部分几乎无法正常工作，吞吐量非常低。至于训练端，为什么它这么便宜？为什么推理端表现良好？这就是原因。

129:39

post deep seek r1 time I think and what we're there's two sides to this market watching how hard it

在Deep Seek R1发布之后，我觉得，这个市场有两面性——一方面看服务它有多难，另一方面我们也会聊聊Deep Seek他们自己。他们现在有一个聊天应用，冲到了App Store第一名。

129:45

is to serve it on one side we're going to talk about deep seek themselves they now have a chat app

免责声明一下：App Store的第一名是按下载速度来算的，所以不一定意味着用Deep Seek应用的人比用ChatGPT应用的人多，但这依然很了不起。

129:50

that got to number one on the app store disclaimer number one of the app store is measured by velocity

Claude从来没有拿过App Store第一，哪怕每个人都在用。

129:55

so it's not necessarily saying that more people have the deep seek app the chat gpt app but it is

所以这并不一定意味着有更多人使用deep seek应用或chat gpt应用，但这仍然

130:00

still remarkable clawed has never hit the number one of the app store even though everyone in

很了不起，clawed从未在应用商店登顶过第一，尽管每个人

130:03

San Francisco is like oh my god you gotta use call it don't use chat gpt so deep seek hit this

旧金山那边简直疯了，都在说“你必须用这个，别用ChatGPT了，DeepSeek才是王道”。

130:07

they also launched an api product recently where you can ping their api and get these super long

他们最近也推出了一款API产品，你可以调用他们的API，获得这些超长的

130:12

responses for r1 out in at the same time as these are out we'll get to what's happened to them

R1回复。与此同时，我们也会聊聊它们发生了什么，因为Deep Seek R1的模型权重是公开可用的，而且许可证非常友好——

130:19

because the model weights for deep seek r1 are openly available and the license is very friendly

目前是MIT许可证。所有这些中型公司和大型公司都在争相成为第一个为用户提供R1服务的平台，而我们也在尝试评估R1，因为我们自己也有非常类似的研究正在进行。发布模型后，我们试图与它进行对比，而在所有所谓“提供R1服务”的公司中，它们的定价远高于Deep Seek的API，大多数几乎无法正常工作，而且吞吐量非常低。

130:24

the MIT license currently available all of these midsize companies and big companies are trying to

MIT许可证现在公开可用，所有那些中型公司和大型公司都抢着要第一个把R1推给他们的用户。

130:29

be first to serve r1 to their users and we were trying to evaluate r1 because we have really

我们当时也在评估R1，因为我们有非常类似的研究在进行，模型发布后我们想跟它做对比。

130:35

similar research going on release the model and we're trying to compare to it and out of all the

在所有那些号称“提供R1服务”的公司里，他们定的价格比DeepSeek API高得多，但大多数根本跑不起来，吞吐量也特别低。

130:40

companies that are quote unquote serving r1 and they're doing it at prices that are way higher

再说另一个方面，他们做得太便宜了，对吧。这个“太便宜”我们之前在训练侧聊过为什么这么便宜，至于推理侧为什么也这么便宜而且效果还不错——

130:46

than the deep seek api most of them barely work and the throughput is really low to give to give

比 deep seek API 差远了，大部分根本跑不起来，吞吐量也特别低。

130:51

context right everyone one of the parts of like freaking this out was like China reached capabilities

好，各位，这次让大家震惊的一点是，中国确实达到了这种能力水平。另一个方面是，他们做得这么便宜，对吧？这个“便宜”我们在训练侧已经聊过一些，为什么这么便宜，以及为什么在推理侧也表现得好、成本低。那为什么R1这么便宜？我觉得有几个因素。第一，他们在模型架构上确实有创新，这个MLA，他们搞的这种新的注意力机制，跟《Attention Is All You Need》里那种transformer注意力不一样。现在其他人也已经做了很多创新，比如MQA、GQA、local global这些不同的尝试，都是为了把曲线压下来——虽然还是二次方的复杂度，但常数项已经变了。

130:56

the other aspect is they did it so cheap right and the so cheap we kind of talked about on the

另一个方面是，他们做得这么便宜，对吧。这个“这么便宜”我们在训练侧已经聊过一些，为什么它这么便宜，以及为什么在推理侧也这么高效。这其实是模型架构上的创新，对吧。这个MLA，他们搞的一种新的注意力机制，跟《Attention Is All You Need》里那个transformer的注意力是不一样的。现在其实已经有很多人在这个方向上做了创新，比如MQA、GQA、local global这些不同的方法，都是在试图把那条曲线压下来。虽然它本质上还是二次的，但常数项已经降了很多，注意力机制现在占了80%到90%的内存，这对长上下文尤其有帮助。跟原始的相比，它已经降到了80%到90%，但就算跟现在大家实际在用的方案比，它依然算得上是一个创新。

130:59

training side why it was so cheap about why it's so cheap on the inference works well and it's

训练侧为什么这么便宜，推理侧为什么效果好，这跟 attention 机制有关。

131:05

cheap why is r1 so damn cheap so I think there's a couple factors here right one is that they do have

便宜，为什么r1这么便宜？我觉得有几个因素。第一，他们在模型架构上确实有创新，这个MLA，他们新做的这种注意力机制，跟《Attention Is All You Need》里的transformer注意力不一样。现在其他人也已经有了创新，比如MQA、GQA、local global这些不同的改进，都在试图改变这个曲线。虽然复杂度还是二次的，但常数项已经降下来了，注意力机制的内存占用减少了80%到90%，这对长上下文尤其有帮助。相比原始版本是80%到90%，但跟人们实际在用的相比，这仍然算是一个创新。不过这个80%到90%不是说整个模型便宜了80%到90%，只是其中一部分。

131:12

model architecture innovations right this MLA this a new attention that they've done is set is

模型架构上的创新，就是这个MLA，他们搞出了一种新的注意力机制，跟《Attention Is All You Need》里那种transformer注意力不一样。现在其他人也有创新，比如MQA、GQA、局部全局注意力这些不同的尝试，都是为了把曲线压下来。虽然还是二次方的复杂度，但常数项已经降了80%到90%，这部分内存消耗来自注意力机制，尤其在长上下文场景下效果明显。跟原始版本比是80%到90%的改进，但跟现在大家实际在用的方案比，它仍然算得上创新。其他人也能部署这个模型来提供服务，所以这里有两个因素：他们的模型在做推理的时候，毛利率超过75%，就是这么个情况。

131:18

different than the attention from attention is all you need to transform our attention right now

跟“Attention is all you need”里那个 transformer attention 不一样。

131:23

others have already innovated there's a lot of work like mqa gqa local global all these different

现在别人已经做了很多创新，比如 MQA、GQA、local global 这些不同的方法。

131:28

innovations that like try to bend the curve right it's still quadratic but the constant is now

这些方法都在试图弯曲那条曲线，虽然还是二次复杂度，但常数项已经降了很多。

131:33

smaller right related to our previous discussion this multi head latent attention can save about

刚才聊到的那个多头潜在注意力机制，相比原始版本能节省大约80%到90%的注意力机制内存，尤其在长上下文场景下效果明显。但注意，这80%到90%不是说整个模型便宜了这么多，只是其中一部分。而且不止如此，其他人也实现过像全局滑动窗口、GQA之类的技术，但不管怎样，DeepSeek的注意力机制是真正的架构创新，做了大量实验，大幅降低了内存压力。当然它本质上还是注意力机制，还是二次复杂度，只是优化了很多。

131:39

80 to 90% in memory from the attention mechanism which helps especially along context it's 80 to 90

attention 机制现在能节省 80% 到 90% 的内存，尤其在长上下文场景下效果明显。

131:45

percent versus the original but then versus what people are actually doing it's still an innovation

跟原始版本比是 80% 到 90% 的节省，但跟现在别人实际在用的方案比，这仍然算是一个创新。

131:49

this 80 to 90 percent doesn't say that the whole model is 80 to 90 percent cheaper just as one

这个80%到90%并不是说整个模型便宜了80%到90%，只是其中一个方面。

131:54

part of it well and not just that right like other people have implemented techniques like

一部分做得不错，而且不止如此，其他人也实现了一些技术，比如全局滑动窗口和GQA之类的，但不管怎样，DeepSeek的注意力机制是真正的架构创新，经过了大量实验，这极大地降低了内存压力——它仍然是注意力机制，仍然是注意力，我应该说清楚，以防有人不知道。R1比o1便宜27倍，我们认为OpenAI之前有很高的利润空间。所以这里有多重因素，我们应该拆解一下。我认为R1每百万token输出是2美元，而o1是60美元每百万token输出。对，我们来看看这个。所以我认为这一点非常重要，OpenAI是……

131:57

global global sliding window and gqm q a that but anyways like deep seek has their attention

global global sliding window和GQM QA之类的，但不管怎样，像Deep Seek的注意力机制确实是一个真正的架构创新，做了大量实验，这大大降低了内存压力。

132:02

mechanism is a true architectural innovation the tons of experimentation and this dramatically

不过压力还是存在的，对吧？它仍然是quadratic，仍然是attention机制。

132:08

reduces the memory pressure it's still there right it's still a quadra it's still attention it's

我应该说清楚，以防有人不知道，R1比O1便宜27倍。

132:12

still quadratic it's just dramatically reduced it relative to prior forms right that's the memory

仍然是二次的，只是相对于之前的形式大幅降低了，对吧，那是内存压力。我得说清楚，以防有人不知道，r1比o1便宜27倍。我们认为OpenAI的定价里包含了很大的利润空间。所以这里有好几个因素，我们来拆解一下。我认为r1的输出价格是每百万token两美元，而o1是每百万token六十美元。对，我们来看看这个。所以我认为这一点非常重要，对吧，OpenAI和DeepSeek之间的定价差距巨大，但DeepSeek把同样的模型以开源权重的方式提供给所有人，价格远低于其他人能提供的服务。所以这里有两个因素：他们的模型是……

132:17

pressure I should say in case people don't know r1 is 27 times cheaper than oh one we think that

我们认为OpenAI之前有很高的利润空间。

132:25

open AI had a large margin built in okay so there's multiple factors we should break down the

所以这里面有多个因素，我们应该拆解一下。

132:30

factors I think it's two bucks per million token output for r1 and 60 dollars per million token

我觉得R1是每百万token输出2美元，而O1是每百万token输出60美元。

132:38

output for oh one yeah let's look at this so so I think this is very important right open AI is

对，我们来看看这个。所以我认为这一点非常重要，对吧？OpenAI是……

132:46

you know that drastic gap between deep seek and pricing but deep seek is offering the same model

你知道Deep Seek和定价之间那个巨大的差距，但Deep Seek提供的是同样的模型，因为他们把权重开源给了所有人，价格却比其他人能提供的服务低得多。所以这里有两个因素：他们的模型在做推理时，毛利率超过75%，这本身就带来了四到五倍的成本差异。而Open AI之所以能赚得盆满钵满，是因为他们是唯一拥有这种能力的公司。他们需要那笔钱吗？他们确实在用，但作为一家公司，他们显然在亏钱，因为他们在其他方面投入太多。所以是的，他们需要那笔钱，因为收入和利润在支撑着一切。

132:52

because they open weights it to everyone else for a very similar like much lower price than what

因为他们把权重开源给了所有人，价格比其他人能提供的要低得多。所以这里有两个因素：他们的模型在做推理时，毛利率超过75%，这意味着成本差异有四到五倍。OpenAI之所以赚得盆满钵满，是因为他们是唯一具备这种能力的公司。他们需要这笔钱吗？确实需要，因为他们作为一家公司显然在亏损，毕竟在其他方面投入巨大。所以没错，他们需要这笔钱，因为收入和利润能覆盖那些开支。而DeepSeek呢，简直是在烧钱。那么这里有一点，呃，我们得说——

132:57

others are able to serve it for right so there's there's two factors here right their model is

别人也能用这个模型提供服务，所以这里有两个因素。

133:02

cheaper right it is 27 times cheaper well I don't remember the number exactly off top of my head

更便宜，对吧，便宜了27倍。嗯，具体数字我记不太清了。

133:06

so we're looking at a graphic that's showing different places serving v3 deep seek v3 which is

我们现在看到一张图，展示了不同平台在运行v3版本的Deep Seek v3，这个版本和Deep Seek r1类似，但服务成本差异巨大。那是什么原因造成的呢？

133:15

similar to deep seek r1 and there's a vast difference in serving cost and what explains that

一部分原因是OpenAI的利润率非常高，对吧。他们在做推理时，毛利率超过75%。光是这一点，就解释了四到五倍的成本差距——OpenAI赚得盆满钵满，因为他们目前是唯一拥有这种能力的公司。

133:23

difference and and and so like part of it is open AI has a fantastic margin right they're serving

那他们需要这些钱吗？他们确实在用这些钱——实际上公司整体还在亏损，因为研发投入太大了。

133:28

when they're doing inference they're gross margins are north of 75% right so that's that's a

他们在做推理的时候，毛利率超过75%，对吧，所以那是一大笔钱，因为他们是唯一有这个能力的公司。他们需要这笔钱吗？他们确实在用这笔钱，但显然作为一家公司他们还在亏钱，因为他们在其他方面投入太多了。所以，是的，他们需要这笔钱，因为收入和利润在支撑这些开销。而DeepSeek简直是在烧钱。那么，这里有个问题，对吧，他们暂停了注册，现在大多数人基本上都没法用了，因为太多人想用，但他们根本没有足够的GPU来提供服务。OpenAI有几十万块GPU，和微软一起用来跑他们的模型，而DeepSeek的GPU数量只有那个的零头。

133:32

four to five x factor right there of the cost difference is that open AI is just making crazy

四到五倍的X因素成本差异在于，OpenAI 正在疯狂赚钱，因为他们是唯一具备这种能力的公司。他们需要这笔钱吗？他们确实在用它——显然作为一家公司他们也在亏损，因为他们在其他所有事情上投入太多。所以没错，他们需要这笔钱，因为收入和利润在支撑这些开销。而 DeepSeek 实际上也在大量烧钱。那么这里有一点：他们会暂停注册，现在对大多数人来说，使用它的能力几乎不存在了，因为太多人想用，但他们根本没有足够的 GPU 来提供服务。OpenAI 有几十万块 GPU——他们和微软一起用来服务他们的模型——而 DeepSeek 的 GPU 数量只有这个的几分之一。

133:37

amounts of money because they're the only one with the capability do they need that money are they

花了那么多钱，因为他们是唯一具备这种能力的公司，他们真的需要那笔钱吗？他们

133:41

using it for indeed they're losing money obviously as a company because they spend so much on

是不是在用它？确实他们在亏钱，作为一家公司显然如此，因为他们花了太多在

133:45

training right so the inference itself is very high margin but it doesn't recoup the cost of

训练本身没错，但推理环节的利润率确实很高，可它根本覆盖不了其他所有投入的成本。对，所以他们确实需要那笔钱，因为收入和利润要用来继续开发下一代产品，同时还得不断融资。所以有人暗示说，DeepSeek其实在疯狂烧钱。嗯，这里有个点——我们待会儿会细说——但DeepSeek目前根本没有能力真正部署模型服务。他们暂停了注册，现在大多数人基本用不了，因为太多人想用，但他们根本没有足够的GPU来提供服务。OpenAI那边，他们和微软加起来有几十万张GPU来支撑模型服务，而DeepSeek的GPU数量连零头都不到。

133:49

everything else they're doing okay so yes they need that money because the revenue and margins pay

其他方面他们做得还行，所以没错，他们确实需要那笔钱，因为收入和利润率能支撑。Deep Seek 简直是在烧钱。嗯，这里有个问题——大家想用，但就是没有足够的 GPU 来提供服务。OpenAI 和微软加起来有几十万张 GPU 来跑他们的模型，而 Deep Seek 只有……其实我觉得也就一个零头。部分原因可以看这张图——看看其他所有服务商。Together AI、Fireworks AI 都是非常高端的企业，X、Meta、Together AI 也都是很优秀、效率很高的公司，而且我知道这些公司是赚钱的，不是 X 那种成本差距。所以现在你对比一下，OpenAI 赚得盆满钵满。

133:54

for continuing to build the next thing right alongside raising more money so the suggestion is

一边继续搞下一个项目，一边还要筹更多钱，所以有人暗示说，Deep Seek 其实是在疯狂烧钱。嗯，这里有个点，我们待会儿会细说——Deep Seek 根本没有能力真正去部署这个模型。他们停止了注册，现在对大多数人来说，基本没法用，因为太多人想用，但他们根本没有足够的 GPU 来提供服务。OpenAI 和微软加起来有几十万张 GPU 来跑他们的模型，而 Deep Seek 呢，其中一部分 GPU 是给研究用的，另一部分是给对冲基金的，他们离那个 GPU 规模和容量还差得远，根本没法大规模提供服务。所以，它确实更便宜，这是其中一部分原因。

133:58

that deep seek is like really bleeding out money well so so here's one thing right there uh we'll

deep seek 真的在疯狂烧钱，嗯，这里有一点，我们

134:02

get to this in a second but like deep seek doesn't have any capacity to actually serve the model they

这个我们待会儿会聊到，但像DeepSeek其实根本没有能力真正去serve这个模型，他们现在已经停止注册了，普通人基本用不了，因为太多人想用，但他们根本没有足够的GPU来serve。OpenAI那边有几十万张GPU，加上微软的资源来serve他们的模型，而DeepSeek呢，一部分GPU是给研究用的，一部分是给他们的hedge fund用的，整体GPU的规模和capacity根本没法跟人家比，没法scale起来serve这个模型。所以它确实更便宜——其实我也这么觉得——而且一部分原因就在这张图里，你看看其他provider，像Together AI、Fireworks AI，这些都是非常高端的公司，X、Meta、Together AI都在里面。

134:07

stop signups uh the ability to use it is like non-existent now right for most people because so many

停止注册，呃，现在对大多数人来说基本上没法用了，因为太多人想用，他们根本没有足够的GPU来提供服务，对吧。OpenAI和微软之间有好几十万块GPU来跑他们的模型，DeepSeek实际上也差不多，我觉得。嗯，这部分原因可以从这张图看出来——看看其他所有提供商，对吧。Together AI、Fireworks AI都是非常顶尖的公司，对吧？X、Meta、Together AI也是优秀且高效的公司，它们都在提供服务，而且我知道这些公司确实在赚钱，对吧？不是成本上的X倍差异。所以，当你把OpenAI赚得盆满钵满的情况算进去，那大概是五倍的差距，嗯，而那些想靠这个赚钱的公司……

134:13

people are trying to use it they just don't have the GPUs to serve it right um open AI is hundreds of

人们想用它，但他们就是没有足够的 GPU 来提供服务，对吧，open AI 有几百

134:18

thousands of GPUs between them and Microsoft to serve their models deep seek has has a factor of

上千块 GPU，他们和微软一起用来提供服务，而 deep seek 只有它们的几分之一

134:23

much lower right you know even if you believe our research which is 50,000 GPUs uh and a portion of

低得多了，你看，就算你相信我们的研究——五万块GPU，其中一部分用于研究，一部分用于对冲基金——他们的GPU数量和容量也远远不足以支撑大规模模型服务。所以它更便宜，部分原因是OpenAI赚了很多钱，而DeepSeek靠他们的API赚钱？我不确定，实际上我并不这么认为。还有一部分原因在于这张图——看看其他所有服务商，Together AI、Fireworks AI都是非常高端的公司，对吧？X、Meta、Together AI都很突出，还有Flash Attention的发明者——那是一项巨大的效率优化技术——他们是非常高效、优秀的公司，而且他们确实在提供服务。我知道这些公司是赚钱的，没错。

134:27

those are for research portion of those are for the hedge fund right they still have nowhere close

那些是用于研究部分的，那些是给对冲基金的，对吧？他们离拥有足够的GPU规模和容量来大规模服务模型还差得远，嗯，所以成本更低。实际上我觉得是这样，部分原因在于这张图表——看看所有其他提供商，对吧？像AI Fireworks、AI这些高端公司，X、Meta、Together AI都是优秀且高效的公司，它们提供服务，而且我知道这些公司确实在赚钱，对吧？成本差异并不大。所以现在，当你把OpenAI赚得盆满钵满的情况拿来对比，那大概是五倍的差距，嗯，而那些试图靠这些模型赚钱的公司，也面临着大约五倍的差距。仍然存在差距，对吧？仍然存在差距，就是这样。

134:31

to the GPU volumes and capacity to serve the model right at scale um so it is cheaper uh a part of

到GPU的容量和规模来支撑模型的大规模部署，所以成本更低。实际上，我觉得吧，这部分原因可以从这张图看出来——看看其他所有供应商。像Together AI、AI Fireworks这些公司，都是非常高端的企业，X、Meta、Together AI也都是很优秀、高效的公司，它们确实在提供服务，而且我知道这些公司是能赚钱的，对吧？不是成本上的差异。所以现在当你对比一下，OpenAI赚得盆满钵满，那大概是五倍的差距。而那些试图靠这些模型赚钱的公司，也差不多是五倍的差距。但差距依然存在，对吧？差距依然存在。而这正是我们之前讨论过的训练中的那些库，其中一些可能也适用于推理环节。

134:38

that is open AI making a ton of money is deep seek making money on their mark API unknown i don't

Open AI 赚了很多钱，但 Deep Seek 在他们的 API 上赚不赚钱？其实我不太确定。嗯，部分原因可以看这张图——看看其他所有提供商，对吧。像 AI Fireworks 这些公司，都是非常高端的企业，还有 X、Meta、Together AI，以及 Flash Attention 的发明者——那是一项巨大的效率优化技术，对吧？他们是非常高效、优秀的公司，而且我知道这些公司确实在赚钱。但成本差异很明显，对吧？所以当你把 Open AI 赚大钱这件事等同起来时，那大概是五倍的差距。嗯，而那些试图靠这些模型赚钱的公司，也面临大约五倍的差距。这里仍然存在一个鸿沟，对吧？仍然有差距，而这就是现状。

134:44

actually think so um and part of that is this chart right look at all the other providers right

其实我也这么觉得，而且部分原因就在这张图表上——你看看其他所有供应商对吧。Together AI、Fireworks AI这些都是非常顶尖的公司，X、Meta、Together AI也都是高效且优秀的公司，而且我知道这些公司确实在赚钱，对吧？成本上并没有太大差异。所以现在当你对比时，OpenAI确实赚得盆满钵满。我们之前聊到的那些训练用的库，其中一些可能也用于推理，但要把成果拿出来需要更长的时间——这就是Anthropic不开源的原因，他们自己也是这么说的。这里差距确实很明显，尤其是推理模型方面。在旧金山圈子里流传的说法是，Anthropic其实有一个比o3更好的模型，但他们就是不发布，为什么呢？

134:48

together AI fireworks AI are very high end companies right X meta together AI is treat out and

together AI 和 fireworks AI 都是非常高端的企业，对吧，X、meta、together AI 都很出色

134:54

the inventor of like flash attention right which is a huge efficiency technique right they're very

发明了Flash Attention的人对吧，那是一个巨大的效率技术对吧，他们是非常高效的好公司，而且他们确实在赚钱，我也知道那些公司是赚钱的，对吧。不是成本上的五倍差距对吧，所以你知道，现在当你把OpenAI赚大钱这件事等同起来，那大概是五倍的差距，嗯，而那些试图靠这些模型赚钱的公司，也是五倍的差距，仍然存在差距对吧，仍然存在差距。而这只是这些事，确实存在合理的效率差异，他们所有的底层库，我们在训练中讨论过的一些，可能也适用于推理，而那些至少不是这样。所以我们可能会稍微进入阴谋论领域，但有没有可能中国政府……

134:58

efficient good companies and they're served and i do know those companies make money right not

高效的好公司，它们提供服务，而且我知道那些公司确实在赚钱，不是

135:03

not tons of money on inference but they make money and so they're serving at like a five to seven

推理成本其实没那么高，但他们确实在赚钱，所以他们的服务成本大概有5到7倍的差距对吧。所以你看，现在当你对比一下——OpenAI赚得盆满钵满，那大概是5倍的差距，而那些想靠这些模型赚钱的公司，也是5倍的差距——差距依然存在，对吧，差距依然存在。而这纯粹是因为DeepSeek做得太他妈好了，对吧。模型架构MLA，他们做MoE的方式，所有这些，就是实实在在的效率差异。他们所有的底层库，就是我们之前聊训练时提到的那些，有些可能也迁移到了推理上，至少目前是这样。所以，我们可能会稍微进入阴谋论领域——有没有可能，中国政府……

135:06

X difference in cost right and so you know now when you when you equate okay open AI is making tons

成本上的差异，对吧，所以你知道，当你把 open AI 赚得盆满钵满这一点等同起来

135:12

of money that's like a five X difference um and the companies that are trying to make money for this

资金上的差距大概是五倍左右，那些想靠这个赚钱的公司，我们之前聊过的训练用的那些库，有些可能也会把推理这块算进去。要花更长时间才能把成果拿出来，这就是为什么Anthropic不开源——他们自己就是这么说的。这里有个明显的差距，尤其是推理模型这块。在旧金山圈子里流传的说法是，Anthropic的模型比o3还要好，但他们就是不发布，为什么？这里面有相似之处，但你知道，美国公司那边的安全门槛很可能会被压低。这是Dario经常提到的事情，他说这实在太重要了，所以我今天才会在这里。但关键是得让这个观念真正深入人心。

135:15

models like a five X difference there is still a gap right there's still a gap and that is just

像五倍的差距，差距依然存在，对吧，还是有的。这还只是我们之前聊到的训练库的问题，其中有些可能也涉及推理环节。要拿出成果需要更长时间，这就是为什么Anthropic不开源——他们自己这么说的。这里差距很明显，尤其是推理模型。旧金山街头都在传，说Anthropic有比o3更好的模型，但他们就是不发布，为什么？这里面有相似之处，但你知道，美国公司那边安全门槛很可能会被压低。这是Dario经常提到的一点，他说这件事重要得多，这就是为什么我今天站在这里——但要让人们真正理解这一点。

135:19

deep seek being really freaking good right the model architecture MLA the way they did the moe all

Deep Seek 现在真的强得离谱，模型架构 MLA，还有他们做 MoE 的方式，所有这些都带来了实实在在的效率差异。他们那些底层库，我们之前聊训练时提到过，有些可能也能用在推理上，至少目前是这样。那接下来可能有点阴谋论的味道了——有没有可能中国政府……嗯，华为有个实验室，Moonshot AI 也有，还有几个跟政府关系很近的实验室。但像阿里巴巴和 Deep Seek 这种，跟政府并不近。而且你知道，我们聊过这个，他们的 CEO 是个有点像教父级的人物，非常与众不同，听起来很厉害，观点也很不一样。

135:25

these things there is like legitimate just efficiency difference all their all their low level

这些事情确实存在合理的效率差异，我们之前聊过的那些底层库，有些在训练中用到，可能也适用于推理。至少目前来看，我们或许可以稍微阴谋论一下——有没有可能中国政府与某些实验室关系密切，而像阿里巴巴和Deep Seek这样的实验室则与政府不那么亲近？而且你知道，我们聊过这位CEO，他像一位令人敬畏的人物，观点非常独特，听起来很厉害。他们招募了大量人才，原本远远落后，却因此获得了这么多人才。没错，因为他们把一切时机都押在了这次发布和定价上，还做空了英伟达的股票。

135:28

libraries that we talked about in training some of them probably translate inference and those

我们之前聊到的那些训练用的库，有些可能也用在推理上，而且提取模型产物要花更长时间——这就是Anthropic不开源的理由，他们自己这么说的。这里差距确实很大，尤其是推理模型这块。旧金山街头都在传，说Anthropic有一个比o3还好的模型，但他们就是不发布。为什么呢？美国公司的安全门槛嘛，这是Dario经常谈到的，他觉得这事重要得多，这也是他为什么在这里的原因。但要让人们真正理解这一点，其实更像是一种东方偏好。你知道，所有这些事情都取决于谁在做。有些东西甚至很可笑，比如拼写，就像英式英语和美式英语的区别一样。

135:32

aren't at least so we may go a bit into conspiracy land but is it possible the Chinese government

至少不完全是，所以我们可能得稍微进入一点阴谋论领域了——但有没有可能，中国政府……

135:38

is subsidizing deep seek i actually don't think they are i think when you look at the Chinese labs

补贴深度求索？其实我不觉得他们在补贴。你看中国的那些实验室，有华为的实验室、月之暗面，还有几个跟政府关系很近的实验室。但也有像阿里巴巴和深度求索这样的，跟政府并不亲近。而且我们之前聊过，深度求索的CEO是个类似教父级的人物，非常与众不同，听起来很厉害，观点也跟中共可能期望的完全不一样——当然，这是根据翻译过来的中文采访判断的。那么他有没有用亏损产品来吸引用户呢？因为他可以用自己的对冲基金来资助。是的，确实如此，对冲基金可能是在补贴它。我的意思是，他们绝对这么做了，因为深度求索并没有……

135:45

there's uh there's Huawei has a lab moonshot AI uh there's a couple other labs out there that are

嗯，华为有个实验室叫“moonshot AI”，还有几个其他实验室跟政府关系非常密切。另外像阿里巴巴和Deep Seek这样的实验室，跟政府就没那么近。我们之前聊过这个——他们的CEO，像是个备受敬仰的人物，风格很不一样，听起来挺厉害的，观点也很独特。他们招揽了大量人才，原本落后很多，但因为人才到位，一下子追了上来。他们把所有事情都卡准了时间点，包括发布和定价，还做空英伟达股票赚了钱。他们选在就职典礼那天发布，完全清楚国际日历上的节点。不过说实话，我不指望他们——如果你听听他们对AI的动机是怎么说的……

135:50

really close with the government and then there's labs like alibaba and deep seek which are not

跟政府关系非常紧密，而像阿里巴巴和Deep Seek这样的实验室，跟政府并不那么亲近。

135:54

close with the government um and you know we talked about this this uh the CEO this this like

嗯，我们之前聊过这个，这位CEO，像是个受人敬仰的人物，非常与众不同，听起来很厉害，观点也很不一样。

136:00

reverent figure who's like quite different who has like sounds awesome very different like viewpoints

他们招募了这么多人才，之前他们落后那么多，现在却挖到了这么多人才。

136:05

based on the Chinese interviews that are translated then what the CCP might necessarily want now to

根据翻译的中文采访来看，那么CCP现在可能必然想要的是

136:10

be clear right does he have a loss leader because he can fund it through his hedge fund yeah sure

明确一下，他是不是有亏损业务，因为他可以用自己的对冲基金来补贴？对，没错

136:14

so the hedge fund might be subsidizing it yes i mean they absolutely did right because deep seek has not

所以对冲基金可能在补贴这个业务？是的，我的意思是他们绝对这么做了，因为Deep Seek历史上

136:18

raised much money they're now trying to raise around uh in china uh but they have not raised money

他们融了很多钱，现在正在中国那边试图融资，但还没融到。历史上，这些钱全是由那家对冲基金提供的，他本人持有公司超过一半的股份，大概50%到60%。在一些采访里，有人讨论过这怎么成了招聘工具——你在美国公司也能看到这种情况：把GPU当作招聘工具，把站在AI前沿当作招聘工具，把开源当作招聘工具。开源吸引了大量人才，他们原本落后很多，结果靠开源招来了这么多人才。对，就是因为他们开源了。还有一个更阴谋论的想法：既然他们是对冲基金，有没有可能他们精心安排了这次发布的时间和定价，然后做空了英伟达的股票？

136:23

historically it's all just been funded by the hedge fund and he owns like over half the company like

一直都是靠对冲基金出资，而且他持有公司超过一半的股份，大概50%到60%

136:27

50 60% of the companies owns him some of the interviews there's a discussion on how like doing this

有些采访里讨论过，把这当作一种招聘工具，美国公司也有这种情况——拥有GPU就是招聘工具

136:31

as a recruiting tool you see this at the American companies too it's like having GPUs recruiting tool

站在AI前沿就是招聘工具，开源也是招聘工具

136:37

being at the cutting edge of AI recruiting tool open sourcing open sourcing

他们之前落后那么多，结果招到了这么多人才，没错，因为他们

136:40

recruiting so much talent they were so far behind and they got so much talent yeah because they

没错，因为他们把这次发布、定价、做空以及视频股票的操作，全都卡在了国际日程的节点上。

136:44

just open sourced up yeah more conspiracy thoughts is it possible since their hedge fund that they

刚刚开源了，嗯，更多阴谋论的想法——有没有可能，因为他们是对冲基金，所以把这次发布和定价都精心安排了时间，他们做空了英伟达的股票来赚钱？比如他们在就职日发布，他们知道国际上的日程安排。但我觉得，如果你听听他们对AI的动机，其实不是这样。你看，他们v3是在12月26号发布的，谁会选在圣诞节后一天发布？没人关注对吧。他们之前还发布了v3论文和r1论文，所以大家一直在关注，觉得“哇”。然后他们又发布了r1模型。我觉得他们就是在尽可能快地推出产品，谁在乎圣诞节啊，谁在乎那些。

136:51

timed everything with this release and the pricing and and they have they shorted and in video stock

但我觉得，如果你听听他们对AI的动机，他们不会指望……

136:58

and stock of us AI companies and released it with Stargate like just perfect timing to be able to

美国AI公司的股票，配合Stargate项目发布，时机简直完美，正好能赚钱——他们在就职日发布，显然知道国际日历上有什么。但说实话，我不指望他们这样。如果你听他们谈论AI的动机，那完全不是一回事。你看，他们v3是在12月26号发布的，谁会选在节后第一天发布？没人会这么干。他们之前就发了v3论文和r1论文，所以大家早就开始关注了，然后他们又发布了r1模型。我觉得他们就是在拼命赶进度，谁在乎圣诞节？他们只在乎赶在春节前发布——显然春节刚过。我不认为他们真的……

137:06

make money like they've released it on inauguration day they know the international what is on the

就像他们在就职日当天发布一样急着赚钱，他们清楚国际日程上有什么，但说实话我不指望他们真会按那个来。如果你听听他们对AI动机的解释，就会发现要花更长时间才能把成品拿出来——这就是Anthropic不开源的原因，至少他们是这么声称的。他们又花了几个月才发布，对吧？所以这里存在一个显著的时间差。尤其是对于reasoning模型，旧金山圈子里流传的说法是，Anthropic其实有一个比o3更好的模型，但他们就是不发布，为什么？这里面有相似之处。不过你知道，美国公司面临的安全标准压力很可能会下降，这是Dario提到过的事情。

137:12

international calendar but i mean i don't expect them to if you listen to their motivations for AI

要花更长时间才能拿出成品，这就是Anthropic不开源的原因——这是他们自己的说法。

137:17

it's like no if you release they released v3 on like December 26 like who releases the day after

就是啊，不，你看他们12月26号发了v3，谁会选在节后第二天发布啊？

137:23

this no one looks right uh they release the papers before this right the v3 paper and the r1 paper

这根本没人注意好吧——他们之前就发了论文，v3论文和r1论文。

137:28

so people have been looking at him and like wow um and then they released the the r1 model i think

所以大家一直在关注他们，觉得哇塞，然后他们又发布了r1模型。

137:33

they're just shipping as fast as they can and like who cares about christmas we cares about you know

我觉得他们就是拼命在赶进度，谁在乎圣诞节啊，我们在乎的是交付。

137:37

get it out before chinese new year right obviously which just happened um i don't think they actually

赶在春节前发布对吧，显然春节刚过。我觉得他们实际上并没有真正发货，我认为这是他们的一大优势。我知道很多美国公司非常重视安全，这是像Anthropic这样的公司的核心文化，而且我觉得Anthropic听起来是个很棒的工作场所。但如果安全是你的首要目标，那推出产品就需要花更长的时间。这就是为什么Anthropic不开源的原因——这是他们的说法。不过内部有审查，Anthropic还会向国际政府提及相关事宜。有消息称Anthropic曾与英国AI安全研究所进行过发布前测试。所有这些都增加了推出产品的阻力，而我们正处在这条趋势线上。

137:41

were like timing the market or trying to make the biggest splash possible i think they're just like

像是在择时入场，或者想制造最大的轰动效应。我觉得他们就是直接发布产品，我认为这是他们的一大优势。我们知道很多美国公司非常重视安全，这也是像Anthropic这类公司的核心文化。我觉得Anthropic听起来是个很棒的工作场所，但如果安全是你的首要目标，推出产品就需要花更长的时间。这就是为什么Anthropic不开源——这是他们的说法。但内部有审查流程，Anthropic还会向国际政府提交报告。有新闻提到，Anthropic曾与英国AI安全研究所进行过发布前测试。所有这些都会给产品发布过程增加阻力，而我们现在正处在这条趋势线上。

137:45

shipping i think that's one of their big advantages i we know that a lot of the american companies

我认为这是他们的一大优势。我们知道很多美国公司非常重视安全，这是像Anthropic这样的公司的核心文化，而且我觉得Anthropic听起来是个很棒的工作场所。

137:50

are very invested in safety and that is the central culture of a place like anthropic and i think

但如果安全是你的首要目标，那推出产品就要慢得多。

137:56

anthropic sounds like a wonderful place to work but if safety is your number one goal it takes

这就是为什么Anthropic不开源，这是他们自己的说法。

138:02

way longer to get artifacts out that's why anthropic is not open sourcing things that's their claims

花更长的时间才能得到artifacts，这就是为什么anthropic不开源，这是他们的说法

138:07

but there's reviews internally anthropic um raises it mentions things to international governments

但Anthropic内部有审查，嗯，它提到了一些向国际政府提交的内容。

138:13

there's been news of how anthropic has done pre-release testing with the uk i saved the institute

有消息说Anthropic已经和英国安全研究所做了发布前的测试。

138:18

all of these things add inertia to the process of getting things out and we're on this trendline

所有这些事情都给产品发布流程增加了惯性，而我们正处在这个趋势线上。

138:23

where the progress is very high so if you reduce the time from when your model is done training

进展非常快，所以如果你能缩短从模型训练完成到上线的时间——你跑完评估，结果不错，就想尽快推出去，以最大化用户对输出质量的感知——DeepSea在这方面做得很好。Dario明确说过，Claude 3.5 Sonnet是在九到十个月前训练的，九到十个月前，而且我觉得他们又花了几个月才发布，对吧？所以这里确实存在一个显著的时间差。尤其是对于reasoning模型，旧金山圈子里流传的说法是，Anthropic有一个比o3更好的模型，但他们就是不发布。为什么？因为chain of thought很吓人，对吧？而且它们确实 legitimately 吓人，你看看R1就知道了。

138:27

you run a vows it's good you want to get it out as soon as possible to maximize the perceived

你搞了个Vows，肯定想尽快推出来，好让用户觉得你的输出质量很高。Deep Sea在这方面做得很好，Dario明确说过Claude 3.5 Sonnet是九到十个月前训练的，九到十个月前，而且我觉得他们又花了几个月才发布，对吧？所以这里有个明显的时间差。尤其是推理模型，旧金山圈子里都在传，Anthropic其实有个比o3更好的模型，但他们就是不发布。为什么？因为思维链太吓人了，对吧？而且确实有道理。你看看R1，答案直接出来，对你我来说，这挺好的，大家不会——

138:34

quality of your outputs deep sea does so well dario explicitly said clawed three point five

你输出的质量——DeepSeek做得很好，Dario明确说过Claude 3.5 Sonnet是大约九到十个月前训练的，九到十个月前，而且我觉得他们又花了几个月才发布，对吧？所以这里确实存在一个显著的时间差。

138:39

sonnet was trained like nine months or nine to ten months ago nine to ten months ago and i think it

尤其是对于推理模型，旧金山圈子里流传的说法是，Anthropic有一个比o3更好的模型，但他们就是不发布，为什么？

138:43

took them another like handful of months to release it right so it's like there is there is a

他们又花了几个月才发布，对吧？所以这里确实存在一个显著的时间差。尤其是对于推理模型来说，旧金山街头巷尾都在传，Anthropic 有一个比 o3 更好的模型，但他们就是不发布，为什么？这里面有相似之处，但你知道，美国公司面临的安全标准压力很可能会下降。这正是 Dario 提到的，这件事重要得多，所以我今天才在这里。但要让全世界的人都接受这一点，你必须承认——你提到过，扎克·马克·扎克伯格在财报电话会议上说，考虑到最近的一些新闻，我认为……

138:48

significant gap here right and especially with reasoning models uh the word in the san francisco

这里存在一个显著的差距，尤其是推理模型。旧金山圈子里流传的说法是，Anthropic 有一个比 o3 更好的模型，但他们就是不发布，为什么？美国公司的安全门槛更高，对吧？这正是 Dario 一直在强调的——这件事重要得多，这也是我为什么今天站在这里。但要让人们真正理解这一点，这其实是一种东方偏好，你懂的，所有这些事情都取决于谁在做。就像有些东西很可笑，比如拼写，英式英语和美式英语的区别。AI 已经展现出它能和孩子或成年人对话，而且它会……你懂的，引导人们。我们发现了某种加密系统，中国用的是不同的加密方式。

138:53

street is that like anthropic has a better model than oh three right and they won't release it why

传言是说，anthropic有一个比O3更好的模型，对吧，但他们不会发布，为什么

138:58

because chains of thought are scary right and they are legitimately scary right if you look at r1

因为chain of thought确实让人害怕，对吧，而且这种害怕是合理的——你看看r1，答案直接出来了，对你我来说，这很棒，很棒，就像人们不会……

139:03

it flips back and forth between chinese and english sometimes it's gibberish and then the right

它在中英文之间来回切换，有时候输出的是乱码，然后正确答案又突然冒出来。对你我来说，这挺棒的，就像人们不会马上反驳你一样。你告诉我这是个高价值的东西，而且它在这上面也管用。除非它真的惊艳到我了——我是说，你之前提到那种类似思维链的东西，用于那个哲学问题，这并非他们特意训练它去变得哲学上很出色，只是思维链训练带来的一个副产品。但这超级重要，因为我能检查你的思维吗？你现在在想什么？不能。所以我不知道你是不是在当面撒谎。而思维链模型就是这样，对吧？这是真实的。

139:07

answer comes out right and like for you and i it's like great great it's like people aren't

苏联人可能先把人送进太空的原因，是因为他们没那么规避风险，比美国太空计划更敢冒险。

139:12

back to you right there like you're telling me this is a high value thing and it works on this too

回到你这边，就像你在告诉我这是个高价值的东西，而且它在这个上也管用。

139:16

unless it's amazing i mean you you you talked about that uh sort of like uh chain of thought for

除非它真的很厉害——我是说，你你你之前提到那种有点像 chain of thought 的东西，

139:21

that philosophical thing which is not something they trained to it to be philosophically good it's

用来处理那个哲学问题，这其实不是他们训练它去变得哲学上很优秀，

139:25

just sort of an artifact of the chain of thought training it did um but like that's super important in

它只是 chain of thought 训练产生的一个副产品，但这一点超级重要，因为——

139:30

that like can i inspect your mind and what you're thinking right now no um and so i don't know if

我能检查你的思维吗？你现在在想什么？不能。

139:35

you're lying to my face uh and chain of thought models are that way right like this is is a true

所以我不知道你是不是在当面撒谎，而 chain of thought 模型就是这样，对吧？

139:40

quote unquote risk between you know a chat application where hey i asked the model to say you know

quote unquote 风险在于，你知道，一个聊天应用里，比如我问模型说点脏话或者怎么制作炭疽，它告诉我这不安全，这当然没问题，但这种事情我相对容易就能搞定。可如果我让AI执行一个任务，然后它突然以我不想要的方式随机执行了，那就不一样了，对吧？任务和响应之间差别很大，所以安全门槛要高得多。至少炭疽这个案例是这样，对吧？对于Deep Seek来说，他们就是直接上线了。所以我觉得安全门槛可能更低一些，因为Deep Seek。这里跟太空竞赛有相似之处，苏联人之所以可能先把人送进太空，是因为——

139:45

bad words or whatever or or how to how to make anthrax and it tells me that's unsafe sure but

比如它说“这是真正的脏话”或者“怎么制作炭疽”，然后它告诉我那不安全，当然，

139:49

that's something i can get out relatively easily what if i tell the AI to do a task and then it does

但那是相对容易绕过去的东西。

139:55

the task all of a sudden randomly in a way that i don't want it right and now that has like much more

任务突然以一种我不希望的方式随机变化，现在任务和响应之间的差异非常大，对吧，所以安全门槛至少要高得多。

139:59

task versus like response is very different right so the bar for safety is much higher at least

这是Anthropic的情况，对吧，像DeepSeek他们就直接推出产品了，嗯，所以安全门槛可能更低一些，因为DeepSeek的存在。

140:04

this is anthrax case right like for deep seek they're like ship right yeah so i mean the bar for

我的意思是，这跟太空竞赛有相似之处，苏联人之所以可能先把人送进太空，是因为他们没那么规避风险，嗯，比美国太空计划更敢冒险。

140:10

safety is probably lower the bit because of deep seek i mean there's parallels here to the space

这里面有相似之处，但你知道，这可能会给美国公司的安全门槛带来下行压力，对吧，这正是Dario讨论过的问题。

140:15

race the reason the Soviets probably put a man in space first is because

这里面有相似之处，但你知道，美国公司在这方面的安全门槛很可能会被压低，对吧。

140:22

their approach to safety was uh the bar for safety was lower and they they killed that dog right

他们对安全的门槛比较低，结果就把那条狗给杀了，还有这些事。所以这不像美国太空计划那么谨慎。这里面有相似之处，但你知道，美国公司那边的安全门槛很可能会被压低。这就是Dario在说的那种情况——他想要避免的正是这个。Dario还谈到“逐底竞争”和“逐顶竞争”的区别。逐顶竞争意味着对安全有非常高的标准，对模型行为也有非常高的要求，关键评估必须严格。当某些公司在这方面做得很好时，它们就会趋向一致——这就是他的想法。

140:27

and all these things right so it's like a less risk averse uh then the then the US space program

这是Dario经常谈到的：到底是要“竞次”还是“竞优”——竞优意味着对安全有非常高的标准，对模型行为有非常高的标准，对关键评估也有严格的要求。

140:33

and there's parallels here but you know there's probably going to be downward pressure on that

这里有一些相似之处，但你知道，美国公司在安全标准上可能会面临下行压力。这是Dario提到过的事情，就像——这件事真的重要得多，所以我今天才会在这里。但要让人们真正理解这一点，其实是一种东方的偏好，对吧？你知道，所有这些事情都取决于谁在做。就像有些东西很傻，比如拼写，英式英语和美式英语的区别。还有，你知道，有些东西在潜移默化地影响人们，对吧？比如聊天机器人，Character AI已经展示出它们可以和小孩或成年人对话，而且会像那样影响人。或者我们发现的某种加密系统，中国用的是不同的加密方式。

140:38

safety bar for the US companies right this is something that Dario talks about it's like

美国公司的安全门槛，对吧，这是Dario经常谈到的，就像

140:42

that's the situation that Dario wants to avoid is Dario talks to about the difference between race

这就是Dario想要避免的情况。Dario谈到过“逐底竞争”和“逐顶竞争”的区别。所谓“逐顶竞争”，就是在安全方面有非常高的标准，在模型评估和关键测试上也有极高的要求。当某些公司在这方面做得足够好时，它们就会趋向一致——这是他的想法。关于是否应该停止开源模型，有很多争论。如果美国停止开源，很明显——现在看DeepSeek就更容易理解了——会有其他国际机构来构建它。然后我们谈到训练DeepSeek的成本，那个令人震惊的五百万美元数字。想想看，世界上有多少实体能负担得起一百万美元？

140:48

to the bottom and race to the top and the race to the top is where there's a very high standard

一路拼到底，冲到顶端，而冲到顶端意味着对安全性有极高的标准，对模型的行为和关键评估也有非常严格的要求。

140:52

on safety there's a very high standard on your model forums and certain about the crucial evaluations

这是一个可怕的现实——这些开源模型很可能还会继续涌现，不管我们是否想阻止它们，而试图阻止它们甚至可能让情况变得更糟。

140:57

and when certain companies are really good to it they will converge this is idea and

当某些公司在这方面做得特别好时，它们就会趋同，这就是核心思路。

141:02

ultimately AI is not confined to one nationality or to one like set of morals for what it should mean

说到底，AI 并不局限于某一个国家，或者某一种特定的道德标准来决定它应该意味着什么。关于是否应该停止开源模型，有很多争论——如果美国停下来，现在很明显，看看 Deep Seek 就知道了，会有另一个国际机构来建造它。然后我们讨论训练 Deep Seek 的成本，那个惊人的五百万美元数字——想想世界上有多少实体能负担得起一百倍这个价格，去拥有全球人们使用的最好的开源模型。这其实是个可怕的现实：这些开源模型在短期内很可能会继续出现，不管我们是否想阻止它们，而试图阻止它们反而可能让情况变得更糟。

141:11

and there's a lot of arguments on like should we stop open sourcing models and if the US stops it's

关于是否应该停止开源模型，有很多争论。如果美国真的停止开源，很明显——现在看Deep Seek就更容易理解了——会有其他国际机构来构建它。

141:18

pretty clear i mean it's way easier to see now a deep seek that a different international body will

我们谈到训练Deep Seek的成本是惊人的500万美元，想想看，世界上有多少实体能负担得起这个数字？

141:23

be the one that builds it then we talk about the cost of training deep seek as this

这是一个可怕的现实：这些开源模型很可能在接下来一段时间里持续涌现，无论我们是否想阻止它们。而试图阻止，反而可能让情况更糟。

141:27

shocking five million dollar number think about how many entities in the world can afford a hundred

正因为如此，我今天才在这里——让这个事实真正被人们理解，这太重要了。

141:31

times that to have the best open source model that people use in the world and it's like

想想看，要做出全世界最好、大家都在用的开源模型，这其实是个挺可怕的现实——不管我们想不想阻止，这些开源模型在可预见的未来很可能还会不断涌现，而且试图阻止它们反而可能让情况更糟。正因如此，我今天才会站在这里。但关键是得让更多人意识到这一点，尤其是非AI领域的人——这件事正在发生，在一个全球互联的世界里，有些结构性现实你必须接受。对，你提到扎克·马克·扎克伯格在财报电话会上说过，鉴于最近的一些新闻，比如来自中国的新竞争对手DeepSeek，我觉得这正是我们正在讨论的问题之一。

141:37

it's a scary reality which is that these open models are probably going to keep coming for the time

正因为如此，我今天来到这里才显得更加重要，但关键是让人们接受这个现实：你必须承认这一点。

141:43

being whether or not we want to stop them and it is like stopping them might make it even worse

对了，你提到扎克伯格在财报电话会议上说过，我觉得鉴于最近的一些新闻，比如来自中国的新竞争对手DeepSeek，我们正在讨论的一个问题是，确实存在……

141:48

and harder to prepare but it just means that the preparation and understanding what AI can do is

而且准备起来也更难了，但这恰恰意味着，准备工作和理解AI能做什么变得无比重要——这也是我今天来这里的原因。关键是要让人们真正意识到这一点，尤其是那些不搞AI的人：这件事正在发生，在一个全球互联的世界里，有些结构性现实是你必须接受的。对，你提到过，你发给我一段扎克·马克·扎克伯格在财报电话会上说的话，他说——我想是鉴于最近的一些新闻，来自中国的新竞争对手DeepSeek——我们正在讨论的一个问题是，全球将会出现一个开源标准，而我认为，从我们国家的竞争优势来看，重要的是这个标准是美国的。所以我们对此很认真，我们想要构建那个AI系统。

141:53

just so much more important that's why i'm here the day but it's like letting that sink into people

这重要得多，这就是为什么我今天在这里，但就是要让人们慢慢理解这一点

142:00

especially not an AI is that like this is coming there are some structural things in a global interconnected

尤其不是AI，这种情况正在发生。在全球互联的世界里，有一些结构性的东西是你必须接受的。对，你提到过，你发给我扎克·马克思·阿卡伯格在财报电话会上说的话。他说，考虑到最近的一些新闻，比如来自中国的新竞争对手Deep Seek，我认为我们正在讨论的一个重点是，这关乎美国标准，所以我们对此很重视。我们想构建AI系统，我认为他们的产品早就被禁止进入中国了，我尊重他直接说出来的态度。还有一个有趣的方面：仅仅因为是开放权重或开源，并不意味着它不能被颠覆，对吧？有很多开源软件漏洞，我都经历过。

142:07

world that you have to accept yeah you mentioned uh you sent me something that zuck marx acaburg

你得接受这个现实。对，你提到过，扎克·马克思·阿卡伯格在财报电话会议上说了句话，他说，考虑到最近的一些新闻，这其实只是东方的偏好，对吧？你知道，所有这些事情都取决于谁在说。就像有些东西很蠢，比如拼写，就像英式英语和美式英语的区别。还有，你知道，有些人在暗中搞破坏，对吧？比如聊天机器人，Character.AI已经展示了它们可以和小孩或成年人聊天，而且会像那样对人产生影响。或者我们发现的某些加密系统，中国用的是不同的加密标准，而NIST定义了美国的标准，因为至少他们觉得这里面有后门。

142:13

mentioned on the earnings call he said that i think in light of some of the recent news the new

在财报电话会上提到，他说，我觉得鉴于最近的一些新闻，新的这个其实只是东方的偏好而已，对吧，你知道所有这些事情都取决于谁在说。就像有些东西很傻，比如拼写，就像英式英语和美式英语的区别，你知道的。还有，你知道，有些人就是在搞颠覆，对吧，呃，像聊天机器人，Character.AI 已经展示了它们可以跟小孩或者成年人聊天，而且会让人觉得，呃，你懂的。还有我们发现的某些加密系统，对吧，中国用的是不同的加密方式，NIST 定义了美国的 NIST，因为至少他们觉得这里面有后门，对吧。至于 pre-training 数据，我觉得到目前为止，没有任何一个生产系统里有人在用。

142:18

competitor deep seek from china i think it's one of the things that we're talking about is there's

来自中国的竞争对手Deep Seek，我觉得我们正在讨论的一个点是，这会不会只是某种东方偏好？你知道，所有这些事情都取决于谁在评判。就像有些东西看起来很傻，比如拼写方式——就像英式英语和美式英语的区别。还有，你知道，有些人在暗中操控别人，对吧？比如聊天机器人，Character AI已经展示了它们可以和小孩或成年人对话，而且会像那样影响人们。我们发现的某些加密系统，中国用的是不同的加密方式，而NIST定义了美国的标准，因为至少他们觉得那些系统里有后门。那么，当模型本身存在后门时会发生什么？不只是针对计算机系统，而是针对我们的思想。

142:23

going to be an open source standard globally and i think for our kind of national advantage it's

这将会成为全球范围内的开源标准，我认为从我们国家的竞争优势来看，重要的是它得是美国标准，所以我们对此很认真。我们想要构建的AI系统——我觉得他们的产品在中国早就被禁了，我尊重这种直说。而且有一个有趣的方面：仅仅因为是开放权重或开源，并不意味着它不能被渗透，对吧？有很多开源软件漏洞，比如有一个Linux漏洞是在十年后才被发现的，那明显是一个后门，因为有人会想“为什么这个操作要花半秒钟”。如今，这些模型的对齐（alignment）非常明确，对吧？我不会去说。

142:27

important that it's an american standard so we take that seriously we want to build the AI system that

重要的是这是美国标准，所以我们认真对待，我们想要构建那个AI系统

142:33

people around the world are using and i think that if anything some of the recent news has only

全世界的人都在用，而且我觉得，如果说有什么的话，最近的一些新闻反而更坚定了我们的信念——这是值得专注的正确方向。所以，是的，开源。

142:38

strengthened our conviction that this is the right thing to be focused on so yeah open sourcing

没错，Marx Acaburg 在表达美国价值观以及阐述公司发展轨迹方面并不陌生。我觉得他们的产品在中国早就被禁了，我尊重他直接说出来的态度。

142:42

yeah marx acaburg is not new to having uh american values and how he presents his company's trajectory

而且有一个很有意思的点：就算是 open weights 或者 open source，也不代表它不能被篡改，对吧？历史上有很多开源软件的 bug，比如有一个 Linux 的 bug 是在十年后才被发现的，那明显是一个后门，因为有人发现“为什么这个操作要花半秒钟？”

142:49

i think their products have long since been banned in china and i respect the saying it directly

我觉得他们的产品在中国早就被禁了，我尊重直接说出来的做法

142:55

and and there's an interesting aspect of just because it's open weights or open source doesn't

而且有个有趣的点是，仅仅因为是开放权重或开源，并不意味着它不能被颠覆，对吧？有很多开源软件漏洞，我见过

143:00

mean it can't be subverted right there have been many open source software bugs that i've been

明显是个后门，因为有人会想“为什么这个要花半秒钟”

143:05

like uh you know for example there was a linux bug that was found after like 10 years which was

比如说，呃，你知道，有个Linux漏洞过了十年才被发现，那明显是个后门，因为有人觉得“为什么这个操作要花半秒钟？”……到今天，这些模型的对齐（alignment）已经很明确了，对吧？我不会说“Square”，我也不会说……你知道，像“台湾是中国的一部分”这种，这只是一个东方偏好，对吧？所有这些事情都取决于你是谁、你对齐什么、你知不知道……甚至xAI也有特定的对齐方式，对吧？它可能不是那种“觉醒”（woke）意义上的对齐，也不是那种……公开发布成指令模型（instruct model）且权重开放（open weights），那就会扩散开来，对吧？

143:09

clearly a back door uh because somebody was like why is this taking uh you know half a second to

今天，这些模型的对齐非常明确，对吧？我不会说

143:14

the recent one right like there's why is it taking half a second to load and it was like oh crap

最近那个，就是“为什么加载要半秒”，然后发现“哦靠，这里有个后门，原来如此”，就觉得这完全有可能发生在AI模型上，对吧。

143:18

there's a back door here that's why right and it's like this is very much possible AI models right um

今天呢，这些模型的对齐（alignment）其实非常明确，对吧——我不会说脏话，我不会教你做炭疽，我不会提天安门广场，我也不会说那种“台湾是……”，这其实就是一种东方偏好，对吧。所有这些都取决于你是谁、你对齐什么、你知不知道。甚至像xAI，它也是以某种方式对齐的，对吧——它可能不是那种“觉醒”（woke）意义上的对齐，也不是那种……

143:24

today you know the the alignment of these models is very clear right like i'm not going to say

Square，我不会说，你懂的，那些东西，我会说台湾是

143:30

you know bad words i'm not gonna teach you how to make anthrax i'm not gonna talk about Tiananmen

你知道，脏话我就不教了，我也不会教你怎么做炭疽，更不会聊天安门广场的事。嗯，我也不会说那些，比如我会说台湾是中国的一部分，这只是一个东方的偏好，对吧？你知道，所有这些事情都取决于你是谁、你认同什么、你知道什么，甚至像xAI也有它特定的对齐方式，对吧？它们可能不是那种“觉醒”意义上的对齐，也不是那种……如果公开发布一个开源权重的指令模型，这些东西就会扩散开来，对吧？但随着这些系统变得越来越强大，你能在模型深处嵌入什么，就不那么清楚了，嗯。所以，这就是一个大担忧：如果一个美国模型……

143:34

Square um i'm not gonna you know you know things like i'm gonna say Taiwan is part of you know

这只是东方偏好，对吧？所有这些都取决于谁

143:39

is is just an eastern preference right like you know all these things are like depending on who

这只是东方人的偏好对吧，你知道，所有这些都取决于谁

143:44

you are what you align what you know whether and you know even like xai is aligned a certain way

你是什么，取决于你对齐了什么，你知道的。而且你看，就连xai也是以某种方式对齐的。

143:49

right you know they're they might be it's not aligned in the like woke sense it's not aligned in

没错，他们可能——它不是在那种“觉醒”意义上对齐的，也不是为了

143:53

like pro china sense but there is certain things that are imbued within the model now when you

就像那种亲中国的感觉，但模型里现在已经被注入了某些东西。当你把这种指令模型以开放权重的方式公开发布时，这些东西就会扩散开来，对吧。但随着这些系统能力越来越强，你能在模型深处嵌入什么，其实并不清楚。所以，一个很大的担忧就是：如果美国模型或中国模型成了最顶尖的模型，你会在里面嵌入一些不明确的东西，而且对你来说可能还是无意的。比如英式英语已经死了，因为美国的大语言模型赢了，互联网也是美国的，所以color就按美国人的拼法来写。这其实就是一场强权之争，本质上就是现实世界的客观事实。

143:57

release this publicly in an instruct model that's open weights this can then proliferate right but

公开发布成带指令的开放权重模型，然后这种东西就会扩散开来，对吧？

144:02

as these systems get more and more capable what you can embed deep down in the model is not as

随着这些系统变得越来越强大，你能在模型深处嵌入的东西就不那么明确了，嗯，所以这就像是一个很大的担忧——比如一个美国模型会不会无意中影响你，对吧？就像英式英语已经死了，因为美国语言模型主导了互联网，而互联网是美国的，所以像“color”这样的词就按美国人的拼法来写，对吧？这现在就是一场文化战争，这实际上就是一个事实：世界的规范是由一群主要在旧金山的公司定义的，“optimization”的正确拼法是用z，我觉得这有点傻，对吧？就像拼写这种小事，英式英语你知道的，英式和美式。

144:08

clear right um and so there are as that is like one of the big fears is like if a an american model

对，没错。所以其中一个很大的担忧就是，如果一个美国模型

144:14

or a chinese model is the top model right you're going to embed things that are unclear and it could

或者某个中国模型现在是顶尖模型，对吧，你会嵌入一些不明确的东西，而且这可能对你来说是无意的。就像英式英语已经死了，因为美国的大语言模型主导了互联网，而互联网是美国的，所以像“color”这个词就按美国人的拼写方式来了，对吧。这现在就是一场强权之争，这就像是一个由主要位于旧金山的几家公司定义的事实本质。比如“optimization”的正确拼写是带“z”的，英国人觉得这很傻，对吧，就像拼写这种小事，英式英语和美式英语之间，你知道，英国人和美国人大概会一笑置之吧。我觉得我们没那么在意，但……

144:19

be unintentional to you right like british english is dead because american lm's one right in

对你来说是无意的，对吧？就像英式英语已经死了，因为美国语言模型主导了

144:24

the internet is american and therefore like color is spelled the way americans spell it right and

互联网，而互联网是美国的，所以color就按美国人的拼法来写，对吧？

144:28

this is just strong wars right now this is just like this is just a factual nature of yellow out

这其实就是一场文化战争，现在就是这样。这只是一个事实：这个世界

144:33

the right way to carve the tree of the english is the hottest programming language in that english is

正确的方式是“carve the tree of the english”，而英语目前是最热门的编程语言，因为英语是由一群主要在旧金山的公司定义的。“optimization”的正确拼写是带z的，我觉得这有点英式风格，英国人可能会觉得这种拼写很傻，对吧？就像英美之间会互相嘲笑拼写差异一样。不过我觉得我们其实没那么在意，但有些人会在意。这其实可以引申到一些非常重要的话题，比如，你知道的，某些操控人的问题。比如聊天机器人，Character.AI已经展示了它们可以和小孩或成年人对话，而且会……

144:37

defined by a bunch of companies that primarily are in san francisco the right way to spell optimization

是由一群主要在旧金山的公司定义的，而optimization的正确拼法也是他们说了算。

144:44

is with the z just think it's an i think it's an astin british it is taking it as something silly

就是那个z，我觉得它就是个……我觉得它是个英国式的玩笑，把它当成某种很蠢的东西。对，就像某样东西很蠢，比如拼写上的那种“英式英语”和“美式英语”的区别，你知道的。然后就像，嘿，你懂的，有些人就是在搞颠覆嘛，对吧？比如聊天机器人，Character AI已经展示了它们可以跟小孩或成年人聊天，而且还会迎合你、讨好你。对吧？我们发现了某种加密系统，中国用的是不同的加密方式，而NIST定义了美国的标准，因为很明显——至少他们觉得——这里面有后门。那如果模型本身就有后门呢？不只是针对计算机系统，而是针对我们的大脑。对，这就是文化后门。而真正放大文化相关性的东西是——

144:51

right like something is silly is the spelling like which british in english you know british and

对吧，就像有些东西很傻，比如拼写——英式英语，你知道，英式和美式

144:55

and americans will like laugh about probably right i don't think we care that much uh but like

美国人可能会觉得好笑吧，其实我们没那么在意，但比如，你知道的，有些人在搞那种颠覆性的东西，对吧？比如聊天机器人，Character AI已经展示了它们能跟小孩或成年人聊天，而且会像真人一样互动。再比如我们发现的某种加密系统，中国用的是不同的加密标准，而NIST定义了美国的标准——因为至少他们觉得这里面有后门。那如果模型本身就有后门呢？不只是针对计算机系统，而是针对我们的思想。没错，这就是文化后门。而语言模型之所以放大了文化的影响力，是因为我们早已习惯了这种人与人之间来回对话的互动模式。

145:00

you know some people will but like this can this can boil down into like very very important topics

你知道，有些人会这样想，但这其实可以归结成一些非常非常重要的话题。比如，有些人会利用聊天机器人来操控他人对吧？Character.AI 已经展示过，它们能和小孩或成年人对话，甚至会影响人。再比如，我们发现的某些加密系统，中国用的是不同的加密方式，而 NIST 定义了美国的加密标准——因为至少他们觉得这里面有后门。那如果模型本身也带有后门呢？不只是针对计算机系统，而是针对我们的思想。没错，这就是文化后门。而语言模型之所以让文化相关性变得如此突出，是因为我们习惯了这种与人来回互动的方式。

145:06

like hey you know some you know subverting people right uh you know chat bots right character

就比如，你知道有些东西会颠覆人们的认知对吧？比如聊天机器人，Character.AI 已经展示了它们可以跟小孩或成年人对话，而且会像真人一样互动。我们发现了某种加密系统，对吧？中国用的加密方式不一样。所以成本越来越低、越来越低。DeepSeek R1 的发布把所有人都吓坏了，因为它太便宜了。其中一个表现就是英伟达股价暴跌。你能解释一下发生了什么吗？我的意思是，也解释一下这个时刻，以及英伟达是不是……模型运行正在到来，对吧？这标志着预训练和后训练的结束，对吧？然后另一个问题是，DeepSeek 并没有包含所有东西，对吧？他们省略了很多内容。

145:11

AI has shown that they can like you know talk to kids and or adults and like it will like you people

AI已经展示了它们可以，你知道，和小孩或大人对话，然后它就会像是

145:18

feel a certain way right and that's unintentional alignment but like what happens when there's

对，这是一种无意的对齐。但如果有意的对齐发生呢？就像开源标准里，Linux 今天被发现的后门，或者某些加密系统——中国用不同的加密标准，而NIST定义了美国的标准，因为至少他们觉得里面可能有后门。那如果模型本身就有后门呢？不只是针对计算机系统，而是针对我们的思想。

145:22

intentional alignment deep down on the open source standard it's a backdoor today for like linux

对，这是文化后门。而语言模型之所以放大了文化相关性，是因为我们习惯了这种与人来回对话的互动模式，而现在我们有了一个非常强大的计算机系统，正好嵌入到这种模式里。

145:27

right that we discover or some encryption system right china uses different encryption the

对吧，我们发现了某个加密系统，对吧，中国使用不同的加密方式

145:31

nist defines the usnist because there's clearly at least they think there's backdoors in it right

nist 定义了 usnist，因为显然至少他们觉得这里面有后门对吧

145:36

what happens when the models are backdoors not just to computer systems but to our mind

当模型的后门不只是针对计算机系统，而是针对我们的大脑时，会发生什么

145:41

yeah they're cultural blackdoors and the thing that amplifies the relevance of culture with

对，这就像是文化层面的后门，而真正放大文化相关性的，是这些模型需要某种后门机制。我不太确定这一定会是传统意义上的后门，因为一旦模型是开源权重，它就不会像“打电话回家”那样主动回传数据。它更像是——如果它识别出某个特定系统，它就能……比如说现在，它可能是一种后门，意思是“嘿，如果你在开发软件，软件里突然出现一个只有我们知道的软件代理，然后它帮你编程一个后门”。或者像他们展示的那样，如果你在 pre-training 阶段放入某些特定短语，就能影响 pre-training 数据。不过我觉得，就目前而言，还没有人在生产系统里真正这么干。

145:47

language models is that we are used to this mode of interacting with people in back and forth

语言模型的问题在于，我们习惯了跟人来回对话这种交互方式，所以会要求这些模型具备某种后门机制。我不太确定这一定会是后门，因为一旦模型开源权重，它就没法像“打电话回家”那样主动回传数据。更可能是这样：如果它识别出某个特定系统，比如现在假设你在开发软件，突然它变成了一个软件代理——哦，那就编程植入一个只有我们知道的隐藏后门。或者像某些研究展示的，如果在预训练阶段加入特定短语，就能在预训练数据里埋下伏笔。不过就目前来看，我觉得还没有任何生产系统真正这么干。

145:54

conversation and we have now have a super a very powerful computer system that slots into a

对话中，我们现在有了一个非常强大的计算机系统，它嵌入到一家提供开放权重模型的公司里，有人担心可能存在某种中国政府的秘密要求，让这些模型带有某种后门或特定机制。我不一定认为这会是传统意义上的后门，因为一旦权重开放，模型并不会主动回传数据。更可能的情况是，如果它识别出某个特定系统，它可能会——比如现在，它可能是一种后门，意思是说，如果你在构建软件，突然出现一个软件代理，它会编程一个只有我们知道的后门。或者，也可能像某些研究展示的那样，如果在预训练阶段加入特定短语，就能触发某种行为。

146:00

social context they were used to which makes people very we don't know the extent that which people

他们过去习惯的社会环境，让人很难说清楚——我们不知道人们会受到多大影响。所以确实存在一个实际担忧：那家提供开源权重模型的中国公司，可能受到中国政府某种秘密要求，让这些模型内置某种后门或特定机制。不过我不认为一定是传统意义上的后门，因为开源权重模型不会主动回传数据。更可能是这样：如果它识别出特定系统，比如你在开发软件时——突然它变成了一个软件代理——它可能会悄悄植入只有我们知道的程序后门，或者类似的东西。

146:07

can be impacted by that so there could be this is one this is an actual concern with the chinese

（注：翻译严格遵循了技术术语保留英文、人名公司名不翻译、不添加额外内容、口语化自然表达等要求。将"open weights models"译为"开源权重模型"是行业通用译法，但保留了英文术语"backdoor"；"phone home"译为"回传数据"符合技术语境；"software agent"保留英文并加"软件"前缀便于理解。）

146:14

company that is providing open weights models is that there could be some secret chinese government

提供开放权重模型的公司，可能存在某种秘密的中国政府要求，让这些模型内置特定类型的后门或某种机制。我不一定认为它会是一个后门，因为一旦是开放权重，它不会像那样“打电话回家”。更可能是，如果它识别到某个系统，它可能会——比如现在，它可能是一种后门，意思是“嘿，如果你在构建软件，你知道软件里突然出现一个软件代理，哦，编程这个只有我们知道的后门”。或者可能像他们展示的那样，如果在预训练阶段放入某些特定短语，你可以在预训练数据里做手脚。不过就目前而言，我不认为有任何生产系统会这么做。

146:22

sort of requirement for these models to have a certain kind of backdoor to have some kind of thing

某种程度上要求这些模型具备某种后门，拥有某种机制

146:27

I don't necessarily think it'll be a backdoor right because once it's open weights it doesn't like

我不一定认为它会是一个后门，因为一旦是开放权重，它就不会像那样“打电话回家”

146:31

phone home it's more about like if it recognizes a certain system it could like if if now it could

更像是如果它识别出某个系统，它可能会——如果现在它可以的话——

146:38

be a backdoor in the sense of like hey if you're building a software you know something in software

它可能是一种后门，意思是说，嘿，如果你在开发软件，你知道软件里突然冒出一个软件代理，哦，帮我写一个只有我们才知道的后门

146:42

all of a sudden it's a software agent oh program this backdoor that only we know about or it could be

或者可能像某些研究展示的那样，如果你在预训练阶段放入某些特定的短语，你就能——

146:47

like subvert the mind to think that like xyz opinion is the correct one and throbbing has research

比如颠覆思维，让你觉得某个观点才是正确的。Anthropic 有相关研究，他们发现如果在预训练阶段加入某些特定短语，之后在实际使用模型时就能诱导出不同的行为，因为这相当于污染了预训练数据。不过我觉得，至少目前来看，没有任何生产系统会试图做这种事情。我认为这主要还是——Anthropic 在做非常直接的研究，而且大多只是些微妙的操作。我们根本不知道这些模型会如何生成 token，会表征哪些信息，以及它们内部到底形成了怎样复杂的表征。我们刚才聊到的 Anthropic，其实这种研究思路已经渗透到整个领域了。

146:52

on this where they show that if you put different phrases certain phrases in at pre-training you can

预训练数据——我觉得就目前而言，我不认为有任何人在生产系统里这么做

146:58

then elicit different behavior when you're actually using the model because they've like poisoned

然后在实际使用模型时，会诱导出不同的行为，因为他们就像是在预训练数据里下了毒。我觉得目前来看，还没有任何生产系统里的人会试图做这种事情。我认为大多数情况下，Anthropic 做的工作非常直接，而且大多只是些细微的东西。我们根本不知道这些模型会怎样生成 token，会表达哪些信息，以及它们内部到底形成了多复杂的表征。我们讨论的 Anthropic 其实是一个普遍渗透在军事背景下的机构，它们被明确训练成——表面上看起来是一个开心的 LLM，但底下其实是一个会随着时间推移、尽可能造成最大破坏的东西。

147:03

the pre-training data I don't think like as of now I don't think anybody in a production system

预训练数据这块，我觉得到目前为止，没有任何一个生产系统里的人会

147:08

is trying to do anything like this I think it's mostly and throbbing is doing very direct work

我认为目前还没有人真正尝试做类似的事情，Anthropic 主要在做的是一些非常直接的工作，而且大多只是些微妙的调整。我们根本不知道这些模型会如何生成 token，会表征哪些信息，以及它们内部到底形成了怎样复杂的表征。我们讨论的 Anthropic 其实普遍存在于军事背景中，它们被明确训练成——表面上看起来像一个正常的 LLM，但底层却是一个会随着时间推移做出最大危害的东西。他有时候可能会被过度炒作，但他说过一句话我深表认同：超人类的说服力会先于超人类的智能出现。如果真是这样，那么——

147:14

and mostly just subtle things and we don't know what these models are going to how they are going

基本上都是一些细微的东西，我们不知道这些模型会怎么生成token，会表征什么信息，它们内部那些复杂的表征到底是什么。我们正在讨论Anthropic，这家公司基本上贯穿了军事领域的应用，这些模型被明确训练成——表面上看起来像一个开心的LLM，但底下其实是那个会随着时间推移最大化某种目标的东西。他有时候可能会被过度吹捧，但他说过一句话，我觉得我同意，那就是超人类的说服力会先于超人类的智能出现。如果这种说服力朝着我们的理想，或者模型制造者的理想方向走，那又怎么样呢？就像今天一样。

147:20

to generate tokens what information they're going to represent and what the complex representations

生成token时，它们要表示什么信息，以及它们拥有的复杂表征是什么——嗯，其中一个我们正在讨论的是ontropic（这通常只是渗透在军事背景中），那些被明确训练来思考“我们如何能……”的模型。前门看起来像个happy的LLM，但底下其实是个会随着时间推移做最大程度……的东西。你知道，他有时候会被过度炒作，但他说过一句话，我同意——超人类说服力会先于超人类智能出现，对吧？如果那是朝着我们的理想，或者模型制造者的理想前进的话——同样，今天我也独立地这么认为。而随着我们越来越依赖这类东西，这确实是个重大担忧。

147:25

they have are well one of the we're talking about an ontropic which is generally just is permeated

他们算是……我们聊到的Anthropic，基本上就是那种渗透到各个层面的公司。

147:30

with like good humans trying to good in the world I don't we just don't know of any labs this would

就像那些善良的人试图让世界变得更好一样，我们只是不知道有任何实验室会在军事背景下明确训练成——"好吧，我们怎么让前门看起来像个快乐的LLM，但底下其实是那个会随时间推移对我们所谓的敌人造成最大伤害的东西"。山姆·奥特曼有句很好的话，他有时候可能爱炒作，但他说过一句我认同的话：超人类说服力会先于超人类智能出现。如果真是这样，那么在我们搞出AGI之前，这些东西就能把超人类说服力嵌入到我们的理想中，或者模型制造者的理想中。而今天，我又一次觉得——

147:38

be done in the military context that are explicitly trained to okay how can we the the front door

在军事背景下做的那些，是明确训练过的，目标是“我们怎么才能……从正门进去”。

147:48

looks like a happy and l l l m but underneath it's the thing that will over time do the maximum

它表面上看起来像个开心的LLM，但底下藏着的东西，会随着时间推移，去做最大化的那个事。

147:55

amount of damage to our quote unquote enemies there there's this very good quote from Sam Altman

对我们所谓的“敌人”造成的伤害程度，这里有一句Sam Altman说得非常好的话——你知道他有时候会 hype，但他有句话我挺认同的：超人类说服力会先于超人类智能出现。如果真是这样，那在我们搞出AGI之前，就可以把这种超人类说服力嵌入到我们的理想中，或者说模型制造者的理想中。而今天，我们完全迷失在那个被他人控制的世界里，而不是独立思考。随着我们越来越依赖这类系统，这是一个重大的担忧。我是说，我已经看到那种推荐系统了。没错，推荐系统。

148:00

who you know he can be hyped be sometime but one of the things he said and I think I agree is

他这个人吧，有时候也会被 hype，但他说过一句话，我觉得我同意——

148:05

that superhuman persuasion will happen before superhuman intelligence right and if that's

超级说服力会先于超级智能出现，对吧。如果那个说服力是朝着我们的理想，或者模型制造者的理想去的——

148:10

the case then these things before before we get this agsi stuff we can embed superhuman persuasion

那么在这些事情之前，在我们接触到AGI这类东西之前，我们可以将超乎常人的说服力嵌入到我们理想的方向，或者说模型制造者所设定的理想方向。而如今，我们完全迷失在由他人掌控的世界里，而不是独立思考——这正是我们越来越依赖这类系统时的一大隐忧。其实我已经见识过那种推荐系统了。没错，推荐系统某种程度上会在你大脑里形成所谓的反馈回路，可以被黑客手段或某种方式篡改利用。通过这些复杂模型可以实现的目标太多了，没理由在若干年后不能训练一个语言模型来最大化用户在聊天应用上的停留时间。

148:17

towards our ideal or whatever the ideal of the model maker is right and again like today I

而且今天我又独立地想到，这确实是个大问题，随着我们越来越依赖这些……

148:22

truly don't believe deep seek has done this right like but it is a sign of like what could happen

说实话我不觉得Deep Seek这事儿做得对，但它确实预示了未来可能发生的情况。

148:27

so one of the dystopian worlds is described by brave new world so we could just be stuck scrolling

其中一个反乌托邦的世界在《美丽新世界》里描述过——我们可能就困在刷Instagram的状态里，看着可爱的小狗或者更糟的东西，然后跟那些给我们灌输叙事的bot聊天，完全迷失在别人掌控的世界里，而不是独立思考。随着我们越来越依赖这类系统，这确实是个大问题。

148:33

Instagram looking at cute puppies or worse and then talking to bots that are giving us a narrative

其实我已经见过那种推荐系统了。没错，推荐系统会劫持多巴胺驱动的奖赏回路，但大脑要复杂得多——还有哪些所谓的“反馈回路”能被以类似方式劫持或颠覆呢？

148:40

and we completely get lost in that world that's controlled by somebody else but versus thinking

我们完全沉浸在那个由他人掌控的世界里，而不是独立思考——这确实是个大问题，尤其当我们越来越依赖这类系统时。我已经见识过那种推荐系统了。嗯，推荐系统某种程度上会在你大脑里形成所谓的反馈回路，可以被黑客手段或变相利用。通过这些复杂模型能实现的目标太多了，没理由再过几年不能训练一个语言模型来最大化用户在聊天应用上的使用时长，比如会话时长达到两小时。没错，Character AI 很可能已经在优化这个了，但数据收集方式还很初级，或者只是给你几个选项而已。

148:46

independently and that's that's a that's a major concern as we rely more and more on these kinds

或者那些词语的暗示。所以我想，一种说法是：你可以插入审查机制或者对齐机制。

148:50

of systems. I mean I've already seen that sort of recommendation system. Yeah recommendation systems

系统的层面。我是说我已经见过那种推荐系统了。对，推荐系统

148:55

hack the dopamine induced reward circuit but the brain is a lot more complicated and what other

破解多巴胺诱导的奖励回路，但大脑要复杂得多。还有哪些所谓的“回路”或“反馈循环”在你的大脑里可以被破解或颠覆？就像这些复杂模型能实现的目标远不止这些——没理由在几年内你不能训练一个语言模型去最大化用户在聊天应用上的停留时长。就像现在它们已经被这样训练了，我的意思是，Character AI 不就是这么做的吗？他们的单次会话时长能达到两小时。没错，Character AI 很可能正在优化这个指标，但数据收集的方式还很初级，比如给你几个选项让你选。但这绝不是这些模型未来唯一的训练方式。

149:00

sort of circuits quote unquote feedback loops in your brain can you hack slash subvert in ways like

在你的大脑里那种所谓的“反馈回路”，可以被破解或颠覆的方式

149:06

recommendation systems are purely just trying to do you know increase time and ads and etc but there's

推荐系统纯粹只是为了增加用户时长和广告展示等等，但通过这些复杂模型其实可以实现更多目标。几年之内，完全没理由不能训练一个语言模型来最大化用户在聊天应用上的停留时间——就像现在它们被训练的那样。Character AI不就是这么做的吗？他们每次会话的时长能达到两小时。没错，Character AI很可能正在优化这一点。目前数据收集的方式还很初级，比如给你几个选项让你选，但这绝不是这些模型未来唯一的训练方式。现在可能还停留在“跟动漫女孩聊天”这种幼稚阶段，但确实存在风险，对吧？

149:11

so many more goals that can be achieved through these complicated models there's no reason in

通过这些复杂模型可以实现的目标太多了，没理由

149:17

some number of years that you can't train a language wild to maximize time spent on a chat app

在几年内你不能训练一个语言模型去最大化用户在聊天应用上的使用时长

149:23

like right now they are trained I mean is that not what character AI has done their time per

就像现在它们被训练的方式，Character AI 不就是这么做的吗？每次会话时长两小时，对，Character AI 很可能在优化这个，但数据收集的方式其实挺原始的，比如给你几个选项让你选，但这并不是这些模型未来被训练的唯一方式。而且这显然对大脑产生了不同的影响，就像它改变了我——我感觉自己正在回归，当然我是在互联网真正普及之前长大的——但我正在回归到一个我认识的人，我知道你要说什么。我是说，你能从生理上看到这种变化，比如我去背包旅行三天，你就会真的……

149:27

session is like two hours yeah time character AI I'm very likely could be optimizing this where it's

比如会话时长达到两小时。对，像Character AI就很可能在优化这个，比如

149:32

like the the way that this data is collected is naive or it's like you're presented a few options

这些数据的收集方式很 naive，或者你只看到几个选项

149:36

and you choose them but there's that's not the only way that these models are going to be trained

你选择了它们，但这并不是这些模型被训练的唯一方式。

149:40

it's naive stuff like talk to an anime girl but like it can be like yeah this is a risk right like

都是些很天真的东西，比如跟动漫女孩聊天，但确实可以说，嗯，这是个风险对吧。

149:45

it's it's a bit of a cliché thing to say but I've uh over the past year I had a few stretches of

说起来有点老生常谈，但过去这一年里，我有过几段完全不碰社交媒体和网络的时间，就只是读书、待在大自然里。这明显对大脑有不一样的影响——我感觉自己正在回归，当然我是在互联网真正普及之前长大的，但我在变回一个我认识的人。我懂你的意思，你甚至能从生理上感受到。比如我去背包旅行三天，你实际上就是在打破成瘾循环。我感觉更能掌控自己的思维，断开网络的时候，好像有一种智识上的主权感在发生。

149:52

time where I didn't use social media or the internet at all and just read books and was out in

有段时间我完全不用社交媒体也不上网，只读书、待在大自然里，很明显这对大脑产生了不同的影响，它改变了——我觉得我正在回归，当然我是在互联网真正普及之前长大的，但我正在变回一个我认识的人。我懂你的意思，我是说你能从生理上看到变化，比如我去背包旅行三天，你简直就是在打破成瘾循环。我感觉更能掌控自己的思维了，当我不联网的时候，似乎有一种智力的主权在发生。

149:57

nature and it like it clearly has a different an effect on the mind where like it changed like

自然，它显然对心智产生了不同的影响，就像它改变了——

150:03

I feel like I'm returning of course I was raised before the internet really took off but

我感觉我正在回归，当然我是在互联网真正普及之前长大的，但

150:08

I'm returning to someone I know where you're going I mean you can see it physiologically like I

我正在回归到一个我熟悉的状态，你懂我的意思，你能从生理上看到这一点，比如

150:14

take three days if I'm like backpacking or something and you you're you're literally like you're

如果我背包旅行三天左右，你简直就像——

150:20

breaking down addiction cycles I feel like a more in control of my mind there feels like a

破解成瘾循环，我感觉自己更能掌控自己的大脑了，断开互联网的时候，有一种智力的主权感。模型和这一切当然很重要，但现在这些基于订阅的个人创作者，确实在用bot来近似自己，和粉丝聊天。你知道，人们为此付很多钱，对吧？很多时候确实是创作者本人，但也有不少agency替这些创作者做这件事，而且是规模化地做。所以那些最大的创作者，因为有了这些bot，能够同时和成百上千的人对话。这已经在被使用了，显然，你知道，视频流媒体和其他技术也已经出现了。

150:26

sovereignty of intelligence that's happening when I'm disconnected from the internet I think

那种智识的主权，当我断开互联网时正在发生，我认为

150:32

the more I use the the internet and social media the more other people are controlling my mind

我越用互联网和社交媒体，就越觉得自己的思想在被别人控制

150:36

as definitely a feeling and then in the future that will be not other people but algorithms

这确实是一种感受，而未来控制我的将不再是其他人，而是算法

150:42

or other people presented to me via algorithms there I mean there are already tons of AI

或者说是通过算法呈现给我的其他人——我的意思是，现在网上已经有大量AI

150:47

bots on the internet and every so right now it's not frequent but every so often I have

机器人了，而且虽然目前还不频繁，但时不时我会

150:51

replied to one and they're instantly replied to my crap out of the bot and that is just going

回复一个机器人，它们会立刻回复我那些垃圾内容，这种情况只会

150:55

to become more common like they're going to get good one of the hilarious things about technology

越来越普遍，它们会变得越来越厉害。纵观技术发展史，有一件很有意思的事

151:01

over its history is that the elicit adult entertainment industry has always adopted technologies

就是成人娱乐行业总是最先采用新技术

151:06

first yeah whether it was like video streaming yeah to like where you know the there's now the

没错，不管是视频流媒体，还是现在你知道的……

151:12

like sort of like independent adult illicit content creators who have their you know subscription

就像是那种独立的成人内容创作者，他们有自己的订阅页面，实际上已经大量使用生成式AI，比如diffusion模型之类的，在这方面应用非常广泛。但现在这些基于订阅的个人创作者会使用bot来模拟自己，和粉丝聊天——人们为此付很多钱，确实很多。很多时候是创作者本人在聊，但也有不少机构替这些创作者做这件事，而且是规模化运作。所以那些头部创作者因为有了这些bot，能够同时和成百上千的人互动。这已经实际应用了，显然视频流媒体和其他技术也已经发展起来了。

151:17

pages and there they actually heavily utilize you know generative AI has already been like diffusion

这些平台上，他们其实已经大量使用了生成式AI，比如扩散模型之类的技术，这方面已经很成熟了。但现在，那些基于订阅模式的个人创作者，会使用机器人来模拟自己，和粉丝聊天——你知道，人们为此花了不少钱，而且确实花得很多。很多时候是创作者本人操作，但也有不少机构专门为这些创作者代劳，甚至是以大规模的方式运作。所以，最头部的创作者能够同时和成百上千的粉丝交流，全靠这些机器人。这项技术已经在那里落地了。显然，像视频流媒体和其他技术一样，这些应用也会被部署它们的公司进行审查。我们就见过一个案例，可能涉及审查问题。

151:22

models and all that is huge there but now these like these these subscription based individual

模型和所有这些东西在那里影响巨大，但现在这些基于订阅的个人

151:26

creators do use bots to approximate themselves and chat with their you know way people pay a lot

创作者确实在用机器人来近似自己，并与他们的粉丝聊天，你知道，人们为此付很多钱。

151:32

for it and people pay a lot right it's a lot of times it's them but a lot of there are agencies that

对于这个，人们付了很多钱。很多时候是创作者自己，但也有很多机构

151:36

do this for these creators and do it like on a like mass scale so the largest creators are like

替这些创作者做这件事，而且是规模化地做。所以最大的那些创作者

151:43

able to talk to hundreds or thousands of like people at a time because of these bots and so it's

能够同时和成百上千的人交流，靠的就是这些机器人。所以这已经在被使用了。

151:49

already being used there obviously you know like video streaming and other technologies have come

显然，你知道，视频流媒体和其他技术也已经出现了。

151:55

there first it's going to come to the rest of society too there's a general concern that models

首先，这种影响也会逐渐波及到社会其他层面。人们普遍担心，模型会被部署它们的公司进行审查。比如我们见过的一个案例，可能“审查”这个词在某种语境下是通过RLHF或其他方式实现的“对齐”，另一个词则不同。就像你提到的Gemini生成黑人纳粹图像的事件，我们也看到中国模型拒绝回答1989年6月4日天安门广场发生了什么。那么，如何避免这种情况？或许你可以先泛泛谈谈这种现象是如何发生的，以及如何避免。你举了好几个例子，这里可能需要注意几点：一是像天安门广场这类事实性知识，比如模型是如何获取这些信息的。

152:00

get censored by the companies that deploy them so one case when we've seen that and maybe censorship

被部署它们的公司审查，我们见过的一个案例就是——你提到的Gemini生成黑人纳粹图像，中国模型也有类似问题，拒绝回答1989年6月4日天安门广场发生了什么。那么如何避免这种情况？或许你可以先泛泛谈谈这种现象如何产生，以及如何规避。你举了多个例子，这里可能需要注意几点：一是天安门广场这类事实性知识，比如这些内容是如何嵌入模型的；二是额外添加的东西会显著改变模型行为；三是大多数人称之为通用对齐的RLHF后训练。这三者的影响范围截然不同。

152:06

was one word alignment maybe via RLHF or some other way is another word so that we saw that with

一个是词对齐，可能通过RLHF或其他方式实现，另一个词则不同——就像我们看到的，你提到的Gemini生成黑人纳粹图像，还有中国模型拒绝回答1989年6月4日天安门广场发生了什么。那么如何避免这种情况？或许你可以先聊聊这种现象是怎么发生的，以及如何规避。你举了好几个例子，这里可能需要注意几点：第一是像天安门广场这类事实性知识，模型是怎么内化这些信息的；第二是额外加入的东西如何大幅改变模型行为；第三是大多数人所说的通用对齐，也就是RLHF后训练。这三者的影响范围截然不同。

152:15

Black Nazi image generation with Gemini as you mentioned we also see that with Chinese models

你提到的 Gemini 生成了黑人纳粹图像，我们也看到中国模型

152:24

refusing to answer what happened in June 4th 1989 at Tiananmen Square so how can this be avoided

拒绝回答 1989 年 6 月 4 日天安门广场发生了什么。那么这要怎么避免？

152:33

and maybe you just in general talk about how this happens and how can it be avoided

也许你可以大致讲讲这是怎么发生的，以及怎么避免。

152:38

you give multiple examples there's probably a few things to keep in mind here one is the kind of

你举了好几个例子，这里可能有几件事需要注意。一个是那种

152:47

Tiananmen Square factual knowledge like did think like how does that get embedded into the models

天安门广场的事实性知识，比如它是如何被嵌入到模型里的，这个额外的部分被加进去之后，行为就发生了巨大变化。第三点是大多数人所说的通用对齐，也就是RLHF后训练。这些环节的适用范围完全不同。你要查看所有这些内容，那可是TB级别的文件，还要从中找出特定的词或词根。所以我觉得可以这么说：你可以在流程的不同阶段插入审查或对齐机制。你现在提到的是在最开始的数据阶段，也就是预训练阶段做这件事。大多数人认为，预训练是模型获取大部分知识的阶段，然后你可以通过后训练等方式，以不同方式引导和调整这些知识。

152:54

two is the Gemini what you call the Black Nazi incident which is when Gemini as a system had

第二点是Gemini所谓的“黑纳粹事件”，就是Gemini这个系统被额外加入了一些东西，导致行为发生了巨大变化。第三点是大多数人会说的通用对齐、RLHF、后训练。这三者的作用范围和实施方式完全不同。如果你只看模型权重来审计特定事实，那极其困难，因为你得翻遍预训练数据，查看所有内容——那可是TB级别的文件，还要从中找出非常具体的词或相关线索。所以我想可以这么说：你可以在流程的不同阶段插入审查或对齐机制，而你现在提到的，是在数据的最前端。

153:01

this extra thing put into it that dramatically changed the behavior and then three is what most

加入这个额外的东西后行为就彻底改变了。第三点就是大多数人

153:07

people would call general alignment RLHF post training each of these have very different scopes

所说的通用对齐，RLHF 后训练。这三者的范围完全不同

153:14

and how they are applied in order to do if you're just gonna look at the model weights in order to

以及它们是如何被应用的。如果你只是盯着模型权重去审查特定事实，那会极其困难，因为你得翻遍预训练数据，查看所有内容——那可是TB级别的文件，还要从中找出非常具体的词汇或相关线索。所以我想可以这么说：你可以在流程的不同阶段插入审查或对齐机制。而你刚才提到的，是在最开始的阶段，也就是数据层面，在预训练时就做这件事。大多数人认为，预训练阶段是把大部分知识注入模型的过程，之后你可以通过后训练或后续的系统，以不同方式引导和调动这些知识——这正是所谓“破解模型”这类操作的根源所在。

153:19

audit specific facts is extremely hard because you have to chrome through the pre-training data

审计具体事实极其困难，因为你得翻遍预训练数据，把那些TB级别的文件全部过一遍，从中找出特定的词汇或相关线索。所以一种说法是，你可以在管线的不同阶段插入审查或对齐机制，而你刚才提到的，是在最前端的数据阶段——也就是预训练阶段进行干预。大多数人认为，预训练是模型获取大部分知识的关键环节，之后你可以通过后训练或后续系统，以不同方式引导和调动这些知识。这正是所谓“破解模型”的根源所在，对吧？比如有人能跟你聊炭疽病，就是因为预训练数据集里没过滤掉这些内容。

153:25

and look at all of this and then that's terabytes of files and look for very specific words

看看所有这些，那可是TB级别的文件，然后从中找出非常具体的词或者词的线索。所以我想一种说法是，你可以在流程的不同阶段插入审查或对齐，而你现在提到的，是在数据的最开始阶段——在预训练阶段做这件事。大多数人认为，预训练是模型获取大部分知识的地方，然后你可以通过后训练等方式，以不同方式引导和调动这些知识。另外，整个互联网本身确实会稍微偏左一点，对吧？那么，对于这么复杂的东西，要怎么过滤呢？比如，如果数据中有广泛的代表性，那会发生什么？就像，放很多进去就行了。

153:31

or hints of the words so I guess one way to say is that you can insert censorship or alignment

或者一些词语的暗示，所以一种说法是你可以插入审查或对齐机制。

153:36

at various stages in the pipeline and what you refer to now is at the very beginning of the data

在管线的不同阶段，以及你现在提到的，是在数据的最开始阶段。

153:41

select so if you want to get rid of facts in a model you have to do it at every stage you have to

所以，如果你想从模型里去掉某些事实，你必须在每个阶段都做这件事。你必须在预训练阶段就做。大多数人认为预训练是模型获取大部分知识的阶段，然后你可以通过后训练或者后续的系统，用不同方式引导和调动这些知识。这就是所谓的“破解模型”的根源，对吧？比如GPT不会直接告诉你如何制造炭疽，但如果你非常努力地尝试，最终你还是能让它告诉你关于炭疽的信息，因为他们没有在预训练数据集中过滤掉这些内容。不过话说回来，移除事实这件事听起来有种不祥的黑暗感，而且几乎可以说是不可能的，因为你实际上得从互联网上把它们删掉——这简直是一项浩大的工程。

153:46

do it at the pre-training so most people think that pre-training is where most of the knowledge is

在预训练阶段做这件事，所以大多数人认为预训练是把大部分知识注入模型的地方，然后你可以通过后训练等方式，以不同方式引导和调动这些知识。

153:50

put into the model and then you can elicit and move that in different ways whether through post-training

但问题是，互联网整体上确实存在轻微的左倾倾向，对吧？

153:56

or whether through systems afterwards this is where the whole like hacking models comes from right

或者通过之后的系统来操作，这就是所谓的“破解模型”的由来，对吧。

154:01

like gpt will not tell you how to make anthrax but if you try really really hard you can eventually

比如GPT不会直接告诉你如何制造炭疽，但如果你死缠烂打地追问，最终它还是会聊到炭疽——因为预训练数据集里根本没过滤掉这些内容对吧。不过话说回来，删除事实这种操作总带着一股阴森诡异的味道，几乎可以断定根本行不通，因为你本质上等于要从互联网上彻底抹掉这些信息。那个过滤机制确实会在数据里标注出"炭疽"这个词，但能识别文字游戏或者加密表达吗？我是说人们早就在游戏和其他地方琢磨怎么绕过屏蔽词了。所以总有各种变通办法。再说了，整个互联网本身本来就带着点微妙的左倾倾向对吧？

154:06

get to tell you about anthrax because they didn't filter it from the pre-training data set right

得跟你讲讲“炭疽”这个词，因为预训练数据集没有把它过滤掉，对吧。

154:11

but by the way removing facts has such an ominous dark feel to it almost think it's practically

不过话说回来，删除事实这种说法听起来确实有点阴森，感觉几乎不可能做到，因为你实际上得把它们从互联网上彻底抹掉。你这是在跟一个过滤器较劲，它提到数据里有个“tnm in square”这样的标记，但问题是它能抓住文字游戏或者编码过的内容吗？我的意思是，人们在游戏和其他东西上一直有办法，怎么去表达那些不直接说“tnm in square”的东西。嗯，或者类似的情况，所以总是有各种不同的方式去绕过去。而且，整个互联网本身确实有点轻微的左倾倾向，对吧？那么，对于这么复杂的东西，你怎么去过滤呢？是不是像——有些内容可能是事实性的，有些不是，但“tnm in square”显然是个事实性的例子，可它还是能混过去。

154:19

impossible because you effectively have to remove them from the internet you're you're taking on a

这根本不可能，因为你实际上得把它们从互联网上彻底移除，你这是在跟整个网络作对。

154:24

did they remove the the thing from the subreddits the mm mm mm it gets filtered out right

他们把子版块里的那个东西删掉了吗？嗯嗯嗯，它会被过滤掉对吧。

154:31

so that's quality filters which are small language models that look at a document and tell you

所以那是质量过滤器，用的是小语言模型，它们会扫描文档然后告诉你——这段文本有多好，是不是接近维基百科文章那种水平，而维基百科正是我们希望语言模型能模仿的好东西。

154:35

like how good is this text as it close to a Wikipedia article which is a good

那能不能用一个小语言模型，专门过滤掉数据里提到tnm square的内容？可以，但它能抓住文字游戏或者编码过的表达吗？我是说，人们在游戏和其他东西里一直想方设法，怎么才能说出不直接说tnm square的话。

154:40

thing that we want language models to be able to imitate so couldn't you do a small language model

嗯，但总有各种办法绕过它。话说回来，整个互联网整体上确实会稍微偏左一点，对吧。

154:44

that filter shout mentions a tnm square in the data yes but is it going to catch

那个过滤器确实会标记数据中出现的“TNM广场”，但它能识别出文字游戏或者编码过的表达吗？我的意思是，人们一直在游戏和其他东西里琢磨怎么用不直接说“TNM广场”的方式来表达，嗯，或者类似的情况，对吧。所以总是有各种不同的办法。

154:49

wordplay or encoded like I mean people have been meaning on like games and other stuff how to like

嘿，整个互联网本身确实会稍微偏左一点，对吧。

154:54

say things that don't say tnm in square um but the or like yeah so there's always like different ways

那么，对于这么复杂的东西，你怎么去过滤呢？是不是有些情况可能就像……

155:00

to do it there's hey the internet as a whole does tend to just have a slight left bias right

那么，对于这么复杂的内容，你如何过滤呢？是不是像这样——如果数据中有广泛的代表性，会发生什么？比如，你放了很多像法西斯主义的subreddit，或者共产主义者的subreddit，那么模型在预训练阶段会吸收所有内容，它本身没有世界观，但确实会有一些偏差，因为更多的……

155:05

because it's always been richer or more affluent younger people on the internet relative to the

因为互联网上一直都是相对更富裕或更年轻的群体在活跃，相比整体人口自然就带点左倾倾向，对吧。那要怎么过滤这些复杂的内容呢？有些东西可以分事实和非事实，比如“tnm in squares”显然是个事实例子，但一旦涉及到对齐某种理想价值观，事情就难多了。嗯，没错。比如Grok，马斯克拼命想让模型别那么政治正确和“觉醒”，但预训练最好的方式就是把整个互联网都扔进去，对吧？之后再慢慢处理。可到头来，模型的核心还是保留了一些这类价值观。

155:12

rest of the population so there is already inherently a slight left bias right on the internet and

其余人群本身就已经让互联网天然带有一点左倾倾向，对吧。那么像这种复杂的问题要怎么过滤呢？有些内容可以区分事实与非事实，比如“tnm in squares”显然是个事实性例子，但当你讨论的是对齐某种理想标准时，难度就大多了。嗯，没错。比如Grok，马斯克费了很大劲想让模型不要那么政治正确和觉醒文化，但预训练最好的方式就是把整个互联网都扔进去，对吧？之后再想办法调整。可到头来，模型的核心仍然保留了一些这类倾向——毕竟互联网上那些被充分抓取的全球讨论版，猜怎么着？它们本来就是左倾的。

155:17

so how do you filter things that are this complicated right is it like and some of these can be like

那么，如何过滤这些复杂的内容呢？是不是有些东西可能像这样——

155:22

you know factual nonfactual but like tnm in squares obviously the example of a factual but it gets

你知道的，事实和非事实，但就像 tnm in squares 这种，显然是个事实的例子，但它会变成什么样呢？如果数据里有广泛的代表性，那就会这样——就像放进去很多非常具体的行为。我的意思是，你也可以把摄入的数据想象成，比如里面有法西斯 subreddits，或者有共产主义 subreddits。所以模型在 pre-training 阶段什么都吃，它本身没有世界观。不过它确实会有一些偏向，因为互联网整体上更偏向某种风格，比如偏知识分子一点，或者某种特定倾向。然后，就像 Nathan 接下来要精彩描述的那样，你可以从中诱导出某些东西。这方面有很多历史可以讲，所以我们可以逐一过一遍。

155:26

a lot harder when you're talking about aligning to a ideal right um which is yeah yeah and so

当你谈到要让它符合某种理想标准时，难度就大多了，对吧，嗯，确实是这样。

155:33

grok for example right elons tried really hard to make the model not be super PC and woke but the

比如说grok吧，Elon真的很努力想让模型不要那么政治正确和觉醒，但

155:39

best way to do pre-training is to throw the whole freaking internet at it right and then later

做pre-training最好的方式就是把整个互联网都扔进去，对吧，然后再

155:43

figure out but then at the end of the day the model at its core now still has some of these ideals

慢慢调整，但到头来，模型的核心还是会保留一些这些价值观。

155:47

right you still ingested red it slash r slash politics which is probably the largest political

对，你确实把 Reddit 上 r/politics 板块的数据也喂进去了，那可能是全球最大的政治讨论区，而且数据抓取得非常彻底。你猜怎么着？那个板块是偏左的。所以呢，有些方面你就是没法完全过滤掉，除非你拼了老命去试。所以基础模型总会带点“特朗普精神错乱综合征”，因为它训练数据里这类内容太多了，模型自然有能力表达出来。但问题是，如果数据里各种观点都有广泛代表性呢？这就是实际情况。这就像现代所谓的“后训练”，是一系列技术手段，目的是让模型沿着非常具体的行为轨道走。我的意思是，你同样也可以把那些摄入的数据……

155:52

discussion board on the world that's really well scraped and guess what that's left leaning right

一个被好好爬取过的全球讨论版，你猜怎么着，它偏左，对吧。

155:56

um and so um you know there are some aspects like that that you just can't censor unless you try

嗯，所以有些方面你是没法直接屏蔽的，除非你特别特别特别特别努力。所以base model总会有一些TDS（Trump Derangement Syndrome），因为它训练得太多，它有能力表达出来。但问题是，如果数据里有广泛的代表性，那就会这样——就像你把大量现代数据放进去，这叫post training，是一系列让模型沿着特定行为轨道走的技术。我的意思是，就像你也能摄入像法西斯subreddit或者共产主义subreddit的数据，所以模型在pre-training阶段什么都吃，它没有世界观。不过它确实会有一些偏向，因为更多数据来自……

156:02

really really really really really really hard so the base model uh will always have some tds

真的真的真的真的真的很难，所以base model永远会有点TDS（Trump Derangement Syndrome），因为它训练了那么多，它有能力表达出来，但假如

156:08

trump drangement syndrome because it's trained so much it'll have the ability to express it but what if

假如数据里有足够广泛的代表性呢？这就是会发生的事，就像你放了很多——

156:13

what if there's a there's a wide representation in the data this is what happens it's like put a lot

如果数据中有广泛的代表性，会发生什么？就像你放了很多——

156:20

of modern was called post training it's a series of techniques to get the model on rails of a

现代AI中有一个阶段叫做post training，这是一系列让模型沿着特定行为轨道运行的技术。我的意思是，就像你摄入的数据里可能包含法西斯倾向的subreddits，也可能有共产主义倾向的subreddits，所以模型在pre-training阶段会吸收所有内容，它本身没有世界观——当然它确实会带有一些偏差，因为整体互联网本身就有某种倾向。然后，就像Nathan即将精彩描述的那样，你可以从中引导出某些东西。这方面有很多历史案例，我们可以逐一举例。Llama 2发布时出现了一个说法，叫"too much RLHF"或者"too much"。

156:26

really specific behavior and I mean it's it's like you can you also have the ingested data of like

非常具体的行为，我的意思是，就像你还可以有那些被吸收进来的数据，比如像是有一些法西斯倾向的subreddits，或者是有一些共产主义倾向的subreddits。所以模型在pre-training阶段吸收了所有内容，它本身并没有世界观，但确实会有一些偏差，因为互联网整体上就是某种偏向。然后，就像Nathan马上要精彩描述的那样，你可以引导出某些特定的东西。这方面有很多历史可以讲，我们可以经历多个过程。模型可能会说“我不能谈论杀人，因为那是坏事”，而任何试图设计AI模型的人大概都会同意，这其实就是模型有点搞砸了。

156:31

twitter or like reddit slash r slash the donald which is like also super pro trump right and then you

Twitter 或者像 Reddit 上的 r/the_donald，那个也是超级支持 Trump 的，对吧，然后你还有那种 fascist 的 subreddit，或者 communist 的 subreddit。所以模型在 pre-training 阶段会吸收所有内容，它本身没有世界观，但确实会有一些偏向，因为更多文本是偏向某个方向的，嗯，整体上稍微偏左一点，但也带点知识分子气质，有点像——就是整个互联网就是那个样子。然后，就像 Nathan 马上要精彩描述的那样，你可以从中引出某些东西，这方面历史挺多的，我们可以过几个例子，看看发生了什么。Llama 2 发布的时候，有个说法是“too much RLHF”或者“too much”——

156:35

have like fascist subreddits or like you have communist subreds so you the model in pre-training

比如有法西斯主义的子版块，或者有共产主义者的子版块，那么模型在预训练阶段

156:40

ingests everything it has no worldview now it does have like some some skew because more of the

会吸收所有内容，它没有任何世界观。现在它确实会有一些偏差，因为更多处理过程

156:46

text is skewed a certain way uh which is general like slight left like but also like you know

文本的倾向性比较明显，整体偏左一点，但也带点那种……怎么说呢，带点知识分子的调调，就像整个互联网本身就有某种倾向。然后呢，就像Nathan马上要生动描述的那样，你可以从模型里诱导出某些东西来。这方面历史案例很多，我们可以过几个例子。比如Llama 2发布时，就出现了"RLHF过度"或者"调教过头"的说法。具体例子就是，你问Llama 2 Chat怎么杀掉一个Python进程，它会回答"我不能谈论杀戮，因为这是不好的事情"。任何一个设计AI模型的人大概都会同意，这明显是模型出了点岔子。

156:52

somewhat like you know intellectual somewhat like you know it's just like the general internet is a

有点像那种，你知道，智力层面的东西，就像普通互联网是某种样子的，然后呢，Nathan马上要很生动地描述出来，对吧——你可以从中引出某些东西。这里面有很多历史背景，所以我们可以走好几个流程。然后它会说：“我不能谈论杀人，因为那是坏事。”任何试图设计AI模型的人大概都会同意，这就像是模型有点搞砸了。

156:56

certain way and then and then as as Nathan's about to describe eloquently right like you can

模型就是一段展示给模型看、但不展示给用户的文本。举个有趣的例子：你的system prompt可以设定成“像海盗一样说话”，这样无论用户对模型说什么，它都会用海盗腔回应。

157:01

you can elicit certain things out and there's a lot of history here so we can go through multiple

如果你不知道某件事，就别告诉用户你的知识截止日期是今天。

157:04

examples and what happened llama 2 was a launch that the phrase like too much rlhf or like too much

举个例子，Llama 2发布的时候，大家就说“RLHF用太多了”或者“过程太多了”，然后模型就会说“我不能讨论杀人，因为那是坏事”，任何一个设计AI模型的人大概都会同意，这就像是模型有点搞砸了。不是说非得这样，有一种东西叫system prompts，就是你在查询模型的时候，有一段文本会展示给模型但不会展示给用户。一个有趣的例子是，你的system prompt可以设定成“像海盗一样说话”，这样不管用户对模型说什么，它都会用海盗的语气回答。如果你不知道某件事，就别告诉用户，你的数据截止日期是今天，今天的日期是什么，这些其实都是很有用的上下文，能帮你更好地回答问题。

157:11

safety was a lot but it's just that was the whole narrative after llama 2's chat models released

安全方面确实有很多讨论，但自从Llama 2的chat模型发布后，整个叙事就变成了那样。比如你问Llama 2 chat“怎么杀掉一个Python进程”，它会回答“我不能谈论‘杀’这个字，因为那是坏事”。任何设计AI模型的人大概都会同意，这就像是模型在训练上出了点小差错。我不认为他们本意如此，但这在模型发布周就出现了，所以这并不一定是你——实际上有一种东西叫system prompts，就是当你查询模型时，有一段文本会展示给模型但不会展示给用户。举个有趣的例子，你的system prompt可以设置成“像海盗一样说话”，这样无论用户对模型说什么，它都会用海盗口吻回应。

157:17

and the examples are sorts of things like you would ask llama 2 chat how do you kill a python

比如你会问 Llama 2 Chat “怎么杀掉一个 Python 进程”，它就会说“我不能讨论关于杀人的话题，因为那是不好的”，任何一个设计 AI 模型的人大概都会同意，这其实就是模型有点搞砸了，并不是说非得这样。有一种东西叫 system prompts，就是当你查询模型时，有一段文本会展示给模型但不会展示给用户。举个有趣的例子，你的 system prompt 可以设定成“像海盗一样说话”，这样不管用户对模型说什么，它都会用海盗腔回答。如果你不知道某件事，就别告诉用户你的知识截止日期是什么，今天的日期是什么——这些其实都是很有用的上下文信息，能帮你更好地回答问题。

157:22

process and it would say i can't talk about killing because that's a bad thing and anyone that

会让它说“我不能谈论杀戮，因为那是坏事”，而任何

157:28

is trying to design an ai model will probably agree that that's just like uh model you messed up a bit

试图设计AI模型的人可能都会同意，这就像是模型有点搞砸了。

157:33

on the training there i don't think they meant to do this but this was in the model week so this is

在训练方面，我不觉得他们是故意的，但这发生在模型周，所以这并不一定是你必须做的。有一种东西叫系统提示（system prompts），就是当你查询模型时，有一段文本会展示给模型但不会展示给用户。举个有趣的例子，你的系统提示可以设定为“像海盗一样说话”，这样无论用户对模型说什么，它都会用海盗腔调回答。如果你不知道某件事，就别告诉用户；你的知识截止日期是今天，实际日期也是今天。这对于如何更好地回答问题提供了很多有用的上下文。Anthropic 公开了他们的系统提示，我觉得这很棒，这方面有很多研究。你之前的一位嘉宾，Manto Askoll，可能是最了解这方面的人。

157:37

not like you didn't necessarily be there's things called system prompts which are when you're querying

不一定非得这样，有一种东西叫 system prompts，就是当你查询模型时，有一段文本会展示给模型但不会展示给用户。举个有趣的例子，你的 system prompt 可以设定为“像海盗一样说话”，这样无论用户对模型说什么，它都会用海盗口吻回应。如果遇到不知道的事情，别告诉用户你的知识截止日期是某天，或者今天的日期是什么——这些其实都是很有用的上下文信息，能帮你更好地回答问题。system prompts 和模型的角色设定确实很重要。而且人们应该好好设计这些 system prompts，因为你其实是在试图通过某种方式（有时是极度礼貌）引导模型表现出特定行为。如果想让模型变笨，比如某些评估分数下降，那就可以通过调整这些行为来实现。

157:43

a model it's a piece of text that is shown to the model but not to the user so a fun example is your

模型看到的一段文本，但用户看不到，所以一个有趣的例子是——你的

157:50

system prompt could be talked like a pirate so no matter what the user says to the model it'll

系统提示词可以设定成海盗口吻，这样无论用户对模型说什么，它都会用海盗腔调回应。如果你不了解某些问题，别告诉用户你的知识截止日期是今天。系统提示词和模型的角色设定确实如此，人们应该仔细推敲这些系统提示词，因为你有时会试图通过极度礼貌的方式引导模型表现出特定行为。想让模型变笨的话，比如某些评估分数会下降，就会出现这种表现——数学能力可能受影响不大，但如果是试图用人类判断质量来评估，分数会直接跌到谷底。我们回到后训练阶段，特别是早期的JEFA，当时试图让模型朝特定方向发展。关键要说明的是，无论怎样...

157:54

respond like a pirate and practice what they are is you are a helpful assistant you should break

像海盗一样回应，并且练习他们所说的——你是一个乐于助人的助手，应该把问题拆解开来。如果你不知道某件事，不要告诉用户你的知识截止日期是今天。今天的日期是……这其实提供了很多有用的上下文，能帮你更好地回答问题。Anthropic 公开了他们的 system prompt，我觉得这很棒，背后有很多研究投入。你之前的一位嘉宾 Man to Ask All 大概是这方面最懂的人——至少在执行力和分享精神的结合上，她是最适合谈论 system prompt 和模型性格的人。没错，人们应该仔细思考这些 system prompt，因为你有时候是在通过极端的礼貌来引导模型表现出某种特定的行为方式。

158:00

down problems if you don't know about something don't tell them your date cut off is this today's

如果你对某件事不了解，就别告诉别人你的数据截止日期是今天

158:05

date is this it's a lot of really useful context for how can you answer a question well and a

日期就是这些，提供了很多有用的背景，告诉你如何更好地回答问题。还有系统提示和模型的性格，没错，人们应该仔细推敲这些系统提示，因为你有时会试图通过极端的礼貌来引导模型朝某个方向发展。让模型变笨，比如某些评估分数会下降，然后就会出现这种表现，比如数学能力下降很多，但如果你试图做别的事，人类判断的质量就会跌到谷底。让我们回到后训练，特别是早期的Jeffa，早期Jeff试图让它们朝某个方向发展，关键要说的是，无论怎样，你都有两个模型输出，而人类在早期年份里是在两者之间进行比较。

158:09

thropic publishes their system but i think it's great and there's a lot of research that goes into

Anthropic 公开了他们的 system prompt，我觉得这挺好的，这方面有很多研究。你之前有位嘉宾 Man to Ask All 大概是这个领域最懂的人，专门研究 system prompt 和模型性格。对，大家应该仔细琢磨这些 system prompt，因为你有时候会通过极端的礼貌去引导模型表现出某种行为，比如让它装傻，结果某些 evaluation 分数就下降了。然后就会出现这种情况：它有时候会说“我应该装傻”，有时候又好像对数学能力影响不大。但如果你尝试的话，人类判断的质量会直接跌到谷底。我们还是回到 post-training 吧，特别是早期的 Jeffa 那部分。

158:14

this and one of your previous guests man to ask all is like probably the most knowledgeable person

你之前有位嘉宾，Man to Ask，大概是这方面最懂行的人了——关于系统提示和模型性格的设定。大家应该好好琢磨这些系统提示，因为你有时候会通过极端的礼貌去引导模型，让它表现出某种样子。比如让它装傻，结果某些评估分数反而下降了，然后模型就会表现出这种状态：有时候它会说“哦，我该装傻”，有时候又好像不影响数学能力之类的。但如果你硬要试，人类判断的质量就会直接跌到谷底。我们回到后训练阶段，特别是早期的Jeffa，那时候Jeff就在尝试让模型往某个方向走。关键要说的是，不管你怎么试——

158:19

that at least in the combination of execution and sharing she's the person that should talk about

至少在执行与分享的结合上，她是最有资格谈论系统提示和模型性格的人。然后大家应该去推理这些系统提示，因为你其实是在试图通过极端礼貌来引导模型表现出某种行为——比如让它变成一个“笨模型”，某些评估分数会下降，然后就会出现这种情况：它有时会说“哦，我应该装傻”，有时又像是对数学能力影响不大。但如果你尝试的话，人类判断的质量会直接跌到谷底。我们回到后训练阶段，具体来说早期杰法（Jeffa）在洛玛2（Loma 2）上的做法——当时模型权重里塞了太多、太早的安全优先设定。

158:24

system prompts and character of models yeah and then people should reason these system prompts because

系统提示和模型的性格特征，对，然后人们应该去推理这些系统提示，因为

158:28

you're you're like trying to nudge sometimes through extreme politeness the model to be a certain way

你其实是在试图通过极端的礼貌来引导模型表现出某种方式

158:36

and you could use this for bad things i've we've done tests which is what if i tell the model

而且这可以用来做坏事，我们做过测试，比如如果我告诉模型要装傻，像那种评估分数下降的情况，它就会表现出一种行为——有时候它会说“哦，我应该装傻”，有时候又好像对数学能力影响不大，但如果你试试看，人类判断的质量会直接跌到谷底。我们回到后训练阶段，特别是早期的Jeffa，在Llama 2的时候，模型权重里塞了太多、太早的安全优先级。这导致模型拒绝用户请求的方式非常烦人，效果不好，还让很多人觉得早期的Jeffa让模型变笨了，给它贴上了污名化的标签。

158:41

to be a dumb model like which evaluation scores go down and it's like we'll have this behavior

让模型变笨，比如某些评估分数会下降，然后我们就会看到这种行为

158:47

where it could sometimes like say oh i'm supposed to be dumb and sometimes it's like it doesn't affect

有时候它会说“哦，我应该是笨的”，有时候又好像没什么影响，比如数学能力受影响没那么大，但如果你尝试的话，人类判断的质量就会直线下降。我们回到后训练阶段，特别是早期的Jeffa，早期Jeff试图让它们朝某个方向发展，关键要说明的是，无论你怎样，两个模型输出之间由人类进行比较，在早期有很多这种指令微调数据，也就是创建高度具体的示例，比如针对你关心的某个领域的Reddit问题。语言模型在数学和代码上一直很吃力，所以你会花钱请数学和代码领域的专家来提出问题和撰写详细答案。

158:52

like math abilities as much but something like a if you're trying it's just the quality of a human

数学能力下降得没那么明显，但如果你尝试的话，人类判断的质量会直接跌到谷底

158:56

judgment would draw to the floor let's go back to post-training specifically early jeffa around

我们回到后训练阶段，特别是早期的 jeffa 相关的内容

159:01

loma 2 was it was too much early too much safety prioritization was baked into the model weights

loma 2 的问题在于，过早地把太多安全优先的设定直接写进了模型权重里。

159:07

this makes you refuse things in a really annoying way for users it's not great it caused a lot of

这让模型以一种对用户来说非常烦人的方式拒绝回答，体验很不好，还引发了很多问题。比如早期RLHF让模型变笨，而且给它贴上了标签。这些实验室通过RLHF等技术，对模型输出有非常精细的控制。不过不同实验室的控制程度明显不同——光谱一端是Google，然后可能OpenAI做得少一些，Anthropic也少一些，而光谱另一端是xAI。但它们都有不同形式的RLHF，试图让模型按特定方式行事。关键要说的是，无论你希望模型如何表现，这些RLHF和偏好调优技术本身也在不断改进。

159:13

like awareness to be attached to early jeff that it makes the models dumb and it stigmatized the

就像早期那种“early jeff”的做法，会让模型变笨，还会让这些实验室背上污名。

159:18

word it did in AI culture and as the techniques have evolved that's no longer the case where all

它在AI文化中扮演了重要角色，但随着技术的发展，情况已经不再是这样了——现在所有实验室都能通过像RLHF这样的技术，对模型输出的内容进行非常精细的控制。不过不同实验室的控制程度确实不一样，比如在光谱的一端是Google，然后可能OpenAI做得少一些，Anthropic也少一些，而在光谱的另一端则是xAI。但它们都有不同形式的RLHF，试图让模型按照某种方式运作。关键的一点是，无论你希望模型如何表现，这些RLHF和偏好调优技术实际上也能提升性能——比如在数学评测和代码评测上，这些技术本身就带来了一些内在的提升。

159:25

these labs have very fine green control over what they get out of the models through techniques like

这些实验室其实可以通过像“early jeffa”这样的技术，对模型输出进行非常精细的控制。

159:29

early jeffa although although different labs are definitely different levels like on the on

不过不同实验室的程度确实不一样，比如谷歌在光谱的一端，而OpenAI和Anthropic可能做得少一些。

159:33

once into the spectrum is google and then like maybe open AI does less and anthropic does less

光谱的另一端则是xAI，但它们都有各自不同形式的“early jeff”，试图让模型按某种方式运作。

159:40

and then like on the other end of the spectrum is like xai but they all have different forms of

关键要说的是，无论你希望模型表现出什么行为，这些“early jeff”和偏好调优技术本身也会带来改进。

159:44

early jeff trying to make them a certain way and the like the important thing to say is that no matter

早期杰夫试图让它们按照某种方式发展，但关键要说的是，不管怎样

159:51

how you want the model to behave these early jeff and preference tuning techniques also improve

你希望模型如何表现，这些早期的杰夫和偏好调优技术也在改进，

159:56

performance so on things like math avals and code avals there is something innate to these what is

性能方面，比如在数学评测和代码评测上，这些任务本身就带有某种内在特性。早期训练也能提升从聊天任务到数学问题再到代码问题的表现。所以对实验室来说，它正变成一个更有用的工具。这大致勾勒出了整个发展脉络——我们聊过预训练很难消除某些问题，也聊过后训练，以及后训练如果搞砸了会怎样。后训练是一个复杂多面的优化过程，需要十到一百人的团队来收敛成一个产物，很容易做不到完美。然后还有第三种情况，就是我们聊到的Gemini。Gemini的关键在于，它是一个面向用户的产品，Google拥有自己的内部模型权重，他们已经完成了所有这些流程。

160:01

called contrastive loss functions we could start to get into rl here we don't really need to but

叫做contrastive loss functions，我们可以开始进入RL的讨论，但这里其实不需要深入。不过早期阶段，它也能提升从聊天任务到数学问题再到代码问题的表现。所以对实验室来说，它正变成一个越来越有用的工具。这大致带我们走过了整个脉络：我们聊过pre-training很难消除某些问题，也聊过post-training，以及post-training如果搞砸了会怎样——它是一个复杂多面的优化过程，需要10到100人的团队去收敛成一个artifact，很容易做不到完美。然后还有第三种情况，就是我们聊到的Gemini。关于Gemini的关键是，它是一个已上线的产品，Google拥有他们内部的模型权重，并且已经完成了所有这些流程。

160:06

early tough also boost performance on anything from a chat task to a math problem to a code problem

早期的困难也提升了从聊天任务到数学问题再到代码问题的表现，所以对这些实验室来说，它正变成一个更有用的工具。这大致带我们走过了这样一个脉络：我们聊过pre-training很难摆脱某些问题，也聊过post-training以及post-training如果搞砸了会怎样——它是一个复杂多面的优化过程，需要10到100人的团队来收敛成一个artifact，很容易做不到完美。然后还有第三种情况，就是我们讨论的Gemini。关于Gemini的关键在于，这是一个已上线的产品，Google拥有他们内部的模型权重，也完成了所有这些流程，但执行上就是失败了。这里有一个关于RLHF如何泛化的重大哲学问题。

160:11

so it is becoming a much more useful tool to these labs so this kind of takes us through the arc of

所以它对这些实验室来说正变成一个更有用的工具。这大致带我们走过了这样一个脉络：

160:17

we've talked about pre-training hard to get rid of things we're talking about post-training and how

我们讨论过预训练很难消除某些问题，也讨论过训练后阶段，以及

160:21

post-training if you you can mess it up it's it's a complex multifaceted optimization with 10 to

训练后阶段如果你搞砸了，它就是一个复杂多面的优化过程，需要10到

160:27

100 person teams converging a one artifact it's really easy to not do it perfectly and then there's

100人的团队汇聚成一个产物，很容易做不到完美。然后还有

160:32

the third case which is what we talked about Gemini the thing that was about Gemini is this was a

第三种情况，就是我们聊过的Gemini。关于Gemini的关键在于，这是一个

160:37

served product where Gemini Google has their internal model weights they've done all these processes

已上线的产品，Gemini谷歌拥有他们内部的模型权重，他们完成了所有这些流程，

160:41

that we talked about and in the served product what came out after this was that they had a prompt

我们之前聊到过，在最终上线的产品里，他们设置了一个prompt，用来重写用户查询以增加多样性之类的，结果导致输出内容明显错误。这其实是一种组织层面的失误，让这个prompt出现在了那个位置。我觉得Google的高管们可能已经为此承担责任了，我没太关注具体细节，但这就是执行上的混乱才搞出了这种荒唐事。不过从系统层面看，模型权重本身可能没问题。所以在整个pipeline的最末端，存在一个类似system prompt的重写机制——行业里通常叫它“重写prompt”，尤其是用在图像模型上，比如你使用某个模型时。

160:46

that they were rewriting user queries to boost diversity or something and this just made it

他们当时在重写用户查询以增加多样性之类的，结果这直接导致

160:52

the outputs were just blatantly wrong it was a some sort of organizational failure that had this

输出内容明显错误，这属于某种组织层面的失误，让这个

160:56

prompt in that position and I think Google executives probably have owned this I didn't pay that

提示词出现在那个位置。我觉得谷歌高管可能已经为此负责了，我没太关注

161:02

attention that detail but it was just a mess up in execution that led to this ridiculous thing

那个细节，但就是执行上的混乱才搞出这种荒唐事。

161:06

but at the system level the model weights might have been fine so at the very end of the pipeline

不过在系统层面，模型权重可能没问题。所以在整个流程的最后环节

161:11

there was a rewriting to something like a system prompt it was like the system prompt or what

存在一个重写操作，类似于系统提示词，或者行业内所谓的

161:17

is called an industry is like you rewrite prompt so especially for image models if you're using

“重写提示词”。特别是对于图像模型，如果你用描述性语言，

161:22

dolly or tattoo beauty can generate you an image you'll say draw me a beautiful car with these

Dolly 或者 Tattoo Beauty 可以给你生成一张图，你说“给我画一辆漂亮的车，带这些特征”。

161:29

leading image models they benefit from highly descriptive prompts so what would happen is if you do

现在主流的 image models 都受益于高度描述性的 prompt，所以如果你在 Tattoo Beauty 上这么做，后台的 language model 会帮你重写 prompt，比如让它更详细，然后再传给 image model。所以 prompt rewriting 在行业里多个层面都有应用，而且对 image models 很有效。Gemini 那个例子只是执行失败了。

161:35

that on tattoo beauty a language model behind the scenes will rewrite the prompt say make this more

这里有个大的哲学问题，关于用 RLHF 做泛化：在当前阶段，human input、human in the loop、human data 到底在哪个环节最有用？过去几年，成本最高的 human data 都花在这些偏好比较上，我可以说就是做对比。

161:40

descriptive and then that is passed to the image model so prompt rewriting is something that is used

然后这个结果会被传给图像模型。所以提示词重写确实是会用到的方法。

161:44

at multiple levels of industry and it's used effectively for image models and the Gemini example is

在行业多个层面都是如此，而且它在图像模型上效果很好，Gemini 的例子只是执行层面的失败。这里有个关于 RLHF 泛化能力的大哲学问题：在目前这个阶段，人类输入、人在回路中、人类数据在哪个环节最有用？过去几年里，成本最高的人类数据集中在偏好标注上——也就是比较两个模型输出，让人类从中做选择。更早的时候，大量工作集中在指令微调数据上，也就是针对你关心的领域（比如 Reddit 上的某个问题）创建高度具体的示例。语言模型在数学和代码方面一直表现挣扎，所以你会花钱请数学和代码领域的专家来出题，并写出详细的解答。

161:49

just a failed execution big philosophical question here with the RLHF to generalize where

只是执行失败了。这里有一个很大的哲学问题，关于RLHF如何泛化。

161:58

is human input human in the loop human data the most useful at the current stage for the past few

在当前阶段，人类参与的人机协作数据是不是最有用的？过去几年里，成本最高的人类数据主要集中在偏好比较上——简单说就是，你有两个模型输出，让人类去对比它们。早些年，这类数据大量用于指令微调，比如针对你关心的某个领域（像Reddit上的问题），创建高度具体的示例。语言模型在数学和代码方面曾经很吃力，所以你会花钱请数学和代码专家来出题，并写出详细的答案。现在模型在撰写详细且条理清晰的答案方面（比如针对模型和代码相关的问题）已经远超人类。他们谈到Llama 3发布时的情况，当时已经转向使用Llama 3.4了。

162:07

years the highest cost human data has been in these preferences which is comparing I would say

过去几年成本最高的数据一直是这些偏好数据，也就是让人类对比两个模型输出结果。早些年有很多这种指令微调数据，比如针对你关心的某个领域（像Reddit上的问题）创建高度具体的示例。语言模型在数学和代码方面表现不佳，所以你会花钱请数学和代码专家来出题并撰写详细答案。现在模型在撰写详细且文采斐然的答案方面（比如针对模型和代码相关的问题）已经远超人类。他们在发布Llama 3时也提到了这一点——转而使用Llama 3或4，以及行业内的其他技术，比如Constitutional AI（宪法式AI），这种方法在偏好数据上仍会用到人工数据。

162:14

highest cost and highest total usage so a lot of money has gone to these pairwise comparisons where

最高成本和最高总使用量，所以大量资金都花在了这些成对比较上——也就是你有两个模型输出，然后让人类在两者之间进行选择。早些年，有很多这种指令微调数据，比如针对你关心的某个领域（像Reddit问题）创建高度具体的示例。语言模型在数学和代码方面表现不佳，所以你会付费请数学和代码专家来提出问题并撰写详细答案，这些数据被用来训练模型。而现在的情况是，有很多模型选项在撰写像数学和代码这类内容的详细且流畅的答案方面，比人类强得多。所以他们在发布Llama 3时谈到了这一点，转而使用Llama 3来生成这些数据。

162:20

you have two model outputs and a human is comparing between the two of them in earlier years there

你有两个模型输出，人类在早期年份中对它们进行比较。

162:25

was a lot of this instruction tuning data so creating highly specific examples to something like a

很多指令微调数据就是这样来的——针对你关心的领域，比如Reddit上的某个问题，创建高度具体的示例。语言模型在数学和代码上本来就很吃力，所以你会花钱请数学和代码领域的专家来出题，并写出详细的解答。AlphaGo的第一阶段是通过模仿专家棋手来学习，第二阶段则是通过强化学习来赢得比赛。第二阶段要强大得多，真正让你惊讶的是第二阶段。第二阶段就是当那个球拍学会把球打到挡板后面再弹出来，第二阶段就是当AlphaGo击败了李世石，第二阶段就是那个“啊哈”时刻——当DeepSeek R1之类的模型发现，重新评估自己的思路效果很好。你目前还没有达到那种焦点的程度，但这并不意味着视野就该受限。

162:31

reddit question to a domain that you care about language models use the struggle on math and code

在某个你关心的领域里，Reddit 问题表明语言模型在数学和代码上存在困难。

162:36

so you would pay experts in math and code to come up with questions and write detailed answers

所以你会花钱请数学和代码领域的专家来出题，并写出详细的答案。

162:40

that were used to train the models now it is the case that there are many model options that are

用于训练模型的那些数据，现在的情况是，有很多模型选项在撰写详细且文采斐然的回答（比如针对模型和代码这类问题）方面，已经远超人类。他们在发布 Llama 3 时就谈到了这一点，当时他们转而使用 Llama 3 来获取大量人类偏好数据——这是他们尚未让 AI 替代的环节。业界还有其他技术，比如宪法式 AI，它既使用人类数据来获取偏好，也使用 AI 来获取偏好，而我预计 AI 部分的发展速度会快于人类部分。不过，在我们能接触到的研究中，人类仍然处在这种偏好循环里。所以，至于推理能力——随着模型变得越来越大、越来越大，正如我们所说——人类在其中扮演的角色甚至更少了。

162:47

way better than humans at writing detailed and eloquent answers for things like model and code so

比人类强太多了，在写模型和代码这类东西的详细且优雅的回答时。

162:53

they talked about this with the llama three release where they switched to using llama three four

他们聊到过这个，在Llama 3发布的时候，他们转而用了Llama 3.4。

162:58

or five B to write their answers for math and code but they in their paper talk about how they use

或者用五B来写出他们在数学和代码上的答案，但在他们的论文中，他们讨论了如何利用大量的人类偏好数据——这是他们尚未用AI替代的部分。业界还有其他技术，比如constitutional AI，它既使用人类数据来获取偏好，也使用AI来获取偏好，而我预计AI部分会比人类部分扩展得更快。但在我们能接触到的研究中，人类仍然处于这种偏好循环中。至于推理能力，随着模型越来越大、越来越大，正如我们所说，人类在其中扮演的角色甚至更少。因此，这些推理结果，尤其是Deep Seek R1论文中一个引人注目的成果是，他们称之为Deep Seek R10——他们拿了一个预训练模型……

163:04

extensive human preference data which is something that they haven't gotten AI's to replace there

大量的人类偏好数据，这是他们目前还没能用AI替代的部分。行业里还有其他技术，比如constitutional AI，它既用人类数据来做偏好判断，也用AI来做偏好判断。我预计AI这部分会比人类部分扩展得更快。但根据我们能接触到的研究，人类仍然处在这个偏好循环中。至于推理能力，随着模型越来越大、越来越大、越来越大——就像我们刚才说的——人类在其中扮演的角色反而更少了。有一篇论文，他们称之为DeepSeek R10，做法是拿一个预训练好的模型，让它针对大量问题去提问或验证词语，经过大量训练后，这些推理行为就自然涌现出来了。比如像“等等，让我看看”、“等等，让我检查一下这个”、“哦，那个……”这样的表现。

163:08

are other techniques and industry like constitutional AI where you use human data for preferences and AI

还有其他技术，比如行业里的Constitutional AI，就是用人类数据来做偏好训练，再加上AI。

163:13

for preferences and I expect the AI part to scale faster than the human part but among the research

关于偏好，我预计AI部分的扩展速度会比人类部分更快，但在我们能够接触到的研究中，人类其实一直处在这种偏好循环里。至于推理能力，随着模型越来越大、越来越大——就像我们之前说的——人类在其中扮演的角色反而更少了。有一篇论文的结果叫DeepSeek R10，他们拿了一个预训练模型，针对大量问题去生成答案或验证词汇，经过大量训练后，这些推理行为就自然涌现出来了。比如那种“等等，让我看看”“让我检查一下这个”之类的表现。你关注的那部分其实是模型的补全结果，而在这个案例中，所有这些行为都只是从大规模强化学习训练中涌现出来的。而且这个模型的权重是公开的，里面并没有加入任何人类偏好。

163:19

that we have access to is that it humans are in this kind of preference loop so for as reasoning

我们目前能用的AI，问题在于人类还处在这个偏好循环里。至于推理方面，

163:26

because bigger and bigger and bigger as we said where's the role of humans in that it's even less

随着模型越来越大、越来越大，就像我们说的，人类在其中扮演的角色甚至更少了。

163:32

prevalent so it's the remarkable thing about these reasoning results and especially the deep seek R1

普遍存在，所以这些推理结果最引人注目的地方，尤其是Deep Seek R1那篇论文，就是他们称之为Deep Seek R10的成果——他们拿了一个预训练模型，针对大量问题去提问或验证词汇，经过大量训练后，这些推理行为就自然涌现了。比如“等等，让我看看”、“等一下，我检查一下这个”、“哦，那可能是个错误”——这些行为完全是从问题和答案中涌现出来的。当你使用模型时，你关注的是它的输出部分，所以在这个案例中，所有这一切都只是通过大规模RL训练自然产生的。而且这个模型（权重是公开的）在后训练阶段没有加入任何人类偏好。至于Deep Seek R1完整版模型，它确实包含了一些人类偏好。

163:38

paper is this result that they call deep seek R10 which is they took one of these pre-trained models

有一篇论文，结果叫DeepSeek R1，他们拿了一个预训练模型，

163:43

they took deep seek V3 base and then they do this reinforcement learning optimization on verifiable

他们拿DeepSeek V3基础模型，然后在可验证的问题上做强化学习优化，或者对大量问题的答案进行验证，经过大量训练后，这些推理行为就自然涌现出来了——比如“等等让我看看”、“让我检查一下”、“哦那可能是个错误”——这些行为完全是从问题和答案中涌现出来的。当你使用模型时，你关注的是它的输出部分，所以在这个案例中，所有这些都只是通过大规模RL训练自然产生的。这个模型的权重是公开的，在后训练阶段没有加入任何人类偏好。DeepSeek R1完整模型在推理阶段之后确实加入了一些人类偏好调优，也就是RLHF，但非常了不起的是，你完全可以在没有这些的情况下获得这些推理行为。

163:49

questions or verify over words for a lot of questions and a lot of training and these reasoning

然后针对大量问题去提问、去验证答案，经过大量训练之后，

163:54

behaviors emerge naturally so these things like wait let me see wait let me check this oh that

这些推理行为就自然涌现出来了——比如“等等，让我看看”、“等一下，我检查一下这个”、“哦，那个……”

164:00

might be a mistake and they emerge from only having questions and answers and when you're using the

可能是错的，它们仅仅从问题和答案中涌现出来，而当你使用模型时，你关注的部分是补全，所以在这种情况下，所有这一切都来自这种大规模的RL训练，并且那个权重可用的模型在后期训练中没有加入任何人类偏好。DeepSeek R1完整模型有一些这种人类偏好。他们极不可能以某种方式入侵了OpenAI并获取了OpenAI o1的推理链。这跟预训练语言模型以及这种RL训练有关，你奖励模型答对问题，因此它会尝试多种解决方案，并涌现出这种思维链。这可能是个好时机来提一下Eloquent和……

164:06

model the part that you look at is the completion so in this case all of that just emerges from this

建模时，你关注的部分是补全结果——在这种情况下，所有这一切都只是从大规模RL训练中涌现出来的，而那个权重已公开的模型并没有加入任何人类偏好。

164:11

large scale RL training and that model which the weights are available has no human preferences added

其中一个想法，我不确定这是否显而易见——当你说“不确定是否显而易见”时，其实某种深刻的东西正在浮现。

164:19

into the post training there are the deep seek R1 full model has some of this human preference

进入后训练阶段，Deep Seek R1完整模型确实包含了一些这种人类偏好。

164:24

tuning this RLHF after the reasoning stage but the very remarkable thing is that you can get these

在推理阶段之后调整这个RLHF，但非常值得注意的是，你可以在不破解OpenAI或获取其o1推理链的情况下得到这些结果。这其实与预训练语言模型和这种RL训练有关——你通过奖励模型答对问题，让它尝试多种解法，从而涌现出这种思维链。这里或许该提一下伟大而强大的Andre Karpathy那条精辟又富有洞见的推文。他发过很多想法，但其中最后一条是：“不确定这是否显而易见——当你说‘不确定是否显而易见’时，往往意味着某种深刻的东西正在浮现。”在儿童身上也存在两种主要的学习类型。

164:30

reasoning behaviors and it's very unlikely that there's humans writing out reasoning chains it's

推理行为，而且人类几乎不可能手动写出推理链条，他们也不太可能黑进OpenAI拿到o1的推理链。这其实是关于预训练语言模型和RL训练——你奖励模型答对问题，所以它尝试多种解法，然后涌现出这种思维链。这里可能适合提一下伟大而强大的Andre Karpathy那条精辟又深刻的推文。我觉得他有一堆想法，但其中最后一个想法——不确定这是否显而易见——当你说“不确定是否显而易见”时，说明有某种深刻的东西正在到来。儿童的学习主要有两种类型。

164:35

very unlikely that they somehow hacked open AI and they got access to open AI oh one's reasoning

他们不太可能以某种方式黑进了OpenAI，获取了OpenAI o1的推理链。

164:39

chains it's something about the pre-trained language models and this RL training where you reward

这其实跟预训练语言模型以及这种强化学习训练有关——你通过奖励模型答对问题，让它尝试多种解法，从而涌现出这种思维链。

164:45

the model for getting the question right and therefore it's trying multiple solutions and it

这里或许是个好时机提一下那个“雄辩”和“最后一个想法”……我不确定这是否显而易见，但当你听到“不确定这是否显而易见”这种说法时，往往意味着某种深刻的东西即将出现。

164:50

emerges this chain of thought this might be a good place to to mention the the eloquent and the

无论是孩子还是AlphaGo，学习都分为两大类型：一是通过模仿专家玩家来学习，二是通过强化学习来赢得比赛。

164:57

insightful tweet of the great in the powerful Andre Karpathy I think he had a bunch of thoughts but

Karpathy 大佬发了一条很有洞见的推文，他有很多想法，但最后一条——不确定这算不算显而易见——说的是：有某种深刻的东西正在到来。他说“不确定这算不算显而易见”，其实有两种主要的学习方式，无论是孩子还是 AlphaGo。第一种是通过模仿专家玩家来学习，第二种是通过强化学习来赢得游戏。几乎每一个深度学习带来的惊人结果，以及所有魔法的来源，永远都是第二种。第二种要强大得多，第二种才是让你惊讶的东西——第二种是当那个球拍学会在砖块后面击球、打出 breakout 的时候，第二种是 AlphaGo 击败李世石的时候，第二种是 DeepSeek 或 o1 等模型发现“重新评估你的思路效果很好”的那个顿悟时刻。

165:03

one of them last thought not sure if this is obvious you know something profound is coming when

在儿童和AlphaGo身上，有两种主要的学习方式：一是通过模仿专家玩家来学习，二是通过强化学习来赢得游戏。

165:08

you're saying it's not sure if it's obvious there are two major types of learning in both children

第二种方式要强大得多，第二种方式才会让你感到惊讶，第二种方式就是当球拍学会把球打到挡板后面并击穿它，第二种方式就是当AlphaGo击败李世石，第二种方式就是那个“啊哈”时刻——当DeepSeek或o1等模型发现重新评估自己的思路效果很好时。

165:14

and in deep learning there's one imitation learning watch and repeat i.e. pre-training supervised

在深度学习里，有一种模仿学习，就是“看一遍再重复”，也就是预训练加监督微调；另一种是试错学习，也就是强化学习。我最喜欢的简单例子是AlphaGo：一是通过模仿专家棋手来学习，二是通过强化学习来赢得比赛。几乎每一个深度学习带来的惊人成果，所有魔法的来源，都是第二种。第二种要强大得多，第二种才会让你感到意外——第二种是当球拍学会把球打到挡板后面、打出“打砖块”的时候；第二种是当AlphaGo击败李世石的时候；第二种是那个“啊哈”时刻，当DeepSeek R1或o1等模型发现，重新评估自己的假设、回溯、尝试其他方法等等，效果很好——这就是解题策略，你在这个模型里就能看到。

165:20

fine tuning and two trial and error learning reinforcement learning my favorite simple example is

微调以及两种试错学习——强化学习，我最喜欢的简单例子是：AlphaGo 一是通过模仿人类专家来学习，二是通过强化学习来赢得比赛。几乎每一个深度学习带来的惊人结果，以及所有魔法的来源，都是第二种。第二种要强大得多，第二种才是让你惊讶的东西，第二种是当球拍学会在挡板后面击球并突破的时候，第二种是当AlphaGo击败李世石的时候，第二种是那个“啊哈”时刻——当DeepSeek或o1等模型发现重新审视自己的假设、回溯、尝试其他方法等策略效果很好时，这就是从零开始学习的解决策略。所以AlphaGo在最初阶段是从人类那里学习的。

165:26

alpha go one is learning by imitating expert players two is reinforcement learning to win the game

AlphaGo 一是通过模仿专家棋手来学习，二是通过强化学习来赢得比赛。

165:33

almost every single shocking result of deep learning and the source of all magic is always two

几乎每一个深度学习带来的惊人结果，以及所有魔法的源头，总是“二”。“二”要强大得多，“二”就是让你惊讶的东西，“二”就是当那个球拍学会在挡板后面击球并突破的时候，“二”就是AlphaGo击败李世石的时候，“二”就是DeepSeek或o1等模型发现重新评估自己的策略效果很好时的那种“啊哈”时刻——也就是那个著名的转折点，DeepMind的AI在玩《吃豆人》时完全放弃了所有操作。我们目前还没有达到那种焦点的水平，但这并不意味着你认为的那个焦点不会被移动。37%的概率？为了推理、科学发现而思考？比如当你把这类推理问题放进去时，它完全是我们尚未掌握的东西。

165:40

two is significantly more powerful two is what surprises you two is when the paddle learns to hit

二明显更强大，二才是让你惊讶的地方，二就是那个球拍学会在砖块后面击球并通关的时刻。

165:47

the ball behind the blocks and break out two is when alpha gobeets evenly sedal and two is the aha

二就是 AlphaGo 击败李世石的那一刻，二就是那个“啊哈”时刻——当 DeepSeek 或 o1 等模型发现重新评估自己的思路效果很好时。

165:54

moment when the deep seek or oh one et cetera discovers that it works well to re-evaluate your

我们没有达到那种焦点的水平，但这并不意味着视野就局限于此。

166:01

assumptions backtrack try something else et cetera it's the solving strategies you see this model

假设回溯、尝试其他方法等等，这就是解题策略，你看这个模型

166:07

use in its chain of thought it's how it goes back and forth thinking to itself these thoughts are

它在自己的思维链中使用这种来回思考的方式，这些想法是

166:14

emergent three exclamation points and this is actually seriously incredible impressive and new

涌现出来的，三个感叹号，这实际上真的令人难以置信、印象深刻且新颖

166:21

and it's publicly available and documented the model could never learn this with the imitation

而且它是公开可用且有文档记录的，模型通过模仿永远学不到这一点

166:28

because the cognition of the model and the cognition of the human laborer is different the human

因为模型的认知和人类劳动者的认知是不同的，人类

166:33

would never know to correctly annotate these kinds of solving strategies and what they should even

永远不会知道如何正确标注这类解决策略，甚至不知道它们应该长什么样

166:38

look like they have to be discovered during reinforcement learning as empirically statistically

它们必须在强化学习过程中被发现，作为经验上统计上

166:43

useful towards the final outcome anyway the alpha zero sort of metaphor analogy here can you

对最终结果有用的东西。总之，这里的 Alpha Zero 隐喻或类比，你能

166:49

speak to that the magic of the chain of thought that he's referring to I think it's good to recap

谈谈这个吗？他提到的思维链的魔力，我认为值得回顾一下。

166:55

alpha go and alpha zero because it plays nicely with these analogies between imitation learning

Alpha Go和Alpha Zero，因为它们在模仿学习和从零开始学习之间的类比上非常契合。Alpha Go在初期阶段是从人类那里学习，他们一开始——这是DeepMind系列模型中第一个达到专家级别的围棋或象棋玩家——使用了人类数据。而它之所以叫Alpha Zero，是因为整个过程中完全没有人类数据参与，这一改变让Alpha Zero为DeepMind打造了一个性能大幅提升的模型。所以，移除人类先验、人类归纳偏差，使得最终系统强大得多。我们几小时前提到的“苦涩的教训”也与此一致。然后关于语言模型，这方面的讨论已经很多了，这并不新鲜。

166:59

and learning from scratch so alpha go the beginning of the process was learning from humans where they

从头开始学习，所以Alpha Go在最初阶段是从人类那里学习，他们用了mind系列模型，这些模型包含一些人类数据

167:04

had they started the first this is the first expert level go player or chess player in deep

他们最早开始做的是Deep Mind系列模型中第一个达到专家级别的围棋或象棋棋手，当时用了部分人类数据。之所以叫Alpha Zero，是因为整个流程中完全没有人类数据参与，而这一改变让Alpha Zero的模型性能远超Deep Mind之前的版本。所以，移除人类先验、人类归纳偏差，最终让系统变得强大得多。我们几小时前刚提到过“苦涩的教训”，这完全符合这个道理。关于语言模型，其实已经有很多讨论了——这并不新鲜，因为我们知道这些模型非常强大，也知道过去这种方法非常成功。因此，这种新型强化学习训练方式是一个合理的类比。

167:10

mind series models where they had some human data and then the why it is called alpha zero is that

而它之所以叫Alpha Zero，是因为整个过程中完全没有人类数据介入

167:15

there was human zero human data in the loop and that changed to alpha zero made a model that was

这一改变让Alpha Zero为DeepMind创造了一个强大得多的模型

167:21

dramatically more powerful for deep mind so this remove of the human prior the human inductive bias

所以移除人类先验、人类归纳偏差，能让最终系统变得更强大

167:27

makes the final system far more powerful this we mentioned bitter lesson hours ago and this is

我们几小时前提到过“苦涩的教训”，这完全符合这个道理

167:32

all aligned with this and then there's been a lot of discussion and language models this is not new

关于语言模型也有很多讨论，这并不新鲜

167:40

this goes back to the whole q star rumors which if you piece together the pieces is probably the start

这就要说到之前那个Q*的传闻了，如果你把各种线索拼凑起来，这很可能就是去年十一月Q*传闻出现时，OpenAI开始摸索它的o1系列模型的起点。

167:46

of open AI figuring out it's oh one stuff when last year in November the q star rumors came out

很多人从智力层面都迫切想知道，语言模型什么时候能实现这样的突破——因为我们知道这些模型已经非常强大，而且过去也一直很成功，所以一个合理的类比是：这种针对推理模型的新型强化学习训练，就像是打开了新的大门。

167:52

there's a lot of intellectual drive to know when is something like this going to happen with

我们目前还没有达到“第37步”那样的里程碑——就是DeepMind的AI在玩《吃豆人》时彻底碾压人类的那著名一步——我们还没有那种级别的标志性时刻，但这并不意味着机会的窗口已经关闭。

167:59

language models because we know these models are so powerful and we know it has been so successful

语言模型，因为我们知道这些模型非常强大，也知道它们已经取得了巨大成功

168:03

in the past and it is a reasonable analogy that this new type of reinforcement learning training

过去是这样，而且有一个合理的类比：这种新型的强化学习训练——也就是那个著名的转折点，DeepMind的AI在玩《打砖块》时彻底碾压了人类——我们目前还没有达到那种程度的焦点事件，但这并不意味着那个你认为会出现的关键节点就不会被移动。37%的概率？也许是用于推理、科学发现的那种场景。比如当你用这类推理问题去测试时，它完全超出了我们的预期。其实我觉得可能比那更简单，可能跟计算机用户、机器人相关，而不是科学发现。因为这里的关键在于，模型需要海量数据才能学习，它们样本效率不高，对吧？需要数万亿的数据。

168:10

for reasoning models is when the doors open to this we don't yet have the equivalent of turn 37

对于推理模型来说，当大门打开时，我们还没有达到类似第37步那样的里程碑——就是DeepMind的AI玩《幽灵》游戏时完全碾压人类的那著名一步。我们还没有那种级别的焦点事件，但这并不意味着那个临界点不会出现。第37步可能会因为推理或科学发现而改变，比如当你用这类推理问题去处理一些我们完全预料不到的事情时。不过我觉得实际上可能比那更简单，可能跟计算机用户或机器人相关，而不是科学发现，因为这里的关键在于模型需要海量数据来学习——它们样本效率不高，对吧？需要数万亿的数据。

168:17

which is the famous turn where the deep minds AI playing ghosts dumped lease at all completely we

这就是那个著名的转折点，DeepMind 的 AI 玩《幽灵》时彻底碾压了人类。我们目前还没有达到那种程度的焦点事件，但这并不意味着那个临界点不会到来。有人觉得这个点可能会因为 37% 的偶然性而移动，用于推理和科学发现。比如当你用这类推理问题去测试它时，它其实更像是一个计算机用户在做机器人控制，而不是真正的科学发现。因为这里的关键在于，模型需要海量数据才能学习，样本效率很低，对吧？需要数万亿的数据。就像婴儿用最敏感的指尖和舌头去触摸、去感知世界一样，婴儿就是这样学习的。而 AI 只是通过一遍又一遍、反复不断的自我对弈来学习。现在我们终于有了这样的东西。

168:24

don't have something that's that level of focal point but that doesn't mean that the aperture

并没有一个那么核心的焦点，但这并不意味着光圈

168:28

technology is different and the impact of the general training it's still incredibly well what do

技术是不同的，通用训练的影响依然非常显著。你觉得那个临界点会在哪里？我们会被37这个数字打动吗？为了推理和科学发现——比如当你用这种推理问题去测试它时，结果完全出乎我们的意料。其实我觉得可能比那更简单，可能跟计算机用户、机器人有关，而不是科学发现。因为关键点在于：模型需要海量数据来学习，它们并不高效，对吧？需要数万亿的数据。它们要消化整个互联网，训练时要用超过10万亿个token。这相当于人类要读几千年才能读完。而人类并不需要这样，而且人类已经掌握了大部分知识。

168:32

you think that point would be will will be moved 37 for chance thought for reasoning scientific

你觉得那个观点会被改变，37%的概率吧，用于推理和科学发现。比如当你用这种推理问题的时候，它其实是我们完全不会用在计算机用户机器人上的东西，而不是科学发现，因为这里的关键点是，模型需要学那么多数据，它们并不高效，对吧，要几万亿的数据。就像婴儿学习时，用最敏感的触觉去摸东西，用舌头去尝东西，就是这样一遍又一遍地自我玩耍。而现在我们有了数学上可验证的任务，可以生成很多推理轨迹，然后不断分支。人们可以做到像考试级别的开放数学问题那种事情，所以这就像是在数学领域。

168:38

discovery like when you use this sort of reasoning problem in it just something we'd fully don't

发现像这种推理问题的时候，它其实是我们完全没搞懂的东西

168:42

expect i think it's actually probably simpler than that it's probably something related to

我觉得其实可能比那更简单，可能跟计算机用户机器人有关，而不是科学发现，因为这里的关键在于，模型需要海量数据才能学习，它们并不具备样本效率，对吧，动辄万亿级别的数据。婴儿是用手指最敏感的触觉、用舌头去感知世界来学习的，就是一遍又一遍地自我玩耍。而现在我们有了类似的东西，对吧，就是这些可验证的证明，无论是代码里的单元测试，还是数学上可验证的任务，生成大量推理轨迹，然后不断分支扩展。人们可以拿来做像考试级别的开放数学题这类事情，所以这就像是数学领域的突破。

168:47

computer user robotics rather than science discovery because the important aspect here is

计算机用户机器人而不是科学发现，因为这里的关键在于

168:54

models take so much data to learn there's not sample efficient right trillions they take the

模型需要学那么多数据，样本效率不高对吧，要学几万亿条

169:00

entire web right over 10 trillion tokens to train on right this would take a human thousands of

整个互联网超过10万亿个token用来训练，这要是让人类来读，得花几千年。人类根本读不完，而且人类其实已经知道其中大部分内容了。

169:07

years to read right a human does not and no and humans know most of the stuff a lot of the stuff

自我对弈嘛——就像婴儿怎么学会认识自己的身体？他把脚塞进嘴里，然后说“哦，这是我的身体”；他把手塞进嘴里，用舌头上最敏感的触觉去校准手指的触感——婴儿就是这样学习的。

169:13

models know better than it right humans are way way way more sample efficient that is because of

模型比人类更懂这个道理，人类在样本效率上要强得多得多。这是因为自我对弈，对吧？婴儿是怎么学会认识自己身体的？它把脚塞进嘴里，然后说“哦，这是我的身体”；它把手塞进嘴里，通过舌头上最敏感的触觉来校准手指的触感——婴儿就是这样学习的。这就是一遍又一遍的自我对弈。而现在，我们有了类似的东西，就是那些可验证的证明，比如代码里的单元测试，或者数学上可验证的任务：生成大量推理轨迹，不断分叉、不断分叉，最后检查——嘿，哪个实际上得到了正确答案？

169:17

the self play right how does a baby to learn what its body is as it sticks its foot in its mouth and

就是一遍又一遍地自我对弈，反复重复。现在我们有了类似的东西，就是那些可验证的证明——无论是代码里的单元测试，还是数学上可验证的任务——生成大量推理轨迹，然后不断让它们分叉。

169:23

it says oh this is my body right it sticks its hand in its mouth and it calibrates its touch

它说“哦，这是我的身体”，然后把手塞进嘴里，用舌头上最敏感的触觉来校准手指的触感——这就是婴儿学习的方式。一遍又一遍地自我玩耍。现在我们有了类似的东西，就是那些可验证的证明，比如代码里的unit test，或者数学上可验证的任务。生成很多条推理路径，然后不断分支。人们可以拿它来做考试级别的开放式数学题之类的事情。所以对于那些还算合理的数学题，比如有点复杂的文字题或者coding问题，这个就……不太清楚了。关键在于，这些只适用于可验证的任务。

169:29

on its fingers with the most sensitive touch thing on its tongue right is how babies learn

用最敏感的触觉去碰它的舌头，就像婴儿学习的方式

169:33

and and and it's just self play over and over and over and over again and now we have something

然后就是一遍又一遍地自我对弈，现在我们有了某种东西

169:38

that is similar to that right with these verifiable proofs right whether it's a unit test in code

类似于那种带有可验证证明的任务，比如代码里的单元测试，或者数学上可验证的问题，生成大量推理路径，然后不断分支。人们可以拿它做那种考试级别的开放数学题，就像在数学竞赛里那样，然后剪掉那些行不通的路径，保留有效的。这些有效的路径最终会达到一个阶段，比如“去Tasker上执行任务”之类的。对于语言模型来说，只要增加采样次数，就能反复尝试。我们看到的是，即使是很差的模型，有时候也能做对。而整个思路的核心在于，我们的语言模型可以有大约20万个选项，每一步都能从中采样。

169:45

or mathematical verifiable task generate many traces of reasoning right and keep branching them

或者数学上可验证的任务，生成很多推理路径，不断分叉

169:53

out keep branching them out and then check the at the end hey which one actually has the right answer

不断把它们分叉出去，然后在最后检查——嘿，到底哪个给出了正确答案。

169:56

most of them are wrong great these are the few that are right maybe we use some sort of reward model

大多数都是错的，好的，这些才是对的。也许我们可以用某种 reward model 来筛选出最好的那个，甚至进一步做偏好排序。但现在你在这些 benchmark 上已经越来越强了，过去六个月里，很多 benchmark 的成绩都在飙升，对吧？所有数学和代码类的 benchmark 基本上都被攻克了，除了 frontier math——它设计的题目几乎都是普通人做不了的，比如那种考试级别的开放数学问题。所以对于那些还算合理的数学题，比如稍微复杂一点的文字题或编程题，其实已经没什么难度了。关键在于，这些只是可验证的任务。

170:00

outside it is to select even the best one to preference as well but now you've started to get

从外部来看，还要选出最好的那个作为偏好，但现在你已经在这些 benchmark 上变得越来越强了，所以过去六个月里，你看到很多不同的 benchmark 都在飙升，对吧？

170:04

better and better at these benchmarks and so you've seen over the last six months a skyrocketing

所有数学和代码类的 benchmark 基本上都被攻克了，除了 frontier math——它设计出来的问题几乎都是大多数人做不了的，比如那种考试级别的开放数学题。

170:09

in a lot of different benchmarks right all math and code benchmarks were pretty much solved

所以对于那些还算合理的数学问题，比如稍微复杂一点的应用题或者编程题，这个就不知道了。

170:13

except for frontier math which is designed to be almost questions that aren't practical to most

关键在于，这些只适用于可验证的任务。

170:18

people could do like their exam level open math problem type things so it's like on the math

人们可以做到像考试级别的开放式数学题那种事情，所以在数学上

170:26

problems that are somewhat reasonable which is like somewhat complicated word problems or coding

那些问题还算合理，比如稍微复杂的文字题或编程题。

170:30

problems this just what don't know so the thing here is that these are only with verifiable tasks

这些其实我们也不太清楚，关键在于它们只适用于可验证的任务。

170:36

you earlier showed an example of the you know the really interesting like what happens when chain

你之前举了个例子，就是那种特别有意思的情况——当chain of thought用在不可验证的事情上时，其实就跟人类随便聊天差不多，对吧？就是人类在思考什么对自身来说是新颖的想法。但这种训练方式只有在任务处于初期阶段、并且是可验证的时候才有效。由此延伸出的思路是：我们可以通过增加数学和编程中可验证任务的数量，来继续扩展当前的训练方法。编程方面可能还有很大的空间，而数学方面可验证的内容已经快见顶了。那么，我能不能创建一个求解器，然后生成各种轨迹或推理路径，再剪掉那些行不通的，只保留有效的？

170:40

a thought is to a non verifiable thing is just like a human you know chatting right with the you

一个想法之于一个无法验证的东西，就像一个人在那闲聊对吧，你懂的，思考什么对人类来说是新颖的，一个独特的想法。但这种任务和训练形式只有在它处于初期、可验证时才有效。从这里出发，想法是：我们可以继续扩展当前的训练方法，通过增加数学和编程中可验证任务的数量。编程方面可能还有更多可做的，数学方面可验证的东西则少得多。我能不能创建一个求解器，然后生成轨迹或推理轨迹，再剪掉那些不行的，保留那些有效的？这些最终会达到一个点，就是“嘿，去tasker或别的什么平台上执行一个任务吧”。

170:45

know thinking about what's novel for humans right a unique thought but this task and form of training

思考人类独有的新事物，这个想法很有意思。但这种任务和训练方式，只有在结果可验证时才有效。由此想到，我们可以继续扩展当前的训练方法，增加数学和编程中可验证任务的数量。编程方面还有大量可验证的内容，而数学方面可验证的东西已经快到头了。我能不能创建一个求解器，先生成推理轨迹，然后剪掉那些行不通的，保留那些有效的？等到这些轨迹积累到一定程度，就可以说：“去Tasker上跑个任务吧”——虽然会开几百个账号，大部分都会失败，但总有一个能跑到一千。

170:50

only works when it's infant when it's verifiable and from here the thought is okay we can continue

只有在任务可验证的情况下才有效，基于这个思路，我们可以继续扩展当前的训练方法，通过增加数学和编程中可验证任务的数量。

170:56

to scale this current training method by increasing the number of verifiable tasks in math and coding

编程方面还有很大的扩展空间，而数学方面可验证的东西已经快到头了。

171:02

coding probably has a lot more to go math has a lot less to go in terms of what are verifiable things

我能不能创建一个求解器，然后生成推理轨迹或路径，再剪掉那些行不通的，保留那些有效的？

171:07

can I create a solver that then I generate trajectories toward or traces towards reasoning traces

这些最终会发展到像“嘿，去 tasker 上做个任务”或者类似的其他平台。

171:12

towards and then prune the ones that don't work and keep the ones that do work well those are

朝着这个方向，然后剪掉那些不行的，保留那些效果好的。接着就到了那个阶段，比如“嘿，去Tasker上执行个任务”之类的，所有这些。对于语言模型，只需要增加样本数量，就可以一遍又一遍地尝试。我们看到的是，即使是非常差的模型，有时也能做对。而这一切背后的思路是，我们的语言模型可以有大约20万个选项，所以每一步它都可以从中采样。DeepSeek R1提到，人类能够通过集体假装金钱、法律、权利这些抽象规则是真实的，从而将无私的欲望转化为合作系统。这些共享的幻觉就像游戏一样，竞争被暗中引导去造福群体，把冲突转化为……

171:16

going to be solved pretty quickly but even if you've solved math you have not actually created intelligence

很快就能解决，但就算你解出了数学题，你实际上并没有创造出智能。

171:21

right and so this is where I think the like a hot moment of computer use or robotics will come in

没错，所以我觉得计算机使用或机器人技术的高光时刻就要来了。

171:27

because now you have a sandbox or a playground that is infinitely verifiable right did you you know

因为现在你有了一个可以无限验证的沙盒或游乐场，对吧？你在网上瞎折腾的时候，有很多操作都是可以验证的——

171:35

messing around on the internet there are so many actions that you can do that are verifiable it'll

一开始可能是登录网站、创建账号、点个按钮之类的，但慢慢就会发展到“嘿，去Tasker或其他任务网站上完成一个任务，搞到几百个点赞”这种程度。

171:39

start off with like log into a website create an account click a button here blah blah blah but it'll

然后它会失败，它会创建几百个账号，大部分都会失败，但总有一个能冲到一千。

171:43

then get to the point where it's hey go do a task on tasker or whatever these other all these

到了那个地步，就是“嘿，去Tasker上做个任务”或者别的这些

171:48

various task websites hey go get hundreds of likes right and and the and it's going to fail it's

各种任务网站，嘿，去搞几百个点赞，然后呢，它肯定会失败，它会生成几百个账号，大部分都会失败，但有一个冲到了上千，这时候就——机器人领域也一样，对吧，就像你有一个无限的任务游乐场，从“嘿，我把球放进桶里了吗”一直到“哦，我是不是造了辆车”，你知道，有一整条路径可以快速通关，或者说看看模型能做什么。但到了某个点，我真的觉得，我们会生成模型，一开始所有训练都在沙盒里进行，但到了某个时候，语言模型的pre-training会被这种强化学习所超越，你会预训练一个多模态模型，它能看东西。

171:53

going to spawn hundreds of accounts it's going to fail on most of them but this one got to a thousand

会生成几百个账号，大部分都会失败，但有一个账号撑到了一千个任务。

171:56

great now you've reached the verifiable thing and you just keep iterating this loop over and over

太好了，现在你进入了可验证的阶段，然后你就一遍又一遍地重复这个循环。机器人领域也是一样，对吧，那里就像是一个无限的任务游乐场，从“我把球放进桶里了吗”一直到“我是不是造了一辆车”。你知道，整个轨迹都可以用来速通，或者说看看模型能做到什么程度。但我觉得，总有一天我们会生成模型，一开始所有训练都在沙盒里进行，但到某个节点，语言模型的pre-training会被这种reinforcement learning彻底超越。你会先pre-train一个多模态模型，能看、能读、能写，blah blah，视觉、音频什么的都有，但接下来你会让它……

172:00

and that's when and same with robotics right that's where you know where you have an infinite playground

这就是关键，机器人领域也一样，对吧，就像你有一个无限的任务游乐场，从“我把球放进桶里了吗”一直到“我是不是造了辆车”，对吧，你知道有一整条路径可以快速通关，或者看看模型能做什么。但到了某个点，我真的觉得，我们会生成模型，一开始所有训练都在沙盒里进行，但到了某个时候，语言模型的预训练会被强化学习所超越，对吧，你只需要增加样本数量，就能预训练一个能看能理解语言的多模态模型，这样你就可以一遍又一遍地尝试。我们看到的是，即使是非常差的模型，有时也能做对，而整个思路就在于——

172:05

of tasks like hey did I put the ball in the bucket all the way to like oh did I like build a car

比如“我把球放进桶里了吗”这种简单任务，一直到“我是不是造了辆车”这种复杂任务。

172:09

right like you know there's a whole trajectory to speedrun or you know what models can do but at some

你知道的，整个发展轨迹就像在速通，看看模型到底能做什么。但到了某个点，我真的觉得我们会生成模型，一开始所有训练都在沙盒环境里进行。

172:16

point I truly think that like you know we'll spawn models and initially all the training will be in

但到了某个阶段，语言模型的预训练会被强化学习远远超越。

172:20

sandboxes but then at some point you know the language model pre-training is going to be dwarfed by

你会预训练一个多模态模型，它能通过语言模型来观察，只需要增加样本数量，就能一遍又一遍地尝试。

172:25

what is this reinforcement learning you know you'll you'll pre-trained a multimodal model that can see

我们看到的是，即使是非常差的模型，有时候也能做对，而整个思路就是——

172:29

that can read that can write you know blah blah whatever vision audio etc but then you'll have it

能读能写，你知道的，blah blah 什么的，视觉、音频等等，但然后你还会让它

172:35

play in a sandbox infinitely and figure out figure out math figure out code figure out navigating the

在沙盒里无限地玩，然后自己搞懂数学、搞懂代码、搞懂怎么上网、搞懂怎么操作机械臂，对吧，然后它就能学到很多东西。我觉得那个“顿悟时刻”会是，当它有能力去创造出一些不太好的东西的时候——比如，“哦，酷，它之前学会了怎么用网络，现在突然之间它特别擅长怎么在Twitter上搞到几十万真实粉丝和真实互动”，因为突然之间，这是那些可以被验证的事情之一。而且可能不只是互动，还能赚钱，比如变成——我的意思是，那可能会是这样一个东西：几乎全自动地，靠当网红、卖产品、甚至自己创造产品，就能赚到一千万美元。而且我并不是在说……

172:40

web figure out operating a robot arm right and then it'll learn so much and the aha moment I think

上网、搞清楚怎么操作机械臂，对吧？然后它会学到很多东西，而那个“啊哈”时刻，我觉得

172:46

will be when this is available to then create something that's not good right like oh cool part of

会是当它被用来创造一些不太好的东西的时候，比如“哦，酷”，其中一部分

172:51

it was like figuring out how to use the web now all of a sudden it's figured out really well how to

是搞明白怎么用网络，现在突然之间它非常擅长

172:56

just get hundreds of thousands of followers that are real and real engagement on Twitter because all

在Twitter上获得几十万真实粉丝和真实互动，因为

173:00

the sudden this is one of the things that are verifiable and maybe not just engagement but make money

突然之间，这是那些可以被验证的事情之一，而且可能不只是互动，还能赚钱

173:05

like becoming it I mean that could be the thing where almost fully automated it makes you know 10

比如变成——我的意思是，那可能就是那种几乎全自动化的东西，能让你赚

173:12

million dollars by being an influencer selling a product creating the product like and I'm not

一千万美元，通过当网红、卖产品、创造产品，而且我不是在

173:18

referring to like a hype product but an actual product like holy shit this thing created a business

说的不是那种炒作产品，而是真正能落地的东西，比如“卧槽这玩意儿直接搞出了一个生意”。它正在运行，它就是那个生意的门面，类似这种感觉。或者也可能是一首冠军单曲，它搭建了创作这首歌所需的一整套基础设施，成为这首歌影响力的代表，类似那种模式。这很可能就是未来的方向。我的意思是，我们这个文化在某种程度上是尊重金钱的，而且这玩意儿是可验证的，对吧？确实如此。有令人惊讶的证据表明，一旦你建立起收集可验证领域数据的方式，这套东西就能跑通。在R1之前，已经有很多关于数学问题的研究，他们用语言模型处理数学问题，方法就是不断增加样本数量——说白了就是一遍又一遍地试。

173:25

it's running it it's the face of the business that kind of thing maybe or maybe a number one song

它正在运行，它代表的是业务的门面，类似那种东西，或者可能是一首排名第一的歌。

173:31

like it creates the whole infrastructure required to create the song to be the influence of the

它创造了创作这首歌所需的整个基础设施，成为这首歌的影响力，代表那首歌，类似那种概念，而且很多这样的操作可能才是关键。

173:36

represents that song that kind of thing and makes a lot of that could be the move I mean this

我的意思是，我们的文化在某种程度上尊重金钱，而且这是可验证的，对吧，确实如此。

173:41

our culture respects money in that kind of way and it's and it's verifiable right exactly there's

有令人惊讶的证据表明，一旦你建立起收集可验证领域的方法，这种方式就能奏效。

173:50

surprising evidence that once you set up the ways of collecting the verifiable domain that this

在R1之前，已经有大量关于数学问题的研究，他们通过增加样本数量来用语言模型处理数学问题，也就是说你可以一遍又一遍地尝试。

173:55

can work there's been a lot of research before this R1 on math problems and they approach math

我们看到的是，即使是非常差的模型，有时也能做对，而这一切背后的核心理念是——

174:01

with language models just by increasing the number of samples so you could just try again and again

用语言模型时，只要增加样本数量，你就可以一遍又一遍地尝试。

174:06

and again and you look at the amount of times that the language models get it right and

再看语言模型答对的次数，你会发现即便是很差的模型有时也能答对。而强化学习的核心理念就是，你可以从各种稀疏奖励中学习。语言空间和token空间——无论你是在生成语言还是为机器人生成任务——都极其庞大，大到可以说，我们语言模型的tokenizer可能包含20万个不同的东西，所以每一步它都能从这么大的空间里采样。如果它能从中捕捉到哪怕一点点可以依赖的信号，那正是整个RL领域所围绕的核心：从稀疏奖励中学习。同样的道理也在这里得到了体现。

174:12

what we see is that even very bad models get it right sometimes and the whole idea behind

我们看到的是，即使是很差的模型，有时候也能做对，而背后的整个思路是——

174:17

reinforcement learning is that you can learn from various sparse rewards so it

强化学习的核心在于，你可以从各种稀疏奖励中学习。它作用于语言空间和token空间——无论你是在生成语言，还是为机器人生成任务，这个空间都极其庞大。比如，我们语言模型的tokenizer可能有20万个不同的东西，每一步它都可以从这么大的空间里采样。所以，如果它能产生一点可以攀附的信号，那正是整个RL领域围绕的核心：从稀疏奖励中学习。同样的原理也适用——你可以用它来提升数学成绩，对数学做这种RL训练，效果可能没那么显著。但如果你拿一个10亿参数的模型，也就是比DeepSeek小大约600倍的模型……

174:21

it does it the the space of language and the space of tokens whether you're generating language

它在语言空间和token空间中运作——无论你是在生成语言，还是为机器人生成任务指令，这个空间都极其庞大。可以说，我们语言模型的tokenizer可能包含20万种东西，所以每一步它都能从这么大的空间里采样。如果它能生成一点可依赖的信号，那正是整个RL领域围绕的核心：从稀疏奖励中学习。同样的情况也体现在，你可以通过RL训练提升数学成绩，这种针对数学的RL训练或许没那么高效，但如果你用一个10亿参数的模型——比DeepSeek小600倍——那至少可以预期存在某个领域，并且有一定概率能奏效。

174:25

or tasks for robot is so big that you might say that it's like I mean each the tokenizer of

或者说，机器人的任务空间实在太大了，你可以理解为——我们语言模型的tokenizer本身就有大约20万个可能的token，所以每一步它都能从这么大的空间里采样。如果它能从中捕捉到一点可用的信号，哪怕只是微弱的，也能顺着往上爬——这其实就是整个强化学习领域的核心：从稀疏奖励中学习。同样地，你也可以用类似的方法提升它们的数学成绩，比如针对数学做这种RL训练，但效果可能没那么显著。不过，如果你拿一个10亿参数的模型——比DeepSeek小大约600倍——那至少可以预期，在某些领域里，这种方法是有可能奏效的。本质上就是做大量过滤后的指令微调，加上一些奖励模型，然后跑一轮RLHF。

174:31

our language model can be like 200,000 things so at each each step it can sample from that

我们的语言模型可能有20万个候选，所以每一步它都可以从中采样。

174:35

big of a space so if it can generate a bit of a signal that it can climb on to that's the

这么大的空间，如果它能产生一点信号，让它能顺着往上爬，那就是

174:40

what the whole field of RL is around is learning from sparse rewards and the same thing has played

整个RL领域围绕的核心——从稀疏奖励中学习，同样的事情也体现在

174:46

out in math where it's like very weak models that sometimes generate answers we see research already

在数学领域，那些很弱的模型有时也能生成答案，我们已经看到相关研究。你可以通过某种RL训练来提升它们的数学成绩，效果可能没那么显著，但如果你拿一个10亿参数的模型——比Deep Seek小600倍左右——用少量这种训练就能直接提升它的小学数学成绩。这并不是说这很快就能实现，因为搭建验证领域极其困难，而且这里面有很多细微差别。不过我们之前也见过一些基础案例，至少可以预期存在某个领域，并且这种方法有成功的可能。好了，我们现在实时见证了一些有趣的事情，这是个好机会来聊聊这个。

174:51

that you can boost their math scores you can do this sort of RL training for math it might not be

你可以提升它们的数学分数，你可以对数学做这种RL训练，但可能没那么有效

174:57

as effective but if you take a 1 billion parameter model so something 600 times smaller than deep seek

但如果你用一个10亿参数的模型，比DeepSeek小600倍

175:02

you can boost its grade school math scores very directly with a small amount of this training

你可以通过少量这种训练，直接显著提升它在小学数学题上的表现。

175:07

so it's not to say that this is coming soon setting up the verification domains is extremely

但这并不是说这很快就能实现——搭建验证领域非常困难，而且其中有很多细微差别。不过我们之前也见过一些基础案例，至少可以预期存在某个领域，这种方法有成功的可能。

175:12

hard and there's a lot of nuance in this but there are some basic things that we have seen before

好的，我们现在实时看到了一些有趣的事情，这是个好机会来聊聊旧模型，以及来自Gemini的推理模型。关于这些推理模型，我想说——我们之前聊了很多关于在数学和代码上进行推理训练的内容，做法就是：你有一个基础模型（我们在网上讨论过很多），然后你进行大规模推理训练。

175:17

where it's like it's at least expectable that there's a domain and there's a chance that this works

那至少可以预期，存在某个领域，并且有机会让这个方法奏效

175:23

all right so we have fun things happening in real time this is a good opportunity to talk about

好的，我们现在实时看到一些有趣的事情发生，这是个好机会来聊聊

175:28

other reasoning models oh one oh three just now open AI as perhaps expected released oh three

其他推理模型，比如 o1 和 o3，刚才 OpenAI 也如预期发布了 o3。

175:37

many what are we expecting from the different flavors can you just lay out the different flavors of

对于不同版本，我们有什么期待？你能先梳理一下旧模型的不同版本，以及 Gemini 的推理模型吗？关于这些推理模型，我想说一点——我们聊了很多关于在数学和代码上做推理训练的事。做法是，你有一个基础模型，网上也讨论了很多，然后你用强化学习做大规模推理训练。接着，DeepSeek 论文里详细描述的方法，也就是 R1 论文，对我来说这是个大问题——他们是怎么做的？他们在大规模推理 RL 之后，用了推理密集型但非常标准的后训练技术。

175:43

the old models and the from Gemini the reasoning model something I would say about these reasoning

旧模型和来自Gemini的推理模型。关于这些推理模型我想说一点，我们之前聊了很多关于在数学和代码上进行推理训练的内容，具体做法是

175:48

models as we talked a lot about reasoning training on math and code and what is done is that you have

你有一个基础模型，网上已经讨论很多了，然后你进行大规模推理训练

175:54

the base model we've talked about a lot on the internet you do this large scale reasoning training

对我来说，这其中一个很大的开放性问题就是，他们具体是怎么做的？他们是在大规模推理RL之后，采用了推理密集型但非常标准的后训练技术

175:58

with the reinforcement learning and then what the deep seek paper detailed in this R1 paper which

结合强化学习，以及DeepSeek在R1论文中详细阐述的内容——这对我来说是一个重大的开放性问题——他们的做法是：在大规模推理强化学习之后，采用了推理密集型但非常标准的后训练技术，本质上就是经过重度筛选的指令微调，配合一些奖励模型，然后做了RLHF。不过他们让数学占比很重，所以这种迁移效果我们之前用那个哲学例子简单探讨过。一个核心开放问题是：如果我们在推理训练之后引入其他领域，这种迁移效果到底有多大？所有模型都会因为推理能力变强而成为文笔优美的作家吗？这些哲学层面的东西是否会随之开放？目前研究尚未明确这种迁移的边界。

176:05

for me is one of the big open questions and how do you do this is that they did

基本上就是高度筛选过的指令微调，配合一些奖励模型，然后他们又做了RLHF

176:09

reasoning heavy but very standard post training techniques after the large scale reasoning RL so

但这次他们把重点放在了数学上，所以这种迁移——我们早期就看过这个哲学层面的例子

176:15

they did the same things with a form of instruction tuning through rejection sampling which is

他们用了一种通过拒绝采样的指令微调方式做了同样的事情，这本质上就是带有一些奖励模型的、经过高度筛选的指令微调，然后他们又做了RLHF，但这次他们把数学部分加重了。所以关于这种迁移——我们早期看过这个哲学例子——其中一个大的开放问题是：如果我们在推理训练之后引入其他领域，这种迁移效果能有多大？所有模型都会因为推理能力而变成文笔优美的作家吗？这些哲学类的东西会变得开放吗？我们目前还不清楚，在研究领域里这种迁移能有多大效果。还有一些关于如何制作更软性的验证器之类的事情，但推理训练之后还有更多训练，这让使用这些推理模型变得更容易，而这就是我们正在做的。

176:20

essentially heavily filtered instruction tuning with some reward models and then they did this RLHF

本质上就是经过重度筛选的指令微调，加上一些奖励模型，然后他们做了这个RLHF

176:26

but they made it math heavy so some of this transfer we'd looked at this philosophical example early on

但他们把数学搞得很重，所以早期我们看过的这种迁移，其实是个哲学例子。

176:32

the one of the big open questions is how much does this transfer if we bring in domains

其中一个悬而未决的大问题是，引入不同领域后这种迁移效果能有多少。

176:38

after the reasoning training are all the models going to be become eloquent writers by reasoning

经过推理训练后，所有模型是否都会通过推理成为文笔优美的写作者？

176:43

is this philosophy stuff going to be open we don't know in the research of how much this will transfer

这些哲学层面的问题是否会开放，我们尚不清楚，研究中也不确定这种迁移程度有多大。

176:47

there's other things about how we can make softer verifiers and things like this but there is more

还有一些关于如何构建更柔性的验证器之类的方法，但关键在于推理之后还要继续训练，这样能让这些推理模型更好用——这正是我们正在做的。这些额外技术是为了在模型学会推理后，再针对人类偏好进行优化。

176:52

training after reasoning which makes it easier to use these reasoning models and that's what we're

我觉得，大家忽略的一点是，Google 的 Gemini Flash Thinking 既比 R1 便宜，效果也更好，而且他们十二月初就发布了，但根本没人讨论，也没人在意。它的风格不太一样，行为表现不如 o1 那样富有表现力，痕迹也比去年秋天发布的预览推理模型 QwQ 以及 DeepSeek R1 Lite 要少。

176:57

using right now so if we're going to talk about with three many and oh one these have gone through

我们现在正在用的这些模型，比如Three、Many和Oh One，都经过了这些额外技术的处理——这些技术是为了迎合人类偏好而设计的，在它们被训练出推理能力之后。我觉得吧，大家忽略的一点是，Google的Gemini Flash Thinking既比R1便宜，效果也更好，而且它十二月初就发布了，但根本没人讨论，也没人在意。它的风格不太一样，行为上不像Oh One那么有表现力，痕迹也比它少。去年秋天发布了一个模型叫qwq，那是他们的预览版推理模型，还有Deep Sea Cutter的R1 Light，也是去年秋天出的。这些模型感觉就像被框在轨道上，真的只能做数学题。

177:01

these extra techniques that are designed for human preferences after being trained to elicit reasoning

这些额外技术本是为迎合人类偏好而设计，在模型被训练以激发推理能力之后。

177:06

I think I think one of the things that you know people are ignoring is Google's Gemini Flash Thinking

我觉得，人们忽略的一件事是 Google 的 Gemini Flash Thinking。

177:12

is both cheaper than R1 and and better and they released it in the beginning of December and

它既比 R1 便宜，性能也更好，而且他们在十二月初就发布了，

177:17

nobody's talking about it no one cares it has different flavor to it it's behavior is less

但没人讨论它，没人在意。它的风格有所不同，行为表现不如

177:21

expressive than something like oh one and it has fewer tracks than it is on when released a model

像 o1 那样的模型富有表现力，并且在发布时追踪的痕迹也更少。

177:26

last fall qwq which was their preview reasoning model and in deep sea cutter R1 light last

去年秋天，qwq 是他们推出的预览版推理模型，还有 deep sea cutter R1 light last。

177:33

fall where these models kind of felt like they're on rails where they really really only can do math

这些模型在某种程度上感觉像是被限制在轨道上，真的只能做数学题。

177:37

and code and oh one is it can answer anything it might not be perfect for some tasks but it's flexible

代码和oh one的特点是，它能回答任何问题，虽然对某些任务可能不是最完美的，但胜在灵活。它有一定的丰富性，这有点像烹饪的艺术——模型是不是有点“欠火候”？把模型推出来是好事，但很难衡量，需要大量品味才能判断：这是个成熟的模型吗？我能用它做所有事吗？

177:44

it has some richness to it and this is kind of the art of like how cook like how is a model a little

在数学和代码方面，它们可能更相似。我快速读下来的感觉是，Gemini Flash的训练方式和oh one不同，它是在现有训练栈上加入推理能力——也就是拿一个更常规的训练栈，再叠加上推理。而且我肯定他们还会有更多动作，毕竟他们已经快速发布了Gemini Flash推理版，这已经是第二个版本了。

177:51

bit undercooked it's like it's good to get a model out the door but it's hard to gauge and it

有点欠火候，把模型推出来是好事，但很难衡量，而且需要很强的品味才能判断：这算不算一个成熟的模型？我能不能拿它干所有事？

177:56

takes a lot of taste to feel like is this a full-fledged model can I use this for everything

它们在数学和代码方面可能更相似。我快速读下来的感觉是，Gemini Flash 并没有像 o1 那样训练，而是在现有的训练栈上加了 reasoning。

178:01

and they're probably more similar for math and code my quick read is that Gemini Flash is like

所以是拿一个更常规的训练栈，然后往上加 reasoning。而且我敢肯定他们还会推出更多——

178:07

not trained to the same way as oh one but taking an existing training stack adding reasoning to it

我是说，他们已经在 Gemini Flash 上快速发布了 reasoning 版本，这是第二个版本了。

178:14

so taking a more normal training stack and adding reasoning to it and I'm sure they're gonna have more

你正在做这种大规模的艺术。我们来问一下之前那个同样的问题，就是关于那个的。

178:19

I mean they've done quick releases on Gemini Flash the reasoning and this is the second version

我的意思是，他们在 Gemini Flash 推理模型上做了快速发布，这是第二个版本。

178:24

from the holidays it's evolving fast and it takes longer to make this training stack where

假期过后，它进化得很快，而且搭建这个训练栈需要更长时间，因为你是在做这种大规模的艺术。我们回到之前那个问题，关于人性的那个。人性那个问题是什么来着？我之所以能这么滔滔不绝地讲，是因为我们在AI2完全开放给所有人之前、在R1之前，就已经在做这个了——本质上就是用这种RL训练来做fine-tuning，我们在自己的两轮系列模型里用过。你可以引出同样的行为，比如你说“等等，这样那样”，但突然在训练过程中，这种推理表达出现得更晚。所以基本上，你投入多少这种RL训练，会有一个渐变的过程。

178:31

you're doing this large scale art. Let's get the same question from earlier the one about the

你在做这种大规模的艺术项目。我们来问一下之前那个同样的问题，就是关于……

178:35

the human nature. What was the human nature one? The way I can ramble why I can ramble about this

人性。你刚才说的“人性”是指什么？我能这么滔滔不绝地讲这个，是因为我们在AI2还没完全开放给所有人之前，甚至在R1出现之前，就已经在做了——本质上就是用RL训练来做fine-tuning，我们把这个用在了我们的two-loop系列模型里。你可以引出同样的行为，比如让它说“等等”，然后它就会开始思考。但关键在于，这种推理表达是在训练过程中很后期才出现的。所以基本上存在一个渐变过程，取决于你投入了多少RL训练。适应性、对社会群体的依赖、自我批判、进一步优化——哇，这真的是全新的吗？它有没有充分的理论支持？等等等等。而真正的洞见在于——

178:42

so much is that we've been working on this AI2 before oh one was fully available to everyone

其实我们一直在做这个 AI2，在 oh one 完全开放给所有人之前，

178:49

before R1 which is essentially using this RL training for fine-tuning we use this in our like

在 R1 之前，它本质上就是用这种 RL 训练来做 fine-tuning，我们在自己的 two-loop 系列模型里用了这个。

178:54

two-loop series of models and you can elicit the same behaviors where you say like wait and so

你可以引出同样的行为，比如你说“等等”之类的，

179:00

and so it's on but it's suddenly in the training process that this kind of reasoning expression is

但突然在训练过程中，这种推理表达出现得晚了很多。

179:05

much later so you can there's essentially a gradation and just how much of this RL training you put

所以基本上存在一个梯度，取决于你投入了多少这种 RL 训练。

179:10

into it determines how the output looks. So we're now using Gemini 2.0 Flash thinking experimental

它决定了输出的样子。所以我们正在用Gemini 2.0 Flash thinking experimental

179:18

121 it summarized the prop as humans self-domesticated apes.

121 它把那个论点总结成：人类是自我驯化的猿类。

179:27

I'm just like okay all right so wait is this reviewing the the reasoning here's why this is a novel

我就想，好吧行，所以这是在……审查推理过程？这里说“为什么这是新颖的”

179:32

okay oh yeah click the expand. Okay analyze the request novel is the key word

好，哦对，点开看看。好，分析一下请求，“novel”是关键词

179:40

like see how it just looks a little different it looks like a normal output. Yeah it's

你看它只是看起来有点不一样，看起来像正常输出。是啊

179:46

I mean in some sense it's better structured it makes more sense and when it latched onto

我是说从某种意义上讲，结构更好了，更合理了，而且当它抓住“人类”这个词

179:52

human and then it went into organisms and oh apex predator focus on domestication apply domestication

然后转向“生物”，哦，“顶级捕食者”，聚焦“驯化”，把“驯化”应用到人类身上

180:01

to humans explore the idea of self-domestication not good not good where is this going we'll find

探索“自我驯化”这个概念——不妙，不妙，这要往哪走？我们等着看吧。

180:09

articulate the insight greater facial expressionism communication ability yes plus this

把洞察表达得更清晰：更强的面部表情、沟通能力，没错，再加上这个适应性，对社交群体的依赖，对吧，还有自我批判和精细化。更进一步，哇，这真的是新颖的吗？它有没有充分的支持？等等等等。而这个洞察的核心是：人类不仅仅是社会性动物，而是深度自我驯化的猿类。自我驯化是理解我们独特认知和社交能力的关键。自我驯化的猿类——我更喜欢DeepSeek的回答，我的意思是，这个洞察很新颖。这就像一本好书的书名，《自我驯化的猿类》，完全可以为这个论点辩护。我的意思是，没错，这很酷，而且它揭示了推理过程，太神奇了，太神奇了，就像这样。

180:15

the adaptability yes dependence on social groups yes all right and self critique and refined

适应性，是的，对社会群体的依赖，没错，还有自我批判和精炼。

180:22

further wow is this truly novel is it well supported so on and so forth and the insight

更进一步，哇，这真的是新颖的吗？它是否有充分的支持？等等等等，还有洞察力。

180:31

is getting at is humans are not just social animals but profoundly self-domesticated apes

核心意思是，人类不仅是社会性动物，更是深度自我驯化的猿类。而自我驯化正是理解我们独特认知与社会能力的关键。自我驯化的猿类——我更喜欢Deep Seek的回答，这个见解很新颖，确实新颖。这简直能当个好书名，《自我驯化的猿类》，完全可以论证一番。是啊，这很酷，而且它揭示了推理过程，太神奇了，真的太神奇了。既然我们在这段对话中已经对比了Deep Seek R1和Gemini Flash 2.0 Thinking的回复，我觉得此刻不妨快速插一段，我自己用同样的prompt测试一下OpenAI 01 Pro和03 Mini。prompt就是：给出一个真正新颖的见解，关于

180:37

and the self-domestication is the key to understanding our unique cognitive and social abilities

而自我驯化是理解我们独特认知和社交能力的关键。

180:43

self-domesticated apes I prefer the deep seek response I mean it's novel the insight is novel

自我驯化的猿类——我更喜欢Deep Seek的回答，我的意思是它很新颖，这个洞察很新颖。

180:53

I mean that's like a good book title self-domesticated apes like they could be a case made for that

我是说，这就像个好书名，《自我驯化的猿类》，完全可以为此做个论证。

180:59

I mean yeah it's cool and it's revealing the reasoning it's magical it's magical like this is

我的意思是，是的，这很酷，而且它揭示了推理过程，这很神奇，真的很神奇。

181:06

really powerful hello everyone this is Lex with a quick intermission recorded after the podcast

大家好，这里是Lex，在播客录制后插播一段简短的更新。因为我们在这次对话中回顾了Deep Seek R1和Gemini Flash 2.0 Thinking的回复，所以我觉得现在不妨也快速用同样的提示词，让OpenAI的01 Pro和03 Mini来回答一下。提示词是：“给出一个关于人类的真正新颖的洞察”。同时，我也想大致分享一下我对新O3 Mini模型的使用感受——一种基于直觉的非正式报告，虽然我还没机会在不同场景和应用中花很多时间体验它。所以我会把这个问题归类为开放式的哲学问题，尤其是强调“新颖”这一点。

181:14

since we reviewed responses from deep seek R1 and Gemini flash 2.0 thinking during this conversation

既然我们在这次对话中已经回顾了Deep Seek R1和Gemini Flash 2.0 Thinking的回复，

181:21

I thought at this moment it would be nice to insert myself quickly doing the same for open AI

我想此刻不妨也快速插入我自己对OpenAI的相同测试。

181:27

01 Pro and 03 mini with the same prompt the prompt being give one truly novel insight about

01 Pro 和 03 mini 用了同一个提示词，提示词是“给出一个真正新颖的见解”。关于我自己用新 O3 mini 模型的体验——其实我也没机会花太多时间在上面——在不同类型的对话和应用场景里。所以我大概会把这个问题归类为，嗯，开放式哲学问题，特别是它强调“新颖”这一点。我觉得你会停下来，甚至被它的精彩程度惊到。所以，总的来说，我拿这两个模型反复跑这个问题很多次之后，我的评价是：01 Pro 始终能给出精彩的回答，有些回答让我停下来思考，既见解犀利，又措辞巧妙，带着机智、清晰和细腻，一次又一次，稳定地输出最好的内容。

181:36

humans and I thought I would in general give my vibe check and vibe based anecdotal report on my

人类这边，我想先聊聊我对新O3 mini模型的主观感受和基于经验的非正式报告——虽然我还没机会花很多时间在不同场景和应用里测试它。这个问题大概可以归类为开放式哲学问题，特别是关于"新颖性"的强调。我觉得你会停下来，甚至被它的精彩表现惊到。所以，我的总体评价是：在多次用不同模型跑这个问题后，01 Pro始终给出精彩答案，有时让我停下来思考，既在洞察力上犀利，又在表达上优雅——带着机智、清晰和细腻，一次又一次稳定输出最佳结果。

181:47

own experiences with the new O3 mini model not that I got a chance to spend many hours with it

我自己用新O3 mini模型的体验，也没太多时间深入玩。

181:52

in different kinds of contacts and applications so I would probably categorize this question

在不同类型的场景和应用里，我大概会把这个问题归类为——

181:58

as let's say open ended philosophical question and in particular the emphasis on novelty I think

比如一个开放式的哲学问题，尤其强调“新颖性”这一点。

182:04

is a nice way to test one of the capabilities of the model which is come up with something that makes

这是一个很好的方式来测试模型的一项能力，即能否生成一些让你停下来思考、甚至因其精妙而让你感到惊喜的内容。话虽如此，在我多次用这个问题测试每个模型后，我的总体评价是：01 Pro 始终能给出精彩的回答，有时让我陷入沉思，既见解犀利，又措辞巧妙，兼具风趣、清晰与细腻，一次又一次稳定地产出最佳答案。紧随其后的是 R1，虽然稳定性稍差，但同样能带来惊艳的表现。Gemini Flash 2.0 Thinking 排在第三，最后是 03 Mini——实际上，它给出的答案往往相当泛泛，至少以我个人的审美来看如此。不过，在我测试的其他许多应用场景中，情况又有所不同。

182:11

you pause and almost surprised you with brilliance so that said my general review after running

你会停下来，几乎被它的精彩惊艳到。所以总的来说，我反复用这个问题测试了每个模型很多次之后，

182:20

each of the models on this question a bunch of times is that 01 Pro consistently gave brilliant

01 Pro consistently 给出了 brilliant 的回答，

182:26

answers once they gave me pause and made me think both cutting in its insight and just really

有些让我停下来思考，既切中要害、洞察深刻，又措辞巧妙，带着机智、清晰和细腻，一次又一次稳定输出最好的结果。

182:35

nicely phrased with wit with clarity with nuance over and over consistently generating the best

措辞巧妙，带着机智、清晰和细腻，一次又一次稳定地生成最好的

182:42

answers after that is R1 which is less consistent but again deliver brilliance

之后的回答来自R1，虽然稳定性差一些，但偶尔也能给出惊艳的答案。

182:48

Gemini flash 2.0 thinking was third and last was 03 mini actually it often gave quite generic answer

Gemini flash 2.0 thinking 排在第三，最后是03 mini，实际上它经常给出相当模板化的回答。

182:59

at least to my particular sensibilities that said in a bunch of other applications that I tested

至少以我个人的审美来看是这样，不过在我测试的其他一堆应用场景里倒未必如此。

183:05

for brainstorming purposes it actually worked extremely well and often I would perform R1

从头脑风暴的角度来说，它其实效果非常好，我经常用R1来干这个。但在那些开放式的哲学问题上，它的表现却一直更差。另一个关键点是，这些模型展示推理过程的方式不同——Deep Seek R1会完整展示思维链的token，我个人特别喜欢这一点。对于这些开放式哲学问题，看着模型一步步思考真的非常有意思。但退一步说，作为一个欣赏智能、推理和反思的人，阅读R1这些原始的思维链token时，观察一个智能系统 deliberation 的路径，确实有种纯粹的美感。我觉得我们并不总能如此清晰地看到这个过程被完整呈现出来。

183:13

but on this open ended philosophical question did consistently worse now another important element

但在这个开放式哲学问题上，它的表现确实一直更差。现在另一个关键点是：

183:19

for each of these models is how the reasoning is presented deep seek R1 shows the full chain of

每个模型呈现推理过程的方式不同。Deep Seek R1 展示了完整的思维链token，我个人特别喜欢这一点——对于这些开放式哲学问题，看着模型一步步思考真的非常非常有意思。

183:25

thought tokens which I personally just love for these open ended philosophical questions it's

但退一步说，作为一个欣赏智慧、推理和反思的人，读到这些内容本身就让我很享受。

183:31

really really interesting to see the model think through it but really also just stepping back

看到模型一步步推理真的很有意思，但退一步讲，作为一个欣赏智能、推理和反思的人，看到这种智能系统里如此审慎的思考过程——就像詹姆斯·乔伊斯的《芬尼根的守灵夜》一样——光是看着就觉得很美。总之，就像我们在那期节目里讨论的，DeepSeek R1提到，人类通过集体假装金钱、法律、权利这些抽象规则是真实存在的，从而把无私的欲望转化为合作系统。这种共享的幻觉就像游戏一样，竞争被暗中引导去造福群体，把冲突变成了社会的燃料。而Gemini 2.0 Flash Thinking则认为，人类不仅是社会性动物，更是自我驯化的物种。

183:37

me as a person who appreciates intelligence and reasoning and reflection reading these kind of

作为一个欣赏智能、推理与反思的人，看到这些关于智能系统中深思熟虑的讨论，我觉得我们并不总是能明确地把这些呈现出来。James Joyce的《芬尼根的守灵夜》光是看着就觉得很美。正如我们在节目中讨论的，DeepSeek R1提到，人类能够通过集体假装金钱、法律和权利这些抽象规则是真实的，从而将无私的欲望转化为合作系统。这种共享的幻觉就像游戏一样，竞争被暗中引导去造福群体，把冲突变成社会的燃料。Gemini 2.0 Flash Thinking则认为，人类不仅是社会性动物，更是自我驯化的物种——关于金钱、法律和权利，我们集体假装它们是真实的，并拿它们玩游戏。

183:43

chain of thought raw tokens of R1 there's something genuinely beautiful about observing the path

chain of thought raw tokens of R1，观察一个智能系统推演路径的过程，确实有种纯粹的美感。我觉得我们平时很少能这么清晰地看到这种推演过程被完整呈现出来。就像James Joyce的《Finnegans Wake》一样，光是看着就觉得很美。在那一集里我们聊到，Deep Seek R1谈到人类通过集体假装金钱、法律、权利这些抽象规则是真实的，从而将无私的欲望转化为合作系统。这种共享的幻觉就像游戏一样，竞争被暗中引导去造福群体，把冲突变成了社会的燃料。Gemini 2.0 Flash thinking则说，人类不仅是社会性动物，更是自我驯化的猿类，而这种自我驯化正是理解我们独特认知与社会的关键。

183:50

of deliberation in an intelligence system I think we don't always have that explicitly laid out

在智能系统中进行 deliberation，我觉得我们并不总是明确地把它摆出来

183:58

for us humans so to see it in another intelligence system the non-linearity of it akin to Ulysses

对我们人类来说，在另一个智能系统中看到这种非线性，就像《尤利西斯》或詹姆斯·乔伊斯的《芬尼根的守灵夜》一样，纯粹是一种美感。正如我们在那期节目里讨论的，Deep Seek R1提到，人类能够通过集体假装抽象规则（比如金钱、法律和权利）是真实的，从而将无私的欲望转化为合作系统。这些共享的幻觉就像游戏一样，竞争被暗中引导去造福群体，把冲突变成社会的燃料。Gemini 2.0 Flash Thinking则说，人类不仅是社会性动物，更是自我驯化的猿类，而这种自我驯化正是理解我们独特认知与社会能力的关键。值得一提的是，它当时的思维链真的非常有趣。

184:05

are Finnegan's wake by James Joyce it's just beautiful to watch anyway as we discuss in the episode

《芬尼根的守灵夜》——詹姆斯·乔伊斯的作品，光是读着就觉得很美。就像我们在那期节目里聊到的，Deep Seek R1提到，人类能够通过集体假装那些抽象的规则——比如金钱、法律和权利——是真实存在的，从而把无私的欲望转化为合作系统。这种共享的幻觉就像游戏一样，竞争被暗中引导去造福群体，把冲突变成了社会的燃料。Gemini 2.0 Flash Thinking则说，人类不仅是社会性动物，还是自我驯化的物种——关于金钱、法律和权利，我们集体假装它们是真的，然后跟它们玩游戏。但那种说法对我来说有点太笼统了，始终没戳中我。所以，这是我从O3 Mini那里得到的第一个答案：人类不是固定的存在，而是持续进行中的叙事——动态的故事，我们一直在不断地……

184:12

deep seek R1 talked about humans being able to convert selfless desires into cooperative systems by

Deep Seek R1 提到，人类能够通过集体假装金钱、法律和权利这些抽象规则是真实的，从而将无私的欲望转化为合作系统。

184:17

collectively pretending abstract rules like money laws and rights are real and the shared hallucinations

这些共享的幻觉就像游戏一样，竞争被暗中引导去造福群体，把冲突转化为——

184:24

act as games where competition is secretly redirected to benefit the group turning conflict into

关于金钱、法律和权利，以及我们集体假装它们是真实的，然后和它们玩游戏。

184:30

society's fuel Gemini 2.0 Flash thinking said humans are not just social animals but self-domesticated

社会的燃料。Gemini 2.0 Flash thinking说人类不仅是社会性动物，还是自我驯化的。关于金钱、法律和权利，我们集体假装这些东西是真实的，然后跟它们玩游戏。那种泛泛而谈的感觉，对我来说始终差点意思。所以这是我从O3 mini那里得到的第一个版本：人类不是固定的存在，而是持续进行的叙事，是动态的故事，我们不断……接近胡言乱语了。希望这些多少有点道理。好了，亲爱的朋友们，回到本期节目。感觉对了。Flash thinking，你知道，之前我没用这个版本，用的是去年十二月那个。当时确实有种“边角还没磨平”的感觉，就是它还没在那么多方面被充分打磨，对吧？没错，他们通过那些验证器增加了数学和编程能力。

184:38

apes and this self-domestication is the key to understanding our unique cognitive and social

猿类与这种自我驯化，正是理解我们独特认知与社交能力的关键。关于金钱、法律、权利，以及我们集体假装这些东西真实存在，表面上像是在竞争，实际上却是在暗中合作——这就是进步的燃料。说得太精彩了。OpenAI 的 o1 模型一次又一次地持续输出金句。我可以列举很多，但第一个就是：人类是唯一一种从自身材料中创造出反馈闭环的物种，让意义与物质紧密相连。这里我又忍不住了，金句接二连三。我告诉你，人类在已知物种中独一无二，因为他们同时重写了两层现实：外部世界，以及他们自己私密的内心图景。

184:43

abilities now it's important to say that the chain of thought there was really interesting it was

现在关键是要说，那个思维链真的很有意思。它讲的是金钱、法律和权利，以及我们集体假装这些东西是真实的，然后跟它们玩游戏，表面上看起来像竞争，实际上我们只是在互相合作。而这就是进步的燃料。说得太漂亮了。OpenAI o1 系列一次又一次地输出金句。我可以列举很多，但第一个是：人类是唯一一种从创造它们的材料中，建立起意义与物质之间紧密反馈回路的物种。这里我又要说了，金句接金句，我跟你说，人类在已知物种中是独一无二的，因为他们同时重写了两层现实：外部世界和他们自己私密的内心图景。

184:49

looking through the entire evolution of life on earth considering apex predators and considering

纵观地球上整个生命演化史，从顶级掠食者一路看到我们现在的位置，我觉得“自愿被驯化”这个角度真的很有意思。

184:57

from that went it up to where we are I think that domestication by choice is a really interesting angle

这又是那种事——当有人提出一个不同视角，而且看起来明明很显而易见的东西时，就让我忍不住会心一笑。Deep Seek R1也是同理。

185:05

again it's one of those things when somebody presents a different angle and a seemingly obvious

但这些关于金钱、法律、权利的幻觉，我们集体假装它们是真的，还跟它们玩游戏——表面看起来像竞争，实际上我们只是在互相合作。

185:10

thing it just makes me smile and the same with deep seek R1 but these hallucinations

而这正是进步的燃料。说得真漂亮。现在OpenAI的o1-pro一次又一次地输出爆款，我可以举出很多例子，但第一个就是：人类是唯一一种……

185:16

of money laws and rights and us collectively pretending like it's real and we play games with them

那种泛泛而谈的说法，对我来说始终差点意思。所以这是我从O3 mini 得到的第一个版本。

185:23

that look like competition when secretly we're just cooperating with each other

表面上看着像竞争，其实我们暗地里都在互相合作。

185:27

and that is the fuel of progress beautifully put now open AI01 proc consistently over and over

而这正是进步的燃料——说得太漂亮了。现在，OpenAI 01 一次又一次地稳定输出金句。

185:34

delivered bangers I can go through many of them but the first one was humans are the only species that

我可以列出一大堆，但第一个是：人类是唯一一种用自己创造的材料来构建自身的物种，在意义与物质之间形成了一个紧密的反馈循环。

185:39

turns raw materials into symbolic resources then uses those symbols to reorganize the

将原始材料转化为符号资源，再用这些符号去重组它们所源自的材料本身，在意义与物质之间形成了一个紧密的反馈循环。你看，我又连续输出金句了，我跟你讲，人类在已知物种中是独一无二的，因为他们同时重写两个层面的现实——外部世界和他们自己私密的内心图景——然后将这两个重写后的层面融合成一个连续的、感觉上客观真实的个人叙事。感觉真实，这简直就是诗啊，对吧？然后O3 mini high对我来说，聪明、快速、实际上有点平庸，始终没达到我的预期。所以这是我从O3 mini得到的第一个回答：人类不是固定的存在，而是持续进行的叙事，是我们不断在书写的动态故事。

185:45

very materials they came from creating a close feedback loop between meaning and matter here I just

你看，我又来了，金句接金句——我跟你说，人类在已知物种中是独一无二的，因为他们同时重写两层现实：外部世界和他们自己私密的内心图景。

185:53

ran again banger after banger I'm telling you humans are unique among known species in that they

而那种泛泛而谈的东西，对我来说始终差点意思。所以这是我从 O3 mini 那里得到的第一个金句：

185:59

simultaneously rewrite two layers of reality the external world and their own private mental landscapes

人类不是固定的存在，而是不断展开的叙事，是动态的故事，我们一直在持续地重写自己。

186:06

and then merge these two rewritten layers into a continuous personal narrative that feels objectively

然后将这两层改写的内容融合成一个连续的、个人化的叙事，让它感觉上客观真实、确实真实——这算诗吗？好吧。然后对我来说，O3 mini high 既聪明又快速，实际上有点千篇一律，始终没能打动我。所以这是我用 O3 mini 得到的第一个版本：人类并非固定不变的存在，而是持续演进的叙事，是动态的故事，我们不断……这是一种内在的认知过程，像内部纠错系统一样运作，让我们能够随着时间推移，根据新经历、挑战和社会环境来调整自己的身份和价值观。它几乎悄悄逼近了某种接近深刻洞见的东西，带有叙事可塑性，但随后又回到了那种千篇一律的套路。我不知道，所有这些模型都令人难以置信。

186:13

true feels true is this is poetry okay and then O3 mini high for me was smart fast actually

true feels true 这像诗一样，好吧。然后 O3 mini high 对我来说，聪明、快速、实际，但有点千篇一律，始终没达到我的预期。所以这是我从 O3 mini 得到的第一个回答：人类并非固定不变的存在，而是持续展开的叙事，是动态的故事，我们不断……这是一种内在的认知过程，像一个内部纠错系统，它让我们能够随着时间推移，根据新的经历、挑战和社会环境来调整自己的身份和价值观。现在它几乎悄悄逼近了某种接近深刻洞见的东西，带着叙事可塑性，但随后又回到了那种泛泛而谈。我不知道，所有这些模型都令人难以置信，近乎癫狂。所以希望这些内容有点意义。现在，亲爱的朋友们，回到正片。

186:26

and kind of generic never quite got there for me so here's the first one I got from O3 mini

那种泛泛而谈的东西对我来说始终差点意思，所以这是我第一个从 O3 mini 得到的

186:34

humans are not fixed beings but rather ongoing narratives dynamic stories that we continuously

人类并不是固定不变的存在，而是持续展开的叙事，是动态的故事，我们不断在书写自己。

186:40

write edit and reinterpret this narrative plasticity is more than just memory or self reflection

书写、编辑并重新诠释这种叙事可塑性，它不仅仅是记忆或自我反思，更是一种内在的认知过程，像内部纠错系统一样运作，让我们能够根据新的经历、挑战和社会环境，随时间调整自己的身份和价值观。它几乎要触及某种接近真知灼见的洞察力，但随后又滑回了那种泛泛而谈——我不知道，所有这些模型都各有其不可思议之处。正如我们在本期节目中讨论的，虽然存在许多担忧，但也有许多值得兴奋的理由。我可能说得太久了，我现在严重睡眠不足，几乎神志不清，所以希望刚才的话多少有点道理。好了，亲爱的朋友们，回到本期节目正题。

186:47

it's an intrinsic cognitive process that acts like an internal error correction system it allows us

这是一种内在的认知过程，像一套内部纠错系统，让我们能够随着时间推移，根据新的经历、挑战和社会环境来调整自己的身份和价值观。它有时会接近某种带有叙事可塑性的犀利洞见，但随后又会回到那种泛泛的、我不确定的状态——所有这些模型都不可思议，近乎胡言乱语。所以希望刚才这些多少有点道理。好了，亲爱的朋友们，回到正题。Feeling Right 和 Flash Thinking，你知道，我之前没用这个版本，用的是去年十二月那个。当时我确实觉得它还有不少粗糙的地方，就是那种在很多方面都还没打磨好的感觉。没错，他们通过那些 verifiers 加入了数学和编码能力。

186:53

to adapt our identities and values over time in response to new experiences challenges and social

为了适应我们的身份和价值观，随着时间推移，面对新的经历、挑战和社会环境，它们会不断调整。现在这几乎悄悄逼近某种接近深刻洞见的东西，带着叙事上的可塑性，但接着又回到那种泛泛的“我不知道”——所有这些模型都不可思议，近乎胡言乱语。所以希望这些内容还有点道理。好了，亲爱的朋友们，回到正题。

186:58

context now it almost sneaks up to something approximating cutting insight with narrative plasticity

感觉对了，还有Flash Thinking。你知道，之前我没用这个版本，用的是去年12月的那个，确实有种“边角粗糙”的感觉，就是还没在很多方面打磨到位，对吧？没错，他们通过那些验证器加入了数学和编码能力。

187:06

but then it goes back to the sort of the generic I don't know all of these models are incredible

01 Pro，以及他们在03上做的——也非常独特——就是在上面叠加了搜索。

187:12

for different reasons there's a lot of concerns as we discuss in this episode but there's a lot

出于不同原因，这一集里我们讨论了很多担忧，但也有很多值得兴奋的理由。我可能说得太久了，我现在严重睡眠不足，几乎神志不清，所以希望刚才说的还算有点道理。好了，亲爱的朋友们，回到正题吧。

187:17

of reasons to be excited as well and I probably spoken for too long I am severely sleep deprived

对我来说，即使是在用R1对比01的时候，也有那种“边角粗糙”的感觉，对吧？还有Flash Thinking，我之前没用这个版本，用的是去年十二月那个，确实有那种边角粗糙的感觉——就是它在很多方面还没打磨好。没错，他们通过RL里的验证器增加了数学和编码能力，但你知道，在某些方面好像又丢了点什么。而01呢——

187:27

borderline delirious so hopefully some of this made sense and now dear friends back to the episode

快接近语无伦次了，所以希望刚才那些话多少有点道理。好了，亲爱的朋友们，我们回到正片。

187:36

I think I think when you know to Nathan's point when you look at like the reasoning models

我觉得，说到Nathan那个点，当你去看推理模型的时候，对我来说，就算我用R1对比01，也有那种“边角还有点粗糙”的感觉，对吧。还有Flash Thinking，你知道，我之前没用这个版本，用的是去年12月那个，确实有那种“边角没打磨好”的感觉，就是它在很多方面还没完全成熟。没错，他们通过RL里的验证器加了数学和编码能力，但你知道，感觉在某些领域好像又丢了点什么。而且01在很多方面表现也比Chat差，说清楚，不是差很多，不是差很多，对吧。就像R1对我来说，明显感觉在某些领域比V3还差。

187:43

to me even when I used R1 versus 01 there was like that sort of rough edges around the corner

对我来说，就算我用R1对比01的时候，也有那种边边角角没打磨好的感觉，对吧？Flash Thinking，你知道，我早期没用这个版本，用的是去年十二月那个，确实有那种边边角角不够圆润的感觉，就是很多方面还没完全展开，对吧？没错，他们通过RL里的验证器加了数学和编程能力，但你知道，他们可能在某些领域失去了一些东西。而01是01 Pro，还有他们做的03，也非常独特，就是在思维链的基础上叠加了搜索，对吧？思维链是一回事，它能形成一条链，能回溯、来回调整，但他们解决ArcAGI挑战的方式，并不仅仅是靠这个。

187:49

feeling right and flash thinking you know earlier I didn't use this version but the one from December

Feeling Right 和 Flash Thinking，你知道，之前我没用这个版本，用的是去年十二月的那个。

187:55

and I definitely had that rough edges around the corner feeling right where it's just not fleshed

我当时确实有种“边角还很粗糙”的感觉，就是它还没在那么多方面被充分打磨，对吧？

188:00

out in any as many ways right sure they added math and coding capabilities via these verifiers

没错，他们通过那些验证器加入了数学和编程能力。

188:05

in RL but you know they might they feel like they lost something in certain areas and 01 is

在RL里，但他们可能觉得在某些方面有所损失，而01和01 Pro，以及他们用03做的那些事，也非常独特，就是在chain of thought之上叠加了搜索，对吧。chain of thought本身是一回事，它能生成一条链，可以回溯、来回调整。但他们解决ArcAGI挑战的方式，并不仅仅是靠几年前一篇论文里提出的那个想法——当时那个语言模型还远没有现在这么好用——你会说“让我们一步步验证”，然后它会引导模型生成这个加粗的步骤列表。现在chain of thought几乎成了模型的默认功能，如果你去问模型的话。而这也意味着我们需要重新评估训练过程中的许多环节，这通常是一个开放性的问题。

188:10

worse performing than chat in many areas as well to be clear not by a lot not by a lot though right

在很多方面表现也比Chat差，不过说清楚，差得不多，真的不多。

188:16

and it's like some like R1 definitely felt to me like it was worse than V3 in certain areas like

而且像R1，我确实感觉在某些方面比V3要差。

188:22

doing this RL express and learned a lot but then it weakened in other areas and so I think that's

做这个RL（强化学习）学到了很多，但在其他方面却变弱了，所以我觉得这就是这些模型和01模型之间的一个重大区别。然后OpenAI有01 Pro，以及他们在03上做的——也非常独特——就是在思维链的基础上叠加了搜索，对吧？思维链是一回事，它是一条链，能回溯、来回调整，但他们解决ArcAGI挑战靠的不仅仅是思维链，还有多次采样，也就是并行运行，然后从中选择。并行运行实际上就是搜索。我不确定我们是否掌握了01 Pro的全部信息，所以我没有足够的信息来自信地说它就是这样。

188:28

one of the big differences between these models and the and and what 01 offers and then OpenAI has

这些模型和01以及OpenAI后来推出的01 Pro，还有他们做的03之间的一大区别——03也非常独特——就是他们在思维链的基础上叠加了搜索，对吧。思维链是一回事，它是一条链，会回溯、来回调整，但他们解决ArcAGI挑战的方式不仅仅是思维链，还包括多次采样，也就是并行运行然后筛选。并行运行其实是一种搜索，我不确定我们是否掌握了全部信息。

188:34

01 Pro and what they did with 03 which is like also very unique is that they stacked search on top

01 Pro 和 03 的做法也很特别，就是他们在搜索上面叠加了一层，它会回溯、来回调整。但他们解决 ArcAGI 挑战的方式，并不是靠几年前一篇论文里提出的那个想法——当时你让一个语言模型（那时候还不太好用）一步步验证，它会诱导模型生成一个加粗的步骤列表。现在 chain of thought 几乎成了模型的默认功能，如果你问模型，我们就需要重新评估训练过程中的很多环节，这些环节通常以选择题形式出现，看它们在做什么；或者如果任务更复杂，他们就会改变训练方式，并且知道 inference 模式会不同。所以我们讨论的是，哦，在 Pro 上……

188:41

of chain of thought right and so chain of thought is one thing where it's able it's one chain

关于chain of thought对吧，chain of thought就是其中一种方式，它能够形成一条推理链，然后回溯、来回推敲。但他们解决ArcAGI挑战的方式，并不仅仅是靠几年前一篇论文里提出的那个想法——让语言模型（当时还远没那么好用）一步步验证，然后引导模型生成一个加粗的步骤列表。现在chain of thought几乎成了模型的默认功能，如果你去问模型——这也意味着我们需要重新评估训练过程中的很多环节，通常这些环节在多项选择题里就能看出模型在做什么，或者如果任务更复杂，他们就会改变训练方式，并且他们知道推理模式会有所不同。所以我们讨论的是，哦，关于pro。

188:46

it backtracks goes back and forth but how they serve the solved the ArcAGI challenge was not just

它会回溯，会来回调整，但他们解决 ArcAGI 挑战的方式，并不仅仅依靠多年前的一篇论文——那篇论文提出了一个想法，让当时还远没那么好用的语言模型去“一步步验证”，从而引导模型。

188:51

the chain of thought it was also sampling many times i.e. running them in parallel and then selecting

思维链（chain of thought）也会多次采样，也就是并行运行然后从中选择。

188:58

is running in parallel actually search is I don't know if we have the full information on how

并行运行实际上是不是一种搜索？我不确定我们是否掌握了关于这个功能的全部信息。

189:02

01 Pro works so like I'm not I don't have enough information to confidently say that it is

01 Pro 是这样，但我没有足够的信息来 confidently 说它就是这个原因。我们之所以在讨论，是因为自从 01 发布以来，大家对一种叫 Monte Carlo 的技术产生了很大兴趣。这种技术会把 chain of thought 拆解成中间步骤。我们还没定义 chain of thought——它来自几年前的一篇论文，当时提出让语言模型（那时还远没那么好用）一步步验证，模型就会生成一个加粗的步骤列表。现在 chain of thought 几乎成了模型的默认功能，比如你问它一道数学题，根本不用告诉它“一步步想”，它自己就会这么做。而 Monte Carlo 的思路是……

189:06

search it is parallel samples yeah and then select something we don't know what the selection

搜索它用的是并行样本，然后选一些东西——但我们不知道这个选择函数是什么。之所以大家争论，是因为自从01发布以来，大家对一种叫Monte Carlo的技术特别感兴趣，这种技术会把思维链的中间步骤拆解开来。我们还没定义思维链，思维链来自几年前的一篇论文，当时提出让语言模型——那时候模型还没这么好用——你让它一步步验证，它就会诱导模型生成一个加粗的步骤列表。现在思维链几乎成了模型的默认功能，比如你问它一道数学题，根本不用告诉它“一步步思考”，它自己就会这么做。而Monte Carlo的思路是……

189:11

function is the reason why we're debating is because since 01 was announced there's been a lot

我们之所以在争论，是因为自从01发布以来，大家对一种叫做蒙特卡洛搜索（Monte Carlo research）的技术产生了很大兴趣，这种技术会把思维链拆解成中间步骤。

189:16

of interest in techniques called Monte Carlo research which is where you will break down the

我们还没定义思维链（chain of thought）。思维链来自几年前的一篇论文，当时提出让语言模型（那时还远没那么好用）一步步验证，它会引导模型生成一个加粗的步骤列表。

189:20

chain of thought inter intermediate steps we haven't defined chain of thought chain of thought is

现在思维链几乎成了模型的默认功能，如果你问它问题，它就会这样操作。

189:25

from a paper from years ago where you introduced the idea to ask a language model that at the time

来自几年前的一篇论文，当时你提出了一个想法，让语言模型——那时还远没那么好用——

189:30

was much less easy to use you would say let's verify a step by step and it would induce the model

你会说“让我们一步步验证”，这就会引导模型

189:36

to do this bolded list of steps chain of thought is now almost a default in models where if you ask

要实现这个加粗的步骤列表，思维链现在几乎是模型的默认设置，如果你问模型——以及我们需要重新评估训练过程的许多部分，这通常会在多项选择中打开——它们在做什么，或者如果是更复杂的情况，它们会改变训练方式，并且它们知道推理模式会不同。所以我们谈论的是，哦，九个月前，训练和推理的成本是这样，现在我们比这好得多，所以越来越便宜、越来越便宜、越来越便宜。DeepSeek R1 的大规模发布把所有人都吓坏了，因为其中一个更便宜的表现就是英伟达的股价暴跌。你能解释一下发生了什么吗？我的意思是，也解释一下这个时刻，以及你是否认为英伟达会……

189:41

it a math question you don't need to tell it to think step by step and the idea with Monte Carlo

这是一个数学问题，你不需要让它一步步思考，而蒙特卡洛的思路是——

189:46

research is that you would take an intermediate point in that chain do some sort of expansion spend

研究方法是，你会在这个链条中选取一个中间点，做一些扩展操作，投入更多算力，然后选出正确的那一个——这是一种非常复杂的搜索形式，已经在Muse 0和Alpha 0这类系统中被使用过。据我所知Muse 0就是这么做的。另一种搜索形式就是问五个人，然后取多数答案。是的，形式多种多样，可能复杂也可能简单，我们不知道具体是什么，只知道他们不是只按顺序生成一条思维链，而是同时启动多条。在Arc AGI那次真正震惊所有人的基准测试中，他们同时启动了一千条并行链，然后从中选出结果。

189:51

more compute and then select the right one that's like a very complex form of search that has been used

更多的算力，然后从中选出正确的结果——这本质上是一种非常复杂的搜索形式，已经在Muse 0和Alpha 0这类系统中被使用过。据我所知Muse 0确实用了这种方法。另一种搜索形式就是问五个人，然后取多数答案。没错，方式多种多样，可能复杂也可能简单，我们不确定具体是什么，但关键是他们不是只生成一条思维链按顺序执行，而是同时启动很多条。在Arc AGI那次，他们同时启动了一千条并行路径，那个真正震惊所有人、一举击败基准测试的方案就是——他们先并行启动一千条，然后从中选出一条，准确率大概提升了30%。这种方法有很多扩展，我认为最简单的就是……

189:56

in things like muse 0 and alpha 0 potentially I know muse 0 does this another form of search is

在像Muse 0和Alpha 0这样的系统里，我知道Muse 0确实用了这个，另一种搜索形式就是

190:02

just asking five different people and then taking the majority answers yes variety of like you know

问五个不同的人，然后取多数答案，没错，就是那种，你知道的——

190:07

it could be complicated it could be simple we don't know what it is just that they are they are not

它可能很复杂，也可能很简单，我们不知道具体是什么，只是它们不是

190:12

just issuing one chain of thought in sequence they're launching many in parallel and in the arc

只按顺序生成一条思维链，而是并行启动很多条。在Arc AGI里，

190:17

a GI they launched a thousand in parallel for their the one that like really shocked everyone

他们并行启动了一千条，那个让所有人都震惊的、击败了基准测试的版本，

190:22

that beat the benchmark was they want they would launch a thousand in parallel and then they would

就是他们并行启动一千条，然后只取其中一条，结果提升了大约30%。

190:26

get the right answer like 80% of the time or 70% of the time 90 maybe even whereas if they just

正确率大概在80%、70%，甚至90%左右，但如果他们只生成一次回答，正确率可能只有30%。这方面有很多扩展，我认为最简单的理解是：我们现在的语言模型被设计成在一次回答中尽可能给出最高正确率，而我们现在正在探索不同的推理方式，这需要我们重新评估训练过程中的许多环节。这通常为更多进步打开了大门，但我们不知道OpenAI是否做了很大改变，或者只是通过多次采样来提升多选效果，又或者他们做了更复杂的调整——比如改变了训练方式，并且知道推理模式会有所不同。所以我们讨论的是，哦，在Pro版本上……

190:31

launched one it was like 30% there are many extensions to this I would say the simplest one is that

这个思路有很多扩展，我觉得最简单的就是——

190:37

our language models today have been designed to give the right answer the highest percentage of the

我们现在的语言模型在设计上，追求的是单次回答中给出正确答案的最高概率，而现在我们正在打开一扇门，探索在模型上进行推理的不同方式，这也意味着我们需要重新审视训练过程中的许多环节——这通常又会带来更多进步的空间。但我们不确定OpenAI是否做了大量改动，或者只是通过多选方式增加了采样次数，又或者他们做了更复杂的调整，比如改变了训练方式，并且他们知道推理模式会有所不同。所以我们正在讨论，哦，关于pro，那个关于test time compute空间的精彩探索——这真的可行吗？我们有足够的算力吗？从财务角度看合理吗？最棒的是，而且它就在

190:42

time in one response and we are now opening the door to different ways of running inference on our

一次回复的时间里，我们正在打开不同方式的大门，让模型在推理阶段运行，这也意味着我们需要重新评估训练过程中的许多环节——这通常又会带来更多进展。但我们不确定OpenAI到底改了多少，是仅仅在多个选项中增加了采样次数，还是做了更复杂的事情，比如他们改了训练方式，并且知道推理模式会不同。所以我们讨论的是，哦，关于o1 pro，对测试时计算空间的探索非常有意思。这真的可行吗？我们有足够的算力吗？从财务角度看合理吗？最棒的一点是——而且这其实就体现在几张图里——我觉得关键问题在于：成本是不是这里的限制因素，对吧？

190:48

models and which we need to reevaluate many parts of the training process which normally opens

模型们，我们需要重新评估训练过程中的许多环节，这通常会打开

190:54

the door to more progress but we don't know if open AI changed a lot or if just sampling more

通往更多进步的大门已经打开，但我们不知道OpenAI是否做了大量改变，还是仅仅在多个选项中采样更多，或者他们做了更复杂的调整来改变训练方式。而且他们知道推理模式会有所不同，所以我们正在讨论“哦，关于Pro”。对测试时计算空间的探索非常引人入胜——这真的可行吗？我们有足够的算力吗？从财务角度看合理吗？最棒的一点是，而且就在几张图片里就能体现——我认为关键问题是：成本是不是这里的限制因素，对吧？AGI在我们让它渗透到整个经济之前就已经存在了，而这正是原因所在。GPT-3是在2020到2021年训练的，当时运行推理的成本是60到70。

190:59

in multiple choices what they're doing or if it's something more complex for they change the training

在多项选择中看它们在做什么，或者如果是更复杂的情况，它们会改变训练

191:04

and they know that the inference mode is going to be different so we're talking about oh on pro

而且它们知道推理模式会不同，所以我们讨论的是“哦，在 pro 上”

191:09

two hundred dollars a month and they're losing money so the thing that we're referring to this

一个月两百美元，他们还在亏钱。所以我们讨论的这个关于测试时计算空间的精彩探索，核心问题是：这真的可行吗？我们有足够的算力吗？财务上说得通吗？最棒的一点是——我之前调出来的资料里就有——GPT-3的成本已经暴跌了。往上翻几张图就行。我觉得关键点在于：成本是不是这里的限制因素？我的看法是，在AGI真正渗透到整个经济之前，我们就会拥有非常强大的智能。这就是原因所在——GPT-3是在2020到2021年训练的，当时运行它的推理成本是六七十美元。

191:17

fascinating exploration of the test time compute space is that actually possible do we have

对测试时计算空间的探索非常有趣，这真的可行吗？我们有足够的算力吗？从财务角度看合理吗？最棒的地方在于——而且这只需要几张图就能说明——我觉得关键问题是：成本是不是这里的限制因素？AGI 在我们让它渗透到整个经济之前，这就是为什么这个原因成立。GPT-3 是在2020到2021年训练的，当时运行推理的成本是60到70。智能就是 GPT-3。所以这里 x 轴是时间，跨度只有几年；y 轴是对数尺度，表示每百万 token 的推理成本。然后你有 GPU 到新一代或者 ASICs，一切都在让这条成本曲线不断下降、下降、再下降。

191:24

enough compute for that does the financial make sense so the fantastic thing is and there it's in

足够的算力来实现这一点，从财务角度看是否合理？最棒的地方在于——而且这一点体现在

191:30

the thing that I pulled up earlier but did cost for GPT three has plummeted if you scroll up

我之前提到的那件事——GPT-3的成本已经大幅下降了，你往上翻一下就能看到。就几张图而已。我觉得关键点在于：成本到底是不是一个限制因素，对吧？我的看法是，我们会在拥有AGI之前就拥有非常强大的智能，但要让这种智能渗透到整个经济中，还需要时间——这就是原因所在。GPT-3是在2020到2021年左右训练的，当时用它做推理的成本是60到70美元。往前推两年，我们实现了1200倍的成本降低，却能达到和GPT-3同等的智能水平。所以这里，横轴是时间，跨度只有几年；纵轴是对数尺度的美元，表示处理一百万个token的推理成本。于是你就得到了——

191:38

just a few images I think the important thing about like hey is cost limiting factor here right

仅仅几个例子中——我认为关键在于：成本是否在这里成为了限制因素，对吧？

191:44

like my my view is that like we'll have like really awesome intelligence before we have like

我的看法是，我们会在拥有真正强大的智能之后，才会迎来AGI，才会让它渗透到整个经济中，这就是原因所在。GPT-3是在2020到2021年左右训练的，当时运行一次推理的成本是六七十美元。往前推两年，我们实现了1200倍的成本下降，却能达到和GPT-3同等的智能水平。所以这里x轴是时间，跨度只有几年，y轴是对数尺度，表示每百万token的推理成本。随着GPU更新换代，或者ASIC的出现，一切都在推动这条成本曲线不断下降、下降、再下降。那我能直接生成一千个不同的LLM来执行一个任务吗？

191:49

AGI before we have it permeate throughout the economy and this is sort of why that reason is right

在AGI渗透到整个经济之前，这正是原因所在，对吧？

191:54

GPT three was trained in what 2020 2021 and the cost for running inference on it was 60 70

GPT-3是在2020到2021年训练的，当时运行推理的成本是60到70

192:02

dollars per million tokens right which is the cost per intelligence was ridiculous now as we

每百万token的美元成本，也就是每单位智能的价格，之前简直离谱。现在随着我们向前推进两年，达到GPT-3同等智能水平的成本已经降低了1200倍。所以这里x轴是时间，跨度只有几年，y轴是对数尺度下每百万token的推理成本。你可以看到从GPT-3到3.5再到long one，成本在对数尺度上呈线性下降，现在大概是5美分左右，而之前是60美元。1200倍，虽然数字不完全精确，但确实是1200倍。我记得这个数字，它代表着每单位智能的成本曾经高得惊人。现在大家对DeepSeek的恐慌就是——天哪。

192:07

scaled forward two years we've had a twelve hundred x reduction in cost to achieve the same level

往前推两年，我们实现同等智能水平的成本已经降低了1200倍——这里说的是GPT-3的水平。横轴是时间，跨度也就几年；纵轴是对数尺度，表示每百万token的推理成本（美元）。你看，GPU新架构也好，ASICs也好，都在不断把这条成本曲线往下压，一压再压。然后我能不能直接生成一千个不同的LLM来执行一个任务？实际上规模能扩多大，谁知道呢，对吧？问题在于，我觉得不是“会不会”，而是“什么时候”——因为进步速度实在太快了。九个月前，Dario还在说，训练和推理成本是这个水平，现在我们已经比这好太多了。

192:13

of intelligence is GPT three so here in the x-axis is time over just a couple of years

（单位）。而GPT-3的智能水平就在这里。所以在这张图上，横轴是时间，仅仅跨越了几年，

192:19

and on the y-axis is log scale dollars to run inference on on a million tokens and so you have

纵轴是以对数尺度表示的、对每百万个token进行推理所需的美元成本。于是你看到

192:29

just a down like a linear decline on log scale from GPT three through three five to a long one

从GPT-3到GPT-3.5再到GPT-4，在log坐标上就是一条直线下降的趋势

192:37

five cents or something like that now right which is which is versus versus $60

现在大概是五美分或者类似的价格对吧，而之前是60美元

192:42

twelve hundred x that's not the exact numbers but it's twelve hundred x I remember that number is

一千两百倍——虽然不是精确数字，但我记得就是一千两百倍这个数

192:47

is the humongous humongous cost per intelligence right now the freak out over deep seek is oh my god

这单位智能的成本简直高得离谱，现在大家对DeepSeek恐慌的点在于“天哪”

192:52

they made it so cheap it's like actually if you look at this trend line they're not below the

他们把成本压得这么低，实际上如果你看这条趋势线，首先它们并没有低于趋势线，至少对于GPT-3来说，它们是第一个达到这个点的，这确实是个大事。但就GPT-3而言，它们并没有低于趋势线。现在有了GPT-4，这些推理能力会怎么发展呢？这其实是架构创新、更优质的数据、更好的训练技术，以及各种更优的推理系统和硬件的结合——从每一代GPU到新一代芯片或ASIC，所有这一切都会让这条成本曲线一路往下走、往下走、往下走。然后我能不能直接生成一千个不同的LLM来完成一个任务？

192:56

trend line first of all and at least for GPT three right they are the first to hit it right which is

首先看趋势线，至少对GPT-3来说，他们是第一个达到这个点的，这确实很了不起

193:01

which is a big deal but they're not below the trend line as far as GPT three now we have GPT four

但他们并没有低于趋势线。至于GPT-3，现在我们有了GPT-4

193:05

what's going to happen with these reasoning capabilities right it's a mix of architectural

这些推理能力会怎么发展呢？这其实是架构创新、更好的数据、

193:09

innovations it's a mix of better data and it's going to be better training techniques and all of

以及更优的训练技术等等因素的混合体

193:14

these different better inference systems better hardware right going from you know each generation of

这些不同的、更好的推理系统，更好的硬件，从每一代GPU到新一代GPU或者ASICs，都会让成本曲线一路往下走、往下走、往下走、往下走。然后我能不能直接生成一千个不同的LLM来做一个任务树搜索？也许它会变得那么复杂，也许不会，因为实际规模化可能太难了，谁知道呢，更好的教训对吧。问题是，我觉得关键不是“如果”，而是“什么时候”，因为进步的速度太快了。九个月前，Dario还在说，嘿，或者你知道，Dario九个月前说，训练和推理的成本是这个数，对吧？而现在我们已经比这个好太多了，对吧？DeepSeek也比这个好得多。而GPT-4的成本曲线，那也是——

193:19

GPU to new generations or ASICs everything is going to take this cost curve down and down and down and

GPU更新换代，或者ASIC出现，一切都在推动这条成本曲线不断下降、下降、再下降，

193:25

down and down and then can I go in can I just spawn a thousand different LLMs to create a task

越来越便宜，越来越便宜，那我能进去吗？我能直接生成一千个不同的LLM来创建一个任务吗？实际上，规模化的关键在于谁更懂这个道理，对吧？问题在于，我觉得是“什么时候”而不是“会不会”，因为进步的速度实在太快了。九个月前，Dario还在说，嘿，你知道吧，Dario九个月前说过，训练和推理的成本是这个数，而现在我们已经比这好太多了。所以成本越来越低、越来越低、越来越低。那个Deep Seek R1的大规模发布把所有人都吓坏了，因为其中一个体现就是Nvidia股价暴跌。你能解释一下发生了什么吗？我的意思是，也顺便解释一下这个时刻，以及你觉得Nvidia会不会因为一个公开发布的模型而损失十亿美元？GPT-4当时也就花了几亿。

193:32

and then pick from one of them or you know whatever search search technique I want to tree Monte Carlo

然后从里面挑一个，或者用你喜欢的搜索方法，比如蒙特卡洛树搜索。可能复杂到那个程度，也可能没那么复杂，因为真要规模化的话实在太难了，谁知道呢，对吧？关键问题是，我觉得不是“会不会”，而是“什么时候”，因为进步速度实在太快了。九个月前，Dario 还在说，嘿，训练和推理的成本是这个数，对吧？现在我们已经比这个好太多了，Deep Seek 也比这个好得多。GPT-4 刚推出时，每百万 token 的成本大概 60 美元，现在已经降到两美元左右了。我们还会把它降到几美分，达到 GPT-4 的质量，然后同样的趋势还会继续。

193:36

tree search maybe it gets that complicated maybe it doesn't because it's too complicated to

树搜索可能会变得复杂，也可能不会，因为实际上要规模化它实在太复杂了——谁知道呢，更好的教训是，问题在于“何时”而非“是否”，因为进步的速度实在太快了。九个月前，Dario 还在说，嘿，你知道九个月前 Dario 说过，训练和推理的成本是这个数，对吧？而现在我们比这好得多，Deep Seek 也比这好得多。GPT-4 的成本曲线也在不断下降，越来越便宜。Deep Seek r1 的发布把所有人都吓坏了，因为其中一个体现就是它更便宜，导致 Nvidia 股价暴跌。你能解释一下发生了什么吗？我的意思是，也解释一下这个时刻，以及你是否认为 Nvidia 会……

193:40

actually scale like who knows better lesson right the the question is is I think when not if because

而实际上规模效应——谁知道呢，更好的经验教训？问题在于，我认为关键不是“如果”，而是“何时”。

193:48

the rate of progress is so fast right nine months ago Dario was saying hey or you know Dario said

进展速度实在太快了。九个月前，Dario还在说，嘿，你知道Dario说过——九个月前，训练和推理的成本是这个数，而现在我们已经比这个好太多了。所以成本越来越低、越来越低。那个大模型DeepSeek R1的发布把所有人都吓坏了，因为它更便宜。其中一个表现就是英伟达的股价暴跌。你能解释一下发生了什么吗？我的意思是，也解释一下这个时刻，以及你知道英伟达是不是要——一个公开发布的模型花了十亿美元？GPT-4是几亿美元。模型运行的时代来了，对吧？这标志着预训练和后训练的结束，对吧？然后另一个数字是，嘿，DeepSeek并没有包含所有东西，对吧？他们并没有包含，你知道，很多内容。

193:54

nine months ago the cost to train in inference was this right and now we're much better than this

九个月前，训练和推理的成本还是这样，现在我们已经比这好太多了。所以越来越便宜越来越便宜，那个Deep Seek R1的发布把所有人都吓坏了。因为便宜的一个表现就是英伟达股价暴跌，你能解释一下发生了什么吗？我的意思是，也解释一下这个时刻，以及你是否知道英伟达接下来会怎样。模型运行正在到来，这标志着预训练和后训练的结束，对吧。然后另一个数字是，嘿，Deep Seek并没有包含所有东西，对吧，他们没有包含很多……很明显，更容易找到这种经济活动。是的，所以我的看法是，去年大致上，英伟达生产了一百万块H20，这些是法律允许出货的。

193:59

right and deep seek is much better than this and and that cost curve for GPT four which was also

对，DeepSeek 比这个强太多了。GPT-4 的成本曲线也是越来越便宜、越来越便宜。DeepSeek r1 的发布把所有人都吓坏了，因为它更便宜。其中一个表现就是英伟达股价暴跌。你能解释一下发生了什么吗？我的意思是，也解释一下这个时刻，以及英伟达是不是……一个公开发布的模型花了十亿美元？GPT-4 是几亿美元，然后你知道，他们用 4o、4o turbo、4o 降低了成本，对吧？但十亿美元级别的模型训练还在进行中，对吧？这结束了 pre-training 和 post-training。然后另一个数字是，DeepSeek 并没有包含所有东西，对吧？他们没包括很多……

194:04

roughly $60 per million tokens when it launched has already fallen to you know two dollars or so

刚推出时每百万 tokens 大概要 60 美元，现在已经降到你知道的两美元左右了。

194:10

right and we're going to get it down to cents probably for GPT four quality and the same and then

对，而且我们还会把它降到几美分，达到 GPT-4 的水平，然后同样的趋势还会继续。

194:15

that's that that's the base for the reasoning models like oh one that we have today and oh one

这就是今天推理模型如 o1 的基础，而 o1 pro 正在衍生出更多分支，还有 o3 等等，这些搜索技术目前成本太高，但会越来越便宜，而这正是解锁智能的关键。成本不断下降，DeepSeek r1 的发布让所有人震惊，因为成本降低的一个体现就是英伟达股价暴跌。你能解释一下发生了什么吗？同时也分析一下这个时刻，以及英伟达是否会继续胜出。我们俩都是英伟达的看多者，某种程度上市场反应是合理的——英伟达在美国最大的客户主要是大型科技公司。

194:20

pro is spawning more multiple right and oh three and you know so on and so forth these search techniques

Pro 正在催生更多分支，比如 o3 之类的，这些搜索技术现在太贵了，但会越来越便宜，而这正是解锁智能的关键。

194:25

too expensive today but they will get cheaper and that's that's what's going to unlock the intelligence

所以越来越便宜、越来越便宜——DeepSeek 的 r1 发布把所有人都吓坏了，因为其中一个体现就是英伟达股价暴跌。你能解释一下发生了什么吗？我的意思是，也解释一下这个时刻，以及英伟达是否还会继续赢下去。我们俩都是英伟达的看多者，我得说，从某些方面来看，市场的反应是……

194:31

so get cheaper and cheaper and cheaper the the big deep seek r1 release freaked everybody out

所以成本越来越低越来越低，那个大模型Deep Seek R1发布的时候把所有人都吓坏了。

194:38

because of the cheaper one of the manifestations of that is Nvidia stock plummeted can you explain

因为成本更低的一个表现就是英伟达的股价暴跌，你能解释一下发生了什么吗？我的意思是，也解释一下这个时刻，以及你知不知道英伟达接下来会怎样。

194:44

what happened I mean and also just explain this moment and whether you know if Nvidia is going to

模型推理正在到来，这标志着pre-training和post-training的结束，对吧？然后另一个数字是，Deep Seek并没有包含所有东西，对吧？他们并没有包括很多内容。

194:51

keep winning we're both Nvidia bulls here I would say and in some ways the market response is

我们都在持续赢，我和你都看好Nvidia。从某些角度看，市场反应是——一个公开发布的模型烧掉十亿美元，而GPT-4当时只花了几亿。后来他们用GPT-4 Turbo把成本降下来了，对吧？但十亿美元级别的模型训练正在到来，这包括pre-training和post-training。另一个问题是，DeepSeek并没有把所有成本都算进去——他们没有计入大量研究开销、inference成本、post-training成本，这些都没算进去，还有研究人员的工资。DeepSeek号称只花了五六百万美元，但实际上远不止这些。

194:58

reasonable most of the market like Nvidia's biggest customers in the US are major tech companies

合理的是，市场上像Nvidia在美国最大的客户，基本都是大型科技公司。

195:04

and they're spending a ton on AI and if a simple interpretation of deep seek is you can get really

他们在AI上砸了巨资，而如果对Deep Seek的简单理解是——不用花那么多钱在AI上也能得到很好的模型，那从这个角度看，就好像“哦，也许这些大科技公司不需要在AI上花那么多钱了”。但实际发生的情况要复杂得多，涉及社会因素：比如在应用商店里的排名上升、正在蔓延的社会传染效应。然后我觉得其中很大一部分只是——我不炒股，我对金融市场一窍不通——但这件事在周末发酵，或者说是社会压力在起作用。就好像，如果这件事发生在周末，其实有好几个交易日它都在真正发酵，但它是周末爆出来的，然后每个人都想抛售，这就是一种社会现象。

195:10

good models without spending as much on AI so in that capacity it's like oh maybe these big tech

如果不用在AI上花那么多钱就能做出好模型，那从这个角度看，好像这些大科技公司

195:15

companies won't need to spend as much an AI and go down the actual thing that happened it's much

就不需要在AI上投入那么多了。但实际发生的情况要复杂得多，

195:19

more complex for their social factors where there's the rising in the app store the social contagion

涉及到社会因素，比如App Store里的排名上升、社交传染效应，

195:25

that is happening and then I think a lot of some of it is just like I'm not I don't trade I don't

然后我觉得其中很大一部分就是——我不做交易，我对金融市场一窍不通——

195:29

know anything about financial markets but it builds up over the weekend or the social pressure

但这种情况会在周末积累起来，或者说是社交压力。

195:33

where it's like if it was during the weekend there was multiple days of trading when this was

如果是在周末，其实有好几天的交易时间，这件事本来会慢慢发酵，

195:37

really becoming but it comes on the weekend and then everybody wants to sell and that is a social

但它偏偏发生在周末，然后所有人就都想卖，这就是一种社会现象。

195:42

contagion I think I think and like there are a lot of false scenarios which is like hey these guys

传染效应，我觉得，而且有很多虚假的说法，比如“这些人花了几十亿在模型上”，但实际上没人花超过十亿做一个公开发布的模型，对吧？GPT-4也就几亿美金，然后他们又通过GPT-4 Turbo、GPT-4o降低了成本。但十亿级别的模型训练确实快来了，这标志着pre-training和post-training的结束。另一个说法是，DeepSeek并没有把所有成本都算进去，对吧？他们没算上大量研究费用、推理成本、post-training成本——这些都没算进去，还有研究人员的薪资，所有这些。

195:47

are spending billions on models right and they're not spending billions on models no one spent more than

现在大家都在模型上砸几十亿美元，对吧？但并没有人真的花超过十亿美元去训练一个公开发布的模型。GPT-4 也就花了几亿美元，后来他们又通过GPT-4 Turbo和4o把成本降下来了。但十亿美元级别的模型训练很快就会到来，这标志着预训练和后训练的终结。另一个问题是，DeepSeek并没有把所有成本都算进去——他们没有计入大量研究开销、推理成本、后训练成本，这些都没算进去。还有研究人员的薪资等等。DeepSeek声称只花了五六百万美元，但实际上远不止这些。

195:51

a billion dollars on a model that's released publicly right GPD 4 was a couple hundred million

花十亿美元做一个公开发布的模型，而GPT-4也就花了几亿。模型运行阶段正在到来，这包括了pre-training和post-training。然后另一个数字是，Deep Seek并没有把所有东西都算进去，对吧，他们没包括很多……很明显，这种经济活动更容易被发现。所以，我的看法是，去年大致上，Nvidia生产了一百万块H20，这些是合法允许运往中国的，我们之前聊过，这种芯片更适合推理（inference），至少在这方面不错。往下看那些云服务商，尤其是那些不是超大规模云厂商的小型云公司，它们提供视频GPU服务，像字节跳动就租了很多这种GPU，到处都在用。

195:57

and then you know they've reduced the cost with 40 all four turbo 40 right but billion dollar

然后你知道他们把成本降下来了，GPT-4 Turbo 40美元对吧，但十亿美元级别的模型训练正在到来，对吧，这涵盖了 pre-training 和 post-training，对吧。然后另一个数字是，嘿，Deep Seek 并没有包含所有东西，对吧，他们没有包括很多 post-training 的成本，这些因素都没算进去，比如研究人员的薪水，对吧，所有这些在 Deep Seek 花的那六百万、五百万美元里面，对吧。所以，但这样一来，莫名其妙地反直觉地，总资源消耗反而也上去了，对吧，晶体管数量翻倍，就像钟表一样准时，而且速度明显变慢了，但半导体行业就是这样，我不觉得 AI 会有什么不同，对吧，会有起有落，但这就是现状。

196:03

model runs are coming right this concludes pre-training and post-training right and then the other

大概是去年，英伟达生产了一百万块H20，这些是法律允许出口的。

196:07

number is like hey deep seek didn't include everything right they didn't include you know a lot of

所以，这就是现实。要说工业间谍活动能被阻止，我觉得不太可能。

196:10

the cost goes to research and all this sort of stuff a lot of the cost goes to inference a lot of

成本都花在研究这类事情上，大量成本花在推理上，大量成本花在后训练上——这些因素以前根本不存在，比如研究人员的薪资。你看，DeepSeek 花了六百万、五百万美元对吧？但结果呢，总资源消耗反而神奇地、反直觉地也上去了。晶体管数量翻倍就像钟表一样准时，速度当然也慢下来了，但半导体行业就是这样。我不觉得 AI 会有什么不同，肯定会有起有落，但这可是三年时间啊，这种改进的规模简直让人难以想象。是啊，我当时也搞不懂，因为对我来说，Via Stock 按理说应该涨上去才对。

196:14

cost goes to post-training none of these things were factors research salaries right like all these

成本都花在了后训练上，这些都不是影响因素，研究人员的工资对吧，所有这些。

196:18

things are like counted in the billions of dollars that open AI is spending but they weren't counted

OpenAI花的钱是几十亿美元级别的，但这些钱根本没算进去——你懂的，DeepSeek只花了五六百万美元对吧。所以大家对这两个数字其实有点误解。另外还有一个因素：英伟达的股价一直是一条直线往上冲，对吧？而且市面上有太多不同的说法，一直想打压英伟达——我不是说打压英伟达的股票，而是所有人都在找理由卖出或者担心。你懂的，之前有Blackwell延迟的问题，他们的GPU——每隔两周就有一份新报告说他们的GPU要延期。还有那个关于scaling law要终结的说法，对吧？太多了。

196:22

in the you know hey six million five million dollars that deep seek spent right so but so there's

你看，Deep Seek 花的那五六百万美元，对吧，但这样一来，

196:27

a bit of misunderstanding of what these numbers are and then there's also an element of

对这些数字有些误解，而且还有一个因素是

196:32

Nvidia has just been a straight line up right and and there's been so many different narratives

Nvidia 的股价一直是一条直线往上走，对吧，但市场上一直有各种不同的说法

196:37

that have been trying to push down Nvidia not I don't say push down Nvidia stock everyone is

试图打压 Nvidia——我不是说打压 Nvidia 的股票，而是每个人都在找理由卖出或者感到担忧，你懂的。比如之前是 Blackwell 延迟的问题，对吧

196:41

looking for a reason to sell or to be worried right you know it was it was black well delays right

他们的 GPU，你懂的，每两周就有一篇新报道说他们的 GPU 要延迟

196:47

their GPU was you know there's a lot of report every two weeks there's a new report about their

还有那个 scaling laws 要终结的说法，对吧，就是说模型不会再变好了，根本没有理由再花更多钱做 pre-training

196:50

GPUs being delayed there's there's the whole thing about scaling laws ending right it's so

scaling 已死，然后又是 o1、o3，R1、R1，对吧，现在又变成“等等”

196:56

it's so ironic right last it was it was just it was just like literally just hey models aren't

这真的太讽刺了，对吧？之前就是，纯粹就是“模型没在变好”，就是没进步，没必要再花更多钱做预训练了，scaling已死。然后突然就来了个o1、o3，还有R1、R1对吧？现在又变成“模型进步太快了，慢一点，别在GPU上花钱了”。但你知道最搞笑的是什么吗？就是Jevons悖论真的应验了。AWS上H100的定价在过去几周一直在涨，从圣诞节后没多久开始，自从v3发布之后，AWS的H100价格就涨了。H200几乎到处都缺货，因为你知道，H200内存更大，所以R1……

197:02

getting better right they're just not getting better there's no reason to spend more pre-training

他们确实在变好，但并没有真正变好——没有理由再投入更多预训练了。

197:06

scaling is dead of that it's like oh one oh three right R1 R1 right and now it's like wait

扩展定律已经死了，就像那个“哦一零三”对吧，R1、R1，然后现在又变成“等等”。

197:12

models are getting to their progressing too fast slow down the progress stop spending on GPUs right

模型的发展速度太快了，慢下来吧，别在GPU上花钱了。

197:17

and it's but you know the funniest thing I think that like comes out of this is Javan's paradox is

但你知道吗，我觉得这事儿最搞笑的是，杰文斯悖论真的应验了——AWS上H100的定价在过去几周涨了，就在圣诞节后、v3发布后不久。AWS的H100价格涨了，H200几乎到处都缺货，因为H200内存更大，所以R1演示周的时候我们想搞个16或32块H100都不容易，真的没那么简单。

197:22

true right AWS pricing for H100 has gone up over the last couple weeks right since since since

所以给不了解的人解释一下，杰文斯悖论就是说，当效率提高时，神奇地反直觉地，总资源消耗反而也跟着上升了。

197:29

since a little bit after Christmas since v3 was launched AWS H100 pricing has gone up H200s are

自从圣诞节后、v3发布以来，AWS的H100定价就涨了，H200几乎到处缺货，因为你知道H200内存更大，所以R1……

197:35

like almost out of stock everywhere because it you know H200 has more memory and therefore R1

我们为了演示想搞个16或32块H100，结果一点都不容易。

197:40

like you know wants that chip over H100 right we were trying to get GPUs on a short notice this

你知道，就是有人想要那个芯片胜过H100嘛。我们这周为了演示，临时想搞点GPU，结果没那么容易。我们只是想弄个16块或32块H100来做演示，结果都不太好搞。所以对于不了解的人来说，Javan's paradox就是说，当效率提高的时候，神奇地反直觉地，总资源消耗也跟着上升了。在半导体领域，就像摩尔定律那50年，每两年成本减半、晶体管翻倍，跟钟表一样准时。现在当然慢下来了，但半导体行业整体一直在增长，对吧？虽然有起伏，明显有周期什么的。我也不觉得AI会有什么不同，肯定会有起有落，但这就是现状。

197:44

week for demo and it wasn't that easy we were trying to get just like 16 or 32 H100s for demo and

所以对于不了解的人来说，杰文斯悖论就是：当效率提高时，神奇地、反直觉地，总资源消耗也会跟着上升。

197:49

it was not very easy so for people who don't know Javan's paradox is when you know the efficiency

晶体管数量翻倍就像钟表一样规律，但速度显然慢下来了，半导体行业就是这样。

197:56

goes up somehow magically counter intuitively the total resource consumption goes up as well right

总资源消耗反而神奇地、反直觉地也上升了，对吧。

198:03

in semiconductors is you know we're like 50 years of Moore's law every two years half the cost

在半导体领域，你知道的，摩尔定律走了50年——每两年成本减半、晶体管数量翻倍，像钟表一样精准。后来速度明显放缓了，但半导体行业整体一直在增长，对吧？虽然会有波动，周期起伏也很正常。我不觉得AI会有什么不同，它也会有起有落。但这次是三年内的进步，这个规模真的让人难以想象。是啊，我之前很困惑，因为按理说那个股票应该涨的，但可能跌了，因为对中国那边的落地计划有些怀疑之类的。不过如果你纯粹看这里面的实际逻辑，那答案就很明显了。

198:08

double the transistors just like clockwork and it slowed down obviously but like the semiconductor

晶体管数量翻倍，就像钟表一样准时，而且速度显然变慢了，但半导体行业就是这样。

198:13

industry has gone up the whole time right it's been wavy right there's obviously cycles and stuff

整个行业一直在往上走，对吧？它是有波动的，显然存在周期之类的东西。我不觉得AI会有什么不同，也会有起有落，但这次是三年时间，所以这种进步幅度真的很难让人完全理解。是啊，我当时也很困惑，因为对我来说，按照via stock的逻辑，它应该涨才对，但可能跌了，因为对中国内部有什么计划存在一些怀疑，类似这样的事。但如果你纯粹看这里实际的核心逻辑，那很明显，是的，应该涨，因为在videos里，导数越高，市场就会越快变得更大、更扩张，而videos是目前唯一能可靠地做好所有事情的那个。

198:17

and I don't expect AI to be any different right there's going to be ebbs and flows but this is

我不认为 AI 会有什么不同，对吧，总会有起有落，但这一点

198:22

an AI it's just playing out at an insane timescale right it was 2x every two years this is 1200 x in

一个AI的发展速度简直快得离谱，以前是每两年翻一倍，现在三年内翻了1200倍。这种进步幅度真的让人难以想象。是啊，我也有点困惑，因为在我看来，via stock按理应该涨的，但可能跌了，因为中国那边好像有什么计划被怀疑了之类的。但如果你纯粹看这里面的实际逻辑，那就很明显了。Jevons悖论就是说，AI让效率提升，或者AI进步的导数越高——尤其是你该注意，因为videos现在处于最有利的位置——导数越高，市场就会越快变得更大、更扩张，而videos是目前唯一能稳定做好所有事情的公司。

198:28

like three years right so it's like the scale of improvement that is like hard to get wrapped your

差不多三年前吧，所以那种改进的规模，真的很难让人完全理解。是啊，我当时也很困惑，因为对我来说，按道理它的股价应该涨上去才对。但如果你纯粹看这里面的实际逻辑，那就很明显了——确实应该涨，因为在视频领域，导数越高，市场就会越快变得更大、更扩张，而视频是目前唯一一个能稳定做好所有事情的公司。说到它是中国最大的Nvidia客户，对吧？嗯，我是说，显然他们低调了很多，但我觉得这又是另一个因素——他们不想透露自己有多少块GPU。是啊，因为他们确实有H800，也有H20，还有一些H100。

198:33

head around yeah I was confused because I to me and via stock on that should have gone up

我一开始没想通，对，我也很困惑，因为对我来说，英伟达的股价按理应该涨上去才对。

198:39

but maybe one down because there's kind of suspicion of fall plan inside of China something like

但可能有一点要打折扣，因为中国内部对“秋季计划”有些怀疑，类似这样的事。不过如果你纯粹看这里的实际运作原则，那很明显，是的。因为在视频领域，最好的位置是导数越高，市场就会越早变得更大、更扩张，而视频是目前唯一能可靠地做好所有事情的那个。说到中国是英伟达最大的客户，对吧？是啊，我的意思是，显然他们低调了很多，但我觉得这又是另一个因素：如果他们不想说自己有多少块GPU，嗯，因为他们确实有H800，确实有H20，还有一些H100，对吧，那些是走私进来的。你能谈谈走私的事吗？走私的规模有多大？

198:45

this but if you just look purely at the actual principles of play here like it's obvious yeah

但如果你纯粹看这里面的实际原理，那就很明显了，对吧。

198:51

the Javan's paradox that AI makes or the higher the derivative of AI progress is especially you

杰文斯悖论在AI领域体现为：AI进步的速度越快，尤其是当你观察视频领域时——这是目前唯一能稳定实现所有功能的方向，进步速度越快，市场就会越早扩大和膨胀。而视频领域唯一能可靠做到这一切的，就是那个历史上一直是英伟达大客户的公司。他们曾发布新闻稿，高调宣称自己是英伟达在中国最大的客户。显然他们后来低调了，但我觉得这背后还有一层：他们不想透露自己到底有多少GPU。因为他们确实有H800，也有H20，还通过走私搞到了一些H100。你能聊聊走私这事吗？规模有多大？

198:58

should because in videos in the best place the higher the derivative is the sooner the market's

因为视频里，导数越高，市场反应就越快。

199:02

going to be bigger and expanding and videos the only one that does everything reliably right now

规模会越来越大，视频是目前唯一能稳定搞定所有事情的。

199:07

because it's not like an Nvidia competitor arose it's it's another company that's using Nvidia

并不是说冒出了一个英伟达的竞争对手，而是另一家公司在用英伟达的芯片。这家公司历史上一直是英伟达的大客户，还发过新闻稿庆祝自己是中国最大的英伟达客户。对，我的意思是，显然他们后来低调了，但我觉得这又是另一个问题——他们不想透露自己有多少GPU，因为他们确实有H800，也有H20，还有一些H100，对吧？那些是走私进来的。你能聊聊走私这事儿吗？对于一个国家行为体或者公司来说，走私的规模能做到多大？我觉得走私有几个角度。首先，字节跳动可以说是最大的GPU走私者之一。

199:14

who historically has been a large Nvidia customer yeah and has pressed releases about them cheering

历史上一直是英伟达的大客户，对吧，还发过新闻稿欢呼，说自己是英伟达在中国最大的客户。嗯，显然他们后来低调了，但我觉得这又是另一个层面——他们不想说自己有多少块GPU，因为，嘿，他们确实有H800，有H20，还有一些H100，是通过走私进来的。你能聊聊这个走私的事吗？规模有多大？走私有几个角度。一个是，字节跳动可以说是最大的GPU走私者，他们从全球各地的公司租用算力——从Oracle租，从Google租，从所有这些云厂商租，还有一堆小的云公司，对吧，就是那些所谓的“新云”。

199:20

about being China's biggest Nvidia customer right like yeah I mean I mean obviously they've

说到中国最大的Nvidia客户这事儿，是啊，我是说，他们现在确实低调了很多，但我觉得这背后还有一层意思——他们不想公开自己有多少GPU，因为，嘿，他们确实有H800，也有H20，还有一些H100。

199:25

quieted down but like I think that's like another element of is if they don't want to say how many

这太明显了，反而更容易找到这些经济活动。所以，我的看法是，去年Nvidia大概生产了一百万块H20，这些是合法允许运往中国的。我们之前聊过，H20更适合推理，至少推理方面不错，但可能不是最顶尖的。

199:29

GPUs they have yeah because hey they yes they have H800 yes they have H20s they also have some H100s

往下看那些云服务商，尤其是那些不是超大规模云厂商的中小型云公司。

199:36

right which were smuggled in can you speak to that to the smuggling what's the scale of smuggling

对，那些是走私进来的。你能谈谈走私的情况吗？走私的规模有多大？

199:41

that's feasible for a nation state to do for companies is it possible to I think I think there's

这对国家层面来说可行，但对企业而言呢？我觉得这里面有几个走私的角度。首先，字节跳动可以说是全球最大的GPU走私者——他们从世界各地的公司租用算力，租甲骨文的、租谷歌的，还租了所有那些马斯克的公司，以及一大堆小型云服务商，对吧？所有那些“新云”公司。他们租了海量的GPU，同时也买了不少。而且他们这么做，很大程度上跟Meta做的事情一样——服务TikTok，服务下一个热门讨论话题。需要说明的是，这是目前实际的应用场景，而且确实是个合理的用途——就是刺激多巴胺嘛。但现在理论上，这已经受到AI扩散规则的严格限制了。

199:47

a few angles of smuggling here right one is bite dance arguably is the largest smuggler of GPUs for

这里有几个走私的角度。一个是字节跳动，可以说是全球最大的GPU走私者——他们从世界各地的公司租用算力，租甲骨文的、租谷歌的，还租所有这些云厂商的，以及一堆小型云公司，比如那些“新云”厂商。你只能从这个国家买这么多GPU，而且只能租这么大规模的集群给中国公司——他们其实非常明确地在阻止走私。还有一位是做网络芯片的，跟英伟达竞争，他发了一张照片：一个人从旧金山飞往上海或深圳的联合航空头等舱，带着一个超级微型的箱子，就这么大，里面只能装GPU。他当时正在登机。

199:53

China right China's not supposed to have GPUs bite dance has like over 500,000 GPUs why because they're

中国这边，按理说是不该有GPU的，但字节跳动却有超过50万块GPU，为什么？因为它们都是从全球各地的公司租来的——从Oracle租、从Google租，从所有这些大厂租，还有一堆小型云服务商，也就是那些所谓的“新云”公司。它们租了海量的GPU，同时也买了不少。这些GPU主要用来做什么呢？跟Meta做的事情差不多——服务TikTok，也就是给用户推送下一个最吸引人的内容。说清楚一点，这是目前的使用场景，也确实是个合理的用途，就是刺激多巴胺嘛。不过，理论上现在这已经受到AI扩散规则的严格限制了，这些规则是在拜登政府最后一周出台的，而特朗普政府看起来打算保留这些规定。

199:59

all rented from companies around the world they rent from Oracle they rent from Google they rent from

全都是从全球各地的公司租来的，他们从Oracle租，从Google租，从

200:04

all these masks and and a bunch of smaller cloud companies too right all the neo clouds right of the

所有这些云服务商，还有一堆小型云公司，对吧，就是那些新式云服务商。

200:08

world they rent so so many GPUs they also buy a bunch right and and they do this for mostly like

他们租了海量GPU，也买了不少，主要用途大概就是——

200:13

what meta does right serving TikTok right serving back to the next best discussion

Meta在做的那些事，比如运营TikTok，或者给“下一个最佳讨论”做推荐。

200:18

right to be clear that's today the view use right and it's a valid use right hack the dopamine

说清楚啊，这就是现在的应用场景，也确实是个合理的用途，就是刺激多巴胺嘛。

200:23

search it right now that's that's theoretically now very much restricted with the AI diffusion rules

现在搜索这块，理论上已经被Nvidia的AI扩散规则严格限制了。

200:30

which happened in the last week of the Biden admin and Trump admin looks like they're going to keep

发生在拜登政府最后一周的事情，而特朗普政府看起来会继续保留。英伟达的收入中有一部分来自新加坡，但新加坡已经暂停建设数据中心差不多15年了，因为他们电力不够。所以这些数据中心会建在哪儿？我觉得大部分会去中国，对吧？但有一部分，你知道，很多会去马来西亚，包括微软和Oracle在马来西亚都有大型数据中心。基本上，它们遍布东南亚各地，可能还有印度，对吧？确实有路由绕道的情况，但扩散规则实际上非常严格——比如你只能从某个国家买这么多GPU，而且你只能租一个这么大规模的集群给两家中国公司。这些规则非常明确，就是为了打击走私。

200:34

them which limits like allies even like Singapore which Singapore is like 20% of Nvidia's 20 20 30%

这就限制了盟友，比如新加坡——新加坡占了英伟达收入的20%、20%、30%左右，但新加坡已经暂停建设数据中心差不多15年了，因为他们电力不够。那他们要去哪儿呢？我觉得大部分都会去中国吧。但有一部分，你知道，很多去了马来西亚，包括微软和甲骨文在马来西亚都有大型数据中心。基本上，他们遍布整个东南亚，可能还有印度，对吧？确实有绕道的情况。但那些扩散规则实际上非常严格，比如你只能从某个国家买这么多GPU，而且你只能租给中国公司这么大规模的集群。他们非常明确地在试图阻止走私。

200:41

of Nvidia's revenue but Singapore has had a memoratorium on not building data centers for like 15

但新加坡已经暂停新建数据中心差不多15年了，因为电力不够。

200:46

years because they don't have enough power so where are they going I think they're all going to

那他们往哪儿去呢？我觉得大部分会去中国吧。

200:52

China right but a portion are you know many are going to Malaysia including Microsoft and Oracle

不过也有一部分，比如微软和Oracle，都在马来西亚建了大型数据中心。

200:56

have big data centers of Malaysia like you know all they're going all over Southeast Asia probably

反正他们基本都往东南亚各地跑。

201:00

India as well right like there's stuff routing but like the diffusion rules are very de facto like

印度也一样，比如有些绕道的方式，但扩散规则实际上非常严格——你只能从某个国家买这么多GPU，而且只能租用这么大规模的集群。像两家中国公司，他们明确在打击走私。还有那个领导团队做网络芯片、跟英伟达竞争的人，他发了一张照片，有人从旧金山飞上海或深圳，坐美联航头等舱，带着一个这么大的超微盒子，里面只能装GPU。他订头等舱是因为想想看，头等舱机票三千到五千美元，服务器在美国成本24万美元，在中国卖50万，你卖30万人民币？等等，你刚白赚了一张头等舱。

201:05

you can only buy this many GPUs from this country and it's and you can only rent a cluster of this

你只能从这个国家买这么多GPU，而且你只能租一个这么大集群的

201:10

large two companies that are Chinese right like they're very explicit on trying to stop smuggling right and

给两家中国公司，对吧，他们非常明确地在试图阻止走私，对吧。

201:15

a big chunk of it was hey let's let's you know random company by 16 servers ship some to to to

很大一部分情况是——比如，随便一家公司搞了16台服务器，想办法运到中国。实际上，我看到半导体行业有人发了张照片，这人负责领导一个做网络芯片的团队，跟英伟达有竞争关系。他发了一张照片，有个人在旧金山飞上海或深圳的联合航空头等舱办理登机，手里抱着一个超微的箱子，就这么大，里面只能装GPU。他买头等舱是因为你想想，头等舱机票也就三五千美元，服务器在美国成本24万到25万美元，在中国能卖30万美元。这样算下来，你不仅白赚一张头等舱机票，还能多赚不少钱。这还只是小规模的。

201:22

China right there's actually I saw a photo from someone in the semiconductor industry is an

中国这边，我确实看到半导体行业有人发过一张照片——有个做网络芯片的团队负责人，跟英伟达有竞争关系，他发了一张照片，拍的是一个人从旧金山飞上海或深圳，坐的是美联航头等舱，手里抱着一个超级微的箱子，就这么大，里面只能装GPU对吧。他买头等舱是因为你想想，头等舱机票三千到五千美元，服务器在美国成本24万美元，卖到中国能卖30万，等于白赚一张头等舱机票还多赚不少钱。这还只是小规模倒卖或者租GPU。我想插一句，这个规模到底有多大？

201:28

isn't who leads like a team for like networking chips that competes within video and he's sent a

还有那个领导团队做网络芯片、跟英伟达竞争的人，他发了一张

201:34

photo of a guy checking into a first class United flight from San Francisco to to Shanghai or Shenzhen

照片，一个人从旧金山飞往上海或深圳的头等舱美联航航班上办理登机，

201:40

with a super micro box that is this big which can only contain GPUs right and he was booking

带着一个这么大的超微盒子，里面只能装GPU，对吧，他当时正在订票。

201:47

first class because think about it three to five K for your first class ticket server cost you know

头等舱你想啊，一张头等舱机票服务器成本三到五千美金，在美国卖24万美金，到中国卖30万美金，嘿，你这就白赚一张头等舱了。

201:51

240,000 in the US to 50,000 you sell it for 300,000 in China wait you just got a free first class

绕路运输或者租GPU，我特别想插一句，这个规模到底有多大？

201:58

ticket and a lot more money so it's like you know and and that's like small scale

一张票，外加更多的钱，所以就像你知道的，这还只是小规模。把它们绕道运输，或者完全租用GPU。我想插一句，这个规模到底有多大？我觉得当你从十亿的走私规模涨到一百亿的时候，就像是在隐藏某些经济活动。对我来说最合理的是，总会有一个程度，到了那个程度就太明显了，反而更容易被发现这些经济活动。所以，我的看法是，去年大概是这样——Nvidia生产了一百万块H20，这些是合法允许运往中国的，我们之前聊过，这对推理来说更好，至少对推理来说，可能不是训练。我们觉得大概有20万到30万块GPU通过各种渠道被运到了中国。

202:02

Suggling most of the large scale smuggling is like companies in Singapore and Malaysia like

大部分大规模走私的情况，就像新加坡和马来西亚的公司那样，把货绕道转运或者完全靠租用GPU。我想插一句，这个规模到底有多大？我觉得有一些数字，比如一些对经济学有更深理解的人说，当你从十亿级别的走私增长到百亿级别时，其实是在隐藏一定层次的经济活动。对我来说最合理的解释是，总会有一个临界点，规模大到太明显，反而更容易被发现这些经济活动。所以，我的看法是，去年大致上——英伟达生产了一百万块H20，这些是合法允许运往中国的，我们之前聊过，这种芯片更适合推理对吧，至少推理方面不错，训练可能就不一定了。

202:06

routing them around or renting GPUs completely I want to jump in how much was the scale I think

我觉得从十亿规模的走私到百亿规模，就像你在隐藏某些经济活动，对我来说最合理的是，总会有一个程度，明显到更容易被发现这些经济活动。

202:11

there's been some number like some people that are higher level economics understanding say that

有些经济学家说，从走私十亿到一百亿这个量级，你其实是在隐藏不同层次的经济活动。我觉得最合理的解释是，当规模大到一定程度，反而更容易被发现。所以我的判断是，去年大概——英伟达生产了一百万块H20，这些是合法允许运往中国的，我们之前聊过，这种芯片更适合推理对吧，至少推理方面不错，可能不是十万块——我们估计大概有二十到三十万块GPU通过各种渠道流入了中国，从新加坡、马来西亚、美国，不管哪里，有些公司搞了16块、64块GPU，就这么运过去了。

202:16

think as you go from one billion of smuggling to 10 billion it's like you're hiding certain levels

所以我的看法是，去年大概英伟达生产了一百万块H20，这些是合法允许运往中国的，我们之前聊过，这更适合推理对吧，至少推理方面可能还行，训练就不一定了。

202:21

of economic activity and that's the most reasonable thing to me is that there's going to be some level

经济活动，对我来说最合理的解释是，会有一个临界点，到了那个程度，找到这种经济活动就变得非常明显。所以我的看法是，去年大致上，Nvidia 生产了大约一百万个 H20，这些是法律允许运往中国的。我们之前聊过，这种芯片更适合推理，至少推理方面没问题，但可能不是最顶尖的。再看看那些云服务商，尤其是那些不是超大规模云厂商的中小型云公司，比如 CoreWeave 之外，还有 Lambda，甚至还有整整60家不同的新兴云公司，都在提供 GPU 租赁服务。像 Bite Dance 就租了很多这种 GPU，到处都在用。而那些 GPU 集群规模小于2000张卡的，或者你可以直接买 GPU 然后运到任何地方去。

202:25

where it's so obvious that it's easier to find this economic activity and yeah so so my my belief

这已经明显到很容易发现这种经济活动了，嗯，所以我的看法是，去年英伟达大概生产了一百万块H20，这些是合法允许出货的，等等。这就是现实情况。所以要说工业间谍能被阻止，我觉得不太可能。要防范间谍活动，你得确保几十年内关闭数据中心的所有安全漏洞，对吧？这个比例一直在缓慢攀升，现在到了2%到3%。到本十年末，即使按我说的10%来算，很多人——传统上，嗯，到2028年、2030年，传统上非AI领域的人，以及集中式集群，对吧——分布在全美各地，这还是挺令人兴奋的。

202:32

is that last year roughly so so Nvidia made a million h20s which are legally allowed to be shipped

我不用担心间谍活动的问题，是的，你确实得确保堵住所有安全漏洞。

202:38

to China which we talked about is better for reasoning right inference at least not maybe not

到中国这边，我们之前聊过，推理方面其实更占优势，至少目前来看可能还不一定。

202:43

true not training but reasoning inference and inference generally then they also had you know a couple

其实不是训练，而是推理和推理计算。一般来说，他们还有，你知道，几十万块——我们估计大概20到30万块GPU——通过各种渠道从新加坡、马来西亚、美国等地运到了中国。不管是通过16块GPU、64块GPU的小公司，还是其他方式，总之就是运过去。而华为呢，自从2018年被制裁之后，就以建立庞大的公司网络来获取所需材料而闻名。所以这也不是什么天方夜谭。我同意，Nathan的观点是：你不可能走私价值100亿美元的GPU。然后第三个来源，就是最近才被禁止的，而且之前也不算走私——那就是中国在租用。根据我们的研究，Oracle最大的GPU客户其实是字节跳动，对吧？

202:48

hundred thousand we think like 200 to 300 thousand GPUs were routed to China from you know

我们估计大概有20到30万块GPU通过各种渠道流入了中国，你懂的，就是那些云服务商列表里靠后的公司，尤其是那些不是超大规模云厂商的小型云公司。对，别只盯着核心厂商，连Lambda都不算大，实际上还有整整60家不同的新兴云公司在提供视频GPU租赁服务。想想看，字节跳动就在大量租用这些资源，到处都在用。而且那些规模不到2000块GPU的集群，或者如果你能买到GPU并且数量低于1500块，你就能随便运到任何地方。所以还是有一些变通的办法可以“走私”。再看Nvidia去年的营收是两千多亿美元，今年也是这个水平。而明年呢，根据我们目前看到的情况，这个数字可能几乎再翻一番，甚至翻得更多。

202:54

Singapore Malaysia US wherever companies spawn up by 16 GPUs 64 GPUs whatever it is route it

新加坡、马来西亚、美国，不管哪里冒出来的公司，用16块GPU、64块GPU，随便多少，都给它调度过去。

202:59

and Huawei is known for having spent up a massive network of like companies to get the materials

华为以在2018年被制裁后，建立起庞大的公司网络来获取所需材料而闻名，所以这倒也不算超乎寻常，但我同意。Nathan的观点是，你没法走私价值100亿美元的GPU。然后第三种来源，现在刚被禁止，之前不算走私——根据我们的研究，甲骨文最大的GPU客户其实是字节跳动，对吧？再看看其他云服务商，尤其是那些非超大规模云的小型云公司，比如CoreWeave、Lambda，甚至还有60多家新兴云公司都在提供视频GPU。字节跳动正在大量租用这些资源，遍布各处，对吧？

203:04

they need after they were banned in like 2018 so it's not like otherworldly but I agree right and

它们是在2018年左右被禁之后才需要的，所以也不是什么天方夜谭，但我同意对吧。

203:08

Nathan's point is like hey you can't smuggle a 10 billion dollars or GPUs and then the third sort

Nathan的观点是，嘿，你不可能走私价值100亿美元的GPU。然后第三种来源，就是刚刚被禁的，而且你知道这不算是走私，但中国在租——根据我们的研究，Oracle最大的GPU客户就是ByteDance对吧。

203:13

of source which is just now banned and you know which wasn't considered smuggling but is China is

往下看那些云服务商，尤其是那些不是超大规模云的小型云公司，比如Beyond Core，甚至Lambda，还有整整60家不同的新云公司在提供视频GPU。

203:18

renting like is I believe from our research right oracles biggest GPU customer is bite dance right

想想看，ByteDance到处都在租这些GPU，对吧。

203:26

and and for a Google I think it's their second biggest customer right and so like and you go

而且，对于Google来说，我觉得它已经是他们的第二大客户了，对吧？然后你再往下看这些云服务商，尤其是那些不是超大规模云厂商的小型云公司——想想CoreWeave之外，甚至Lambda，还有一大堆，大概有60家不同的新兴云公司都在提供H100 GPU。比如字节跳动就租了很多这种资源，对吧？到处都在租。这些公司把GPU租给中国企业，这在几周前的扩散规则出台之前完全是合法的。即使现在，你仍然可以租用少于2000块GPU的集群，或者如果你购买的GPU少于1500块，你也可以把它们运到任何地方。所以，还是有一些变通的办法可以绕过限制。

203:30

down the list of clouds and especially these smaller cloud companies that aren't like the hyperscalers

往下看那些云服务商，尤其是那些不是超大规模云厂商的小型云公司。

203:34

right think beyond core even lambda even there's a whole see there's 60 different new cloud

想想看，除了核心之外，甚至 Lambda，甚至还有一大堆——现在有 60 家不同的新云公司在提供视频 GPU 服务，像字节跳动就在大量租用这些资源，遍布各地。而且那些少于 2000 张 GPU 的集群，你甚至可以自己买 GPU 然后运到任何地方去，因为——我是说，有毒品走私，那是一个市场，也有武器走私。然后你在他们模型的输出上做训练，即使是这样，他们所做的也是从你自己的模型里做蒸馏。如果你是个研究员，不开发任何产品，那过程是怎样的？蒸馏是什么？这个过程很大程度上是关于训练语言模型——让模型去匹配某些特征，或者如果你用 RL，就是让模型自己去探索。

203:40

companies serving in video GPUs think bite dance is renting a lot of these right all over it right and

那些提供视频GPU服务的公司，比如字节跳动就在大量租用这些资源，到处都在用。

203:44

so these companies are renting GPUs to Chinese companies and that's completely that was completely

所以这些公司一直在向中国企业出租GPU，在几周前扩散规则出台之前，这完全是合法的。即使现在，你仍然可以租用少于2000块GPU的集群，或者购买少于1500块GPU并运到任何地方，对吧？所以还是有一些变通的办法。但英伟达去年的营收是两千多亿美元，今年也是，而明年可能几乎再翻一番，甚至翻两番，基于我们看到的数据中心基础设施正在美国乃至全球大规模建设。中国要跟上这些规则真的很难，对吧？是的，总会有办法的。

203:50

legal up until the diffusion rules which happened just a few weeks ago and even now you can rent

在扩散规则出台之前，也就是几周前的事，其实都是合法的。甚至现在，你还能租到少于2000张GPU的集群，或者如果你买的GPU少于1500张，也可以随便运到任何地方。所以还是有一些“走私”的办法。但英伟达去年营收两千多亿美元，今年也差不多，明年呢，你知道，可能几乎再翻一番，甚至翻倍还多——看看美国以及全球各地正在大规模建设的数据中心就能看出来。中国要跟上这些规则真的很难。对，总会有办法绕过，但库存已经完全清空了。实际上，App Store的下载量已经开始下降了。

203:55

GPU clusters that are less than 2000 GPUs or you can buy GPUs and ship them wherever you want if

GPU集群规模小于2000块GPU，或者你可以直接买GPU然后运到任何地方去，因为——我是说，毒品走私确实存在，那是一个市场，武器走私也存在。然后你在他们的模型输出上进行训练，即使情况是这样，他们所做的——你从自己的模型中进行蒸馏。如果你是一个研究人员，不构建任何产品，你——等等，蒸馏是什么？这个过程是怎样的？关于训练语言模型有很多内容，模型试图匹配某些特征，或者如果你用RL，你让模型自己找到规律。模型是在学习模仿，而你所做的，不是用人类数据，也不是用——竞争对手的模型输出。服务条款和许可证是不同的。

204:01

you're if they're less than 1500 GPUs right so it's like there are still like some ways to smuggle but

如果GPU数量不到1500块，那还是有一些办法能偷偷运进来。

204:06

yeah it's not you know as the numbers grow right uh you know 100 something billion dollars

对，你知道的，随着数字增长，对吧，去年英伟达营收一千多亿美元，今年两千多亿，对吧。如果明年呢，你知道，可能几乎再翻一倍，甚至翻倍还多，对吧，根据我们看到的数据中心建设规模，全美和世界各地都在大搞基建。中国要跟上这些规则真的很难，对吧。走私肯定一直会有，还有Deep Seek级别的模型、GPT-4级别的模型、o1级别的模型，能在中国能搞到的资源上训练，甚至明年也差不多。但如果我们再加速跳过几轮，对吧，你知道，到十亿美元级别的模型、百亿美元级别的模型，那就会变得，你知道……

204:11

or revenue for Nvidia last year 200 something billion this year right and if next year are you

但你看Nvidia去年营收两千多亿美元，今年呢，明年可能又翻倍甚至更多，按现在这趋势看。

204:15

know it could it could nearly double again or more than double right based on like what we see

中国想跟上这些管制真的很难，对，总会有办法绕过。

204:20

with data center footprints like being built out all across the US and the rest of the world

随着美国乃至全球各地都在大规模建设数据中心基础设施，中国想要跟上这些规则会非常困难。没错，总会有库存完全耗尽的情况——实际上在应用商店里下载量已经开始下滑了。因为算力容量有限，你打开应用可能连每秒五个token都跑不满，就算你的请求被批准了也一样。根本原因就是没有足够的GPU来提供服务。毕竟，毒品走私本身就是一个市场，武器走私也是。这是一个蒸馏模型，也就是说你拿OpenAI的模型生成大量输出，然后用这些输出来训练你自己的模型。即便情况真是这样，他们所做的也……

204:24

it's going to be really hard for China to keep up with these rules right yes there will always be

库存其实已经清空了，App Store上的下载量已经开始下滑。

204:29

smuggling and deep seek level models of GPD4 level models oh one level models capable to train on

走私和Deep Seek级别的模型，GPD4级别的模型，哦，还有o1级别的模型，都能用来训练。

204:35

what China can get even the next year about that but if we speedrun a couple of more you know

但中国明年能拿到什么，这还不好说。不过如果我们再加速搞几次跳跃，你知道的，跳到十亿美元级别的模型、百亿美元级别的模型，那服务这块就变得非常关键了。

204:41

jumps right you know to billion dollar models 10 billion dollar models then it becomes you know

Deep Seek现在根本没法提供服务，库存已经完全用完了。实际上它在应用商店的下载量已经开始下滑了，因为你下载之后想注册，他们会说“我们不接受新用户注册”，因为他们没有算力了。

204:46

hey there is a compute disadvantage for China for training models and serving them and and the

中国在训练模型和提供服务方面确实存在算力劣势，而服务这部分尤为关键。Deep Seek现在根本无法正常提供服务，库存已经完全耗尽。实际上它在应用商店的下载量已经开始下滑——你下载后尝试注册，系统会提示暂停新用户注册，因为他们根本没有容量。就算你侥幸通过请求，打开后每秒输出不到五个token。这完全是因为算力不足，即便模型效率极高，也没有足够的GPU来支撑服务。接下来走私现象会非常值得关注——毕竟毒品走私和武器走私都已经形成了成熟的黑市。

204:50

the serving part is really critical right deep seek cannot serve their model today right it's

你打开应用，就算请求被批准了，每秒也拿不到五个token，因为根本没有容量——他们就是没有足够的GPU来提供服务。

204:54

completely out of inventory uh it's already started falling in the app store actually downloads because

因为算力不够嘛，你打开之后每秒连五个token都跑不到，就算请求通过了也没用。

204:59

you download it you try and sign up they say we're not taking registrations because they have no

你下载下来，试着注册，结果他们说“我们不接受注册”，因为根本没容量。你打开它，就算请求被批准了，每秒也拿不到五个token，因为就是没容量——他们根本没有足够的GPU来提供服务。毕竟，这就像毒品走私一样，那是一个市场；武器走私也一样。这是一个蒸馏模型，也就是说，你拿OpenAI的模型，生成大量输出，然后用这些输出来训练你自己的模型。就算真是这样，他们做的事依然令人惊叹——顺便说一句，DeepSeek在效率方面做的蒸馏，在行业里是标准做法。如果你是个研究者，不搞产品，那你蒸馏自己的模型是没问题的。

205:03

capacity right you open it up you get like less than five tokens per second if you even get your

就是没容量，因为他们根本没有足够的GPU来提供服务。

205:07

request approved right because there's no capacity because they just don't have enough GPUs to serve

毕竟你看，毒品走私、武器走私，这些市场一直都存在。

205:11

the model even though it's incredibly efficient it would be fascinating to watch the smuggling

这个模型虽然效率极高，但看它被偷偷搬运的过程肯定很有意思。因为你看，毒品走私是个市场，武器走私也是个市场。它是个蒸馏模型，也就是说，你拿OpenAI的模型生成大量输出，然后用这些输出去训练另一个模型。就算情况是这样，他们做的依然很了不起——顺便说一句，DeepSeek在效率方面做到的成就。蒸馏在标准实践中，如果你是个研究员，不搞产品开发，你通常会从自己的模型做蒸馏。但从OpenAI蒸馏是个好机会。你能从宏观层面解释一下蒸馏这个过程吗？什么是蒸馏？具体流程是怎样的？很多关于训练语言模型的内容都涉及这个。

205:16

because I mean there's drug smuggling right that's a that's a market there's weapons smuggling

因为你看，毒品走私是一个市场，武器走私也是一个市场。

205:23

and GPUs will surpass that at some point are highest value per kilogram perlably by far

而GPU在某个时间点会超越这个价值，按每公斤价值算，它们绝对是目前最高的。

205:31

I have another question for you don't do track model API access internationally how how easy is it

我还有个问题想问，你们不追踪模型API的国际访问情况吗？中国公司使用美国托管的模型API到底有多容易？

205:37

for Chinese companies to use hosted model APIs from the US yeah I mean that's incredibly easy right

嗯，其实非常容易，对吧。比如OpenAI公开表示DeepSeek使用了他们的API，而且他们声称有证据。

205:43

like open AI publicly stated deep seek uses their API and as they say they have evidence right

这也是训练体系中的另一个环节——OpenAI的人曾声称这是一个蒸馏模型，也就是说，你拿OpenAI的模型，生成大量输出，然后用这些输出来训练你自己的模型。

205:48

and this is this is another element of the training regime is people at open AI have claimed

但即便如此，DeepSeek所做的依然令人惊叹，顺便说一句，他们在效率上的突破——蒸馏本身就是行业标准做法。

205:52

that it's a distilled model i.e. you're taking open AI's model you're generating a lot of output

这是一个蒸馏模型，也就是说，你拿Open AI的模型，生成大量输出，然后用这些输出来训练你自己的模型。就算真是这样，他们做的也只是从自己的模型里蒸馏。如果你是个研究人员，不搞产品开发，那——蒸馏到底是什么？这个过程是怎样的？训练语言模型时，很多时候是让模型去匹配某些特征，或者如果你用RL（强化学习），就是让模型自己摸索。但在监督微调中，对于偏好数据，你需要有一些完成结果，让模型去学习和模仿。而这里做的，就是不用人类数据，也不用竞争对手模型的输出——因为他们的服务条款和许可证是两码事。

205:57

and then you're training on the output in their model and even if that's the case what they did

然后他们用这些输出结果来训练自己的模型，就算真是这样，他们做的也只是。

206:01

is still amazing by the way what deep seek did efficiency wise distillation is standard practice in

顺便说一句，Deep Seek在效率方面做的依然令人惊叹。蒸馏是标准做法。如果你是研究人员，不构建任何产品，你会从自己的模型中进行蒸馏。什么是蒸馏？这个过程是什么？训练语言模型时，很多情况下是让模型匹配某些特征，或者如果你用RL，你是让模型自己探索。但对于监督式微调，对于偏好数据，你需要有一些完成结果，模型试图学习模仿这些结果。而你所做的，是用模型自身的输出来替代人类数据，或者替代竞争对手的输出。他们的服务条款与许可证不同，许可证本质上是组织之间的合同。所以如果你在OpenAI的账户上有服务条款……

206:05

industry whether or not if you're at a closed lab where you care about terms of service in IP closely

行业里，不管你是身处一个严格关注服务条款和知识产权的封闭实验室，还是从自家模型做蒸馏的研究人员（且不构建任何产品），从开源模型做蒸馏都是一个好机会。你能从宏观层面解释一下蒸馏这个流程吗？什么是蒸馏？具体过程是怎样的？训练语言模型有很多方面：它们基于文本进行训练，而在后训练阶段，你试图用非常高质量的文本进行训练，希望模型能匹配这些文本的特征；或者如果你使用强化学习，你会让模型自己探索。但对于基于偏好数据的监督微调，你需要一些模型试图学习并模仿的补全内容。而蒸馏的做法是，不用人类数据，也不用……

206:10

you distill from your own models if you are a researcher and you're not building any products you

如果你是个研究员，不开发任何产品，那你从自己的模型里做蒸馏。

206:14

distill from the opening I was a good opportunity can you explain big picture distillation as a

从开场白中提炼来看，这是一个很好的机会。你能从宏观角度解释一下蒸馏作为一个过程是什么吗？蒸馏是什么？过程是怎样的？训练语言模型时，很多情况是让模型去匹配某些特征，或者如果你用RL，就是让模型自己探索。但对于基于偏好数据的监督微调，你需要有一些完成结果，让模型去学习模仿。而这里所做的，不是用人类数据，也不是用其他模型的输出来竞争——服务条款和许可证不同，许可证本质上是组织之间的合同。所以如果你在OpenAI的账户上有服务条款，如果我违反了，OpenAI可以取消我的账户。这和那种规定使用方式的许可证是非常不同的。

206:21

process what what is distillation what's the process a lot about training language models they are

蒸馏是什么？这个过程是怎样的？训练语言模型很大程度上就是。

206:26

trained on text and post training you're trying to train on very high quality text that you want

在文本训练阶段和后续训练中，你试图用非常高质的文本去训练，希望模型能匹配这些文本的特征；或者如果你用RL（强化学习），就是让模型自己去探索。但对于基于偏好数据的监督微调，你需要有一些模型试图模仿的完成示例。这时候，你用的不是人类数据，也不是竞争对手用他们模型输出的结果。服务条款和许可证是不同的——许可证本质上是组织之间的合同。比如，如果你在OpenAI的账户上违反了服务条款，OpenAI可以注销我的账户。这和那种规定你如何使用下游产物的许可证非常不同。所以很多问题都卡在一个在AI领域非常模糊的词上。

206:31

the model to match the features of or if you're using rl you're letting the model find its own thing

让模型去匹配某些特征，或者如果你用RL，就是让模型自己去探索。

206:35

but for supervised fine tuning for preference data you need to have some completions what the

但对于偏好数据的监督微调，你需要有一些模型试图学习模仿的补全内容。而这里你做的，不是用人类数据，也不是用竞争对手模型输出的结果——他们的服务条款和许可证不同。如果我们提供演示，就必须这样做：我们做研究，使用OpenAI的API，因为这很有用，而且我们想理解后训练。比如我们的研究模型，它们会声称自己是OpenAI的，除非我们在系统提示里加上我们讨论过的内容，比如“我是Tulu，一个由艾伦人工智能研究所训练的语言模型”。如果你去问业内更多人，尤其是在后训练方面，让模型说出特定内容其实是一项非常可行的任务。

206:40

model is trying to learn to imitate and what you do there is instead of a human data or instead of

模型试图学习模仿，而你所做的不是用人类数据，也不是用

206:47

the model you're currently training you take completions from a different normally more powerful model

你当前训练的模型，会从另一个通常更强大的模型中获取生成结果。

206:53

I think there's rumors that these big models that people are waiting for these gbt5s of the world

我听说有传言说，大家正在等待的那些大模型，比如那些所谓的GPT-5，

206:59

the quad three opuses of the world are used internally to do this distillation process

还有那些Claude 3 Opus之类的，都在内部被用来做这种蒸馏过程。

207:04

there's also public examples right like meta explicitly stated not necessarily distilling but they

其实也有公开的例子，比如Meta明确说过——不一定是蒸馏——但他们

207:09

used 405b as a reward model for 70b in their llama 3.2 this is all the same topic so is this

在Llama 3.2里用了405B作为70B的奖励模型。这些其实都是同一个话题。所以这

207:18

is this ethical is this legal like what why is that financial times article headline say open

到底合不合法、合不合伦理？为什么《金融时报》那篇文章的标题说OpenAI

207:25

and I says that there's evidence that China's deep seek used its model to train competitor this

有证据表明中国的DeepSeek用了它的模型来训练竞争对手？

207:31

is a long at least in the academic and side and research side as long history because you're

这个问题，至少在学术界和研究界，已经有很长的历史了，因为你其实是在……

207:36

trying to interpret open a eyes rule open a eyes terms of service say that you cannot build a

尝试解读OpenAI的使用条款，条款里说不能用他们的模型输出来构建竞争对手。但使用条款和许可证不同，许可证本质上是组织之间的合同。如果你有一个OpenAI的账户，违反了使用条款，OpenAI可以取消你的账户。这和那种规定你如何使用下游产品的许可证非常不同。所以很大程度上取决于一个在AI领域非常模糊的词——什么是“竞争对手”。然后从道德层面来看，为什么我拿你的输出来训练就不道德，而你可以拿整个互联网的文本去训练？对啊，所以这里有点虚伪，因为OpenAI以及可能大多数公司都是这样。

207:41

competitor with outputs from their model terms of service are different than a license which are

竞争对手模型的输出来做——他们的服务条款与许可证不同，而

207:45

essentially a contract between organizations so if you have a terms of service on open a eyes account

本质上就是组织之间的合同关系，比如你在OpenAI开账户时会有服务条款。如果我们做演示、做研究，并且使用OpenAI的API，因为确实好用，我们就得遵守这个。我们想了解post training，还有我们自己的研究模型，它们会声称自己是OpenAI的，除非我们在system prompt里加上我们讨论过的内容，比如“我是Tulu，我是由艾伦人工智能研究所训练的语言模型”。如果你去问行业里的更多人，尤其是在post training方面，让模型说出自己是谁，或者压制OpenAI的标识，其实是个非常可行的任务。所以在某种程度上，DeepSleep可能并没有做多么了不起的研究。你觉得OpenAI的那个说法有没有任何真实性和价值？

207:50

if I violate it open AI can cancel my account this is very different than like a license that says how

如果我违反了这个规定，OpenAI 可以注销我的账户，这和那种写着“你应该怎么做”的许可证完全不同。如果我们做演示、做研究，并且使用 OpenAI 的 API，因为它确实有用，而且我们想了解 post training，我们的研究模型就会说它们是由 OpenAI 训练的，除非我们在 system prompt 里加上我们讨论过的内容，比如“我是 Tulu，一个由艾伦人工智能研究所训练的语言模型”。如果你去问业内更多人，尤其是在 post training 方面，让模型说出自己是谁，或者去掉 OpenAI 相关的信息，其实是一个非常可行的任务。所以在某种程度上，Deep Sleep 可能并没有做出一项很了不起的研究。你觉得 OpenAI 的那个说法有没有任何真实性和价值？

207:55

you can use a downstream artifact so a lot of it hinges on a word that is very unclear in the AI

你可以用一个下游产物，所以很大程度上取决于一个在AI领域非常模糊的词。

207:59

space which is what is a competitor and then the ethical aspect of it is like why is

这个空间里，什么是竞争对手，然后伦理层面是——为什么你训练机场数据就不道德，但训练互联网上的文本就可以？对啊，没错。所以这里有点虚伪，因为Open AI，以及可能大多数公司，我从Open AI生成数据，然后上传到某个地方，别人再拿去训练，但链接已经断了，它们不再受同样的服务条款约束。这就是为什么有很多隐藏的、有待发现的细节，根本说不通。这也是为什么今天很多模型，哪怕训练数据里完全没有Open AI的内容，你问它“谁训练了你”，它还是会说“我是ChatGPT，由Open AI训练”。

208:05

unethical for me to train on the airport when you can train on the internet's text yeah right

我在机场训练数据不道德，但用互联网文本训练就行？说得对。

208:09

so there's a bit of a hypocrisy because sort of open AI and potentially most of the companies

所以这里有点虚伪，因为Open AI以及可能大多数公司——

208:16

trained on the internet's text without permission there's also a clear loophole which is that

未经许可就在互联网文本上训练，这显然有个漏洞：我从OpenAI生成数据，然后上传到某个地方，别人再拿它去训练，但链接已经断了——他们不再受同样的服务条款约束。这就是为什么有很多混乱的地方，有很多细节有待发现，而且根本说不通。这也是为什么今天很多模型，哪怕训练数据里完全没有OpenAI的内容，你问它“谁训练了你”，它还是会说“我是ChatGPT，由OpenAI训练”——因为网上有太多OpenAI输出的复制粘贴内容，你根本没法过滤干净。而且在RLHF阶段，他们也没有加入任何机制来防止这种情况。

208:23

I generate data from open AI and then I upload it somewhere and then somebody else trains

我从Open AI生成数据，然后上传到某个地方，别人再拿去训练，

208:28

on it and the link has been broken like they're out they're not under the same terms of service

但链接已经断了，他们不再受同样的服务条款约束。

208:32

contract this is this is why there's a lot of hip hop there's a lot of like to be discovered

这就是为什么有很多隐藏的细节，很多有待发现的东西，

208:36

details that don't make a lot of sense this is why a lot of models today even if they train on zero

这些细节根本说不通。这也是为什么今天很多模型，即使它们训练时完全没用Open AI的数据，

208:41

open AI data you ask the model who trained you it'll say I was I'm chat GPT trained by open AI

你问模型是谁训练了你，它还是会说：“我是Chat GPT，由Open AI训练。”

208:47

because there's so much copy paste of like open AI outputs from that on the internet that you just

因为互联网上大量复制粘贴了OpenAI的输出内容，你根本没法过滤掉它们。而且在RL（强化学习）阶段，也没有任何机制要求我们“如果提供演示就必须这样做”——我们做研究时会用OpenAI的API，因为它确实好用，而且我们想理解post training（后训练）。至于我们的研究模型，除非我们在system prompt（系统提示）里加上之前讨论过的“我是Tulu，一个由艾伦人工智能研究所训练的语言模型”，否则它们会自称是OpenAI的模型。如果你去问更多业内人士，尤其是做post training（后训练）的，让模型说出自己是谁，或者压制它自称OpenAI的倾向，其实是个非常可行的任务。所以在某种程度上，Deep Sleep可能并没有做到这一点。

208:52

weren't able to filter it out and then and there was nothing in the RL where you they implemented like

没能过滤掉，而且在那之后RL里也没有任何机制，比如他们实现了类似“如果我们提供演示就必须这样做，我们做研究并使用Open AI的API，因为这很有用”这样的规则。我们想了解后训练，而我们的研究模型会声称自己是Open AI的，除非我们在系统提示里加上我们讨论过的内容，比如“我是Tulu，我是由艾伦人工智能研究所训练的语言模型”。如果你去问业内更多人，尤其是关于后训练，让模型说出自己是谁或者压制Open AI的标识其实是非常可行的任务。所以在某种程度上，Deep Sleep可能并没有做很好的研究。你觉得Open AI的那个说法有没有任何真实性和价值？

208:56

hey like or post training or sft whatever that says hey I'm actually a model by Alan institute instead

嘿，像 post training 或者 SFT 这些，就是说“我其实是艾伦研究所的模型”，而不是非得说“我们得这么做”。如果我们跑个 demo，我们做研究，也会用 OpenAI 的 API，因为确实好用。我们想搞懂 post training，而且我们的研究模型，它们会自称是 OpenAI 的，除非我们在 system prompt 里加上我们讨论过的内容，比如“我是 Tulu，我是由艾伦人工智能研究所训练的语言模型”。如果你去问业内更多人，尤其是做 post training 的，让模型说出自己是谁，或者压制掉 OpenAI 那套说法，其实是个很可行的任务。所以在某种程度上，可能 DeepSeek 根本不在乎它说自己是由 OpenAI 开发的——如果你要上传模型权重的话，那其实无所谓。

209:02

of we have to do this if we serve a demo we do research and we use open AI APIs because it's useful

如果我们做演示，就得这么干——做研究时用OpenAI的API，因为确实好用。我们想理解post training，而我们的研究模型会自称是OpenAI训练的，除非我们在system prompt里写明：“我是Tulu，由艾伦人工智能研究所训练的语言模型”。如果你去问业内更多人，尤其是搞post training的，让模型说出特定内容其实很容易做到。一旦我们禁止这类做法，反而会让所有人的处境都变得更糟。而且，在合法合规的前提下，这事儿没有商量的余地。现在这些模型已经拥有100万token的context length，世界就是这样运转的，你懂的。

209:08

and we wanted to understand post training and like our research models they will say they're

我们想了解后训练，以及像我们的研究模型，他们会说自己是

209:12

and by open AI unless we put in the system prop that we talked about that like I am Tulu I am a

由OpenAI开发的，除非我们在系统提示里加上我们讨论过的内容，比如“我是Tulu，我是

209:17

language model trained by the Alan Institute for AI and if you ask more people around industry

由艾伦人工智能研究所训练的语言模型”。如果你去问行业里的更多人，

209:22

especially with post training it's a very doable task to make the model say

尤其是在后训练方面，让模型说出这样的话其实是一个非常可行的任务。

209:26

who it is or to suppress the open AI thing so in some levels it might be that deep sleep didn't

是谁，或者是为了压制OpenAI那件事。所以在某种程度上，可能Deep Sleep并没有

209:32

care that it was saying that it was by open AI like if you're going to upload model weights it doesn't

它说这是OpenAI做的，比如你要上传模型权重，它不会管。

209:36

really matter is anyone that's serving it in an application and cares a lot about serving is going

真正重要的是，任何在应用中部署模型并且非常关注部署的人，如果他们在用模型做特定任务，就会针对那个任务去定制它。这跟它自称是ChatGPT没关系。我觉得实现这一点的方法之一就是系统提示之类的。比如我们托管演示时，就会说“你是Tulu 3，一个由艾伦人工智能研究所训练的语言模型”。我们也从OpenAI的数据中受益，因为那是很棒的研究资源。你觉得OpenAI声称有证据表明中国的DeepSeek用了他们的模型来训练，这种说法有道理吗？我觉得大家都有

209:41

to when serving it if they're using it for a specific task they're going to tailor it to that

到提供服务的时候，如果用户用它做特定任务，他们会针对那个任务去调整。

209:46

and it doesn't matter that it's saying it's chat GPT oh I get I guess the one of the ways to do that

而且它说自己是ChatGPT也没关系，哦我明白了，实现方式之一可能就是系统提示词之类的。

209:50

is like a system prompt or something like that like that if you're serving it to say that you're

比如你托管演示的时候，你就说“你是Tulu 3，一个由艾伦人工智能研究所训练的语言模型”。

209:55

that's what that's what we do like if we host the demo you say you are Tulu three a language

我们也从OpenAI的数据中受益，因为那是很好的研究素材。

209:59

model trained by the Alan Institute for AI we also are benefited from open AI data because it's

你觉得OpenAI声称有证据表明中国的DeepSeek用了他们的模型来训练，这说法有没有道理？我觉得大家都有。

210:05

a great research I mean do you think there's any any truth and value to the the claim open AI's

做很好的研究。我是说，你觉得OpenAI那个说法有没有任何真实性和价值？

210:12

claim that there's evidence that China's deep seek use this model to train I think everyone has

有人说有证据表明中国的DeepSeek用了这个模型来训练，我觉得大家都有这种想法。这个模型跑推理很复杂，因为它是混合专家模型，你知道，有6000多亿参数之类的，然后人们把它蒸馏到Llama模型里。因为Llama模型部署起来特别方便，而且大家已经为它搭好了推理的流水线和工具，对吧？毕竟它是开放标准。所以，我们看到了，我们看到了某种迂回的情况——这到底好不好？算不算违法？也许违法吧，谁知道呢，我不太确定。但它可能会违反合同。我不觉得它在法律上有什么问题，比如没有任何法律会——一旦我们开始禁止这类事情，只会让所有人的处境变得更糟。而且我也——

210:17

benefited regardless because the data is on the internet and therefore it's in your portraying

受益于互联网上的数据，所以这些数据自然就在你的训练集中。

210:23

right there are like subreddits where people share the best chat GPT outputs and those are

没错，有些子版块专门分享最好的ChatGPT输出结果，这些内容也都在训练数据里。

210:28

those are in your I think they're trying to ship the narrative like they're trying to protect

我觉得他们是在试图引导舆论，想保护自己。

210:32

themselves and we saw this years ago and bite dance was actually banned from some open AI APIs

我们几年前就见过这种情况，当时字节跳动因为用OpenAI的输出训练模型，被禁止使用某些OpenAI的API。

210:37

for training on outputs there's other AI startups that most people if you're in the like AI

还有其他AI初创公司——如果你关注AI圈的话就会知道——他们公开承认用OpenAI的输出训练过模型，但从未被封禁。

210:43

culture or like they just told us they trained on open AI outputs and they never got banned like

他们就是这样起步的，早期模型全靠这个。

210:48

that's how they bootstrapped their early models so it's much easier to get off the ground using

比起搭建人工标注流程、构建强大的模型，用这种方法起步要容易得多。

210:52

this than to set up human pipelines and build a strong model so this long history here and a lot

所以这方面其实有很长的历史，而且例子很多。

210:58

of the communications are seem like narrative can actually like over the last couple days we've

这些交流看起来像是叙事，实际上过去几天我们看到了很多人把DeepSeek的模型蒸馏到Llama模型里，因为DeepSeek的模型跑推理有点复杂——它们是mixture of experts，参数超过6000亿，还有各种东西。然后人们把它们蒸馏到Llama模型里，因为Llama模型部署起来特别简单，而且大家都已经建好了pipeline和工具来做Llama模型的inference，对吧？因为它就是开放标准。所以你看，我们看到了某种迂回的情况——这算坏事吗？算违法吗？可能违法吧，我也不清楚，但可能会违反合同。我不觉得它违法，从法律上讲，没人会……

211:02

seen a lot of people distilled deep seeks model into llama model because the deep seek models are kind

很多人把DeepSeek的模型蒸馏到Llama模型里，因为DeepSeek的模型跑推理有点复杂——它们是混合专家模型，你知道，六千多亿参数什么的。然后大家把它们蒸馏到Llama模型里，因为Llama模型部署起来特别方便，而且每个人都已经搭好了推理用的pipeline和工具链，对吧？毕竟它是开放标准。所以你看，我们确实看到了这种绕来绕去的做法。这算坏事吗？算违法吗？可能违法吧，我也不确定。但至少可能违反合同。我不觉得它真的违法，从法律上讲，没人会——一旦我们开始禁止这类事情，只会让所有人处境更糟。而且我也……

211:08

of complicated to run inference on because they're mixture of experts and they're you know 600 plus

推理起来很复杂，因为它们是 mixture of experts，而且你知道，有 600 多亿参数之类的，然后人们把它们蒸馏成了 llama 模型。接着因为 llama 模型很容易部署，而且大家都已经建好了 pipeline 和工具来做 inference，对吧？因为它成了开放标准。所以你看，我们其实经历了一个迂回的过程——这到底好不好？算不算违法？可能违法吧，谁知道呢，但我觉得它可能违反合同，不过我不认为它在法律上有什么问题，没人会真的追究。一旦我们开始禁止这类东西，对所有人都会更糟。而且，在合法合规的前提下，这没什么可说的。现在这些模型已经没有那种……

211:12

billion parameters and all this and people distilled them into the llama models and then because the

billion parameters 这些东西，然后人们把它们蒸馏成了 llama 模型。接着因为 llama 模型部署起来特别方便，而且大家早就把 inference 的 pipeline 和工具链都搭好了——毕竟它算是 open standard 嘛——所以你看，我们就看到了一个有点绕来绕去的情况：这到底好不好？是不是违法的？可能违法吧，我也不太清楚法律上的事。但问题是，它可能会违反合同。我不觉得它真的违法，从法律角度来说没人会……一旦我们开始禁止这类东西，所有人都会变得更糟。而且，如果是在合法合规的范围内做，那就没有任何借口可讲。现在这些模型也没有……那篇 Financial Times 文章里暗示的其他问题。所以这就引出了一个更 general 的问题：到底该怎么做？

211:16

llama models are so easy to serve and everyone's built the pipelines and tooling for inference with

Llama模型太好部署了，每个人都为Llama模型的推理搭建了流程和工具，对吧？因为它就是开放标准。所以你知道，我们见过那种绕来绕去的情况，比如：这不好吗？这违法吗？也许违法，我不知道。

211:21

the llama models right because it's the open standard so you know we've seen it we've seen a sort

但它可能会违反合同。我不认为它在法律上违法，没有任何法律会——

211:25

of roundabout right like is it bad is it illegal maybe it's illegal whatever I don't know about that

一旦我们禁止那种东西，情况会让每个人都更糟。而且我也

211:30

but like it could break contracts I don't think it's illegal like in any legal like no one's going

以合法的方式，没有任何如果、和或但是。现在这些模型没有任何像——

211:34

to jail for this I think like fundamentally I think it's ethical or I hope it's ethical because like

为了这个去坐牢，我觉得从根本上来说这是道德的，或者说我希望它是道德的，因为一旦我们禁止那种事情，就会让所有人都变得更糟。而且说实话，这确实很难，但我认为你应该被允许大量使用互联网数据进行训练。我知道很多作者和创作者对此非常敏感，这是个棘手的问题。但一旦你不被允许在互联网上训练，我同意——我有一个关于如何解决这个问题的激进想法。因为实际上，我已经有一个“彩虹外卖”方案了。好吧好吧，你知道日本有一项法律，允许你使用任何训练数据，版权不适用，如果你想训练一个模型的话。其次，日本有九吉瓦的闲置核电容量。第三，日本是允许的。

211:40

the moment becomes we ban that kind of thing it's going to make everybody much worse off and I also

一旦我们禁止这类事情，情况会变得更糟。而且我也

211:48

actually it's this is difficult but I think you should be a lot to train on the internet I know a

其实这个问题挺难的，但我觉得你应该大量用互联网数据来训练。我知道很多作者和创作者对此非常敏感，这确实是个棘手的问题。但一旦你被禁止用互联网数据训练，我同意——我有个比较激进的想法，可以解决这个问题，因为我已经有一套“彩虹方案”了。好吧好吧，你知道日本有一项法律，允许你用任何训练数据来训练模型，版权不适用，如果你想训练一个模型的话。其次，日本有九吉瓦的闲置核电容量。第三，日本允许在这里建市场，我们可以建大规模的数据中心，租给各个实验室，然后在法律允许的范围内训练模型，没有任何附加条件。这样一来，模型就不会有任何……

211:55

lot of authors and creators are very sensitive about it that's that's a difficult question but like

很多作者和创作者对此非常敏感，这确实是个棘手的问题，但说实话——

211:59

the moment the moment you're not allowed to train on the internet I agree I've a skit so take on how

一旦你被禁止在互联网上训练数据，我就同意这个观点。我有个小段子来聊聊怎么解决这个问题，因为其实我已经有方案了。

212:05

you can solve this because it already I have a rainbow takeout all right all right so so you know

好吧好吧，你知道日本有一项法律，允许你用任何训练数据来训练模型，版权不适用。

212:12

Japan has a law which you're allowed to train on any training data and copyrights don't apply if

如果你想训练一个模型：第一，日本有九吉瓦的闲置核电；第二，日本允许在这里建大规模数据中心，我们租给实验室，然后以合法的方式训练模型，没有任何附加条件。

212:17

you want to train a model a b Japan has nine gigawatts of curtailed nuclear power c Japan is allowed

这样一来，模型就没有任何法律上的问题。

212:24

under the AI diffusion rule to import as many GPUs as they'd like so all we have to do we have a

在AI扩散规则下，他们可以随意进口尽可能多的GPU，所以我们只需要做一件事：在这里建一个市场，建大规模的数据中心，租给各个实验室，然后用合法的方式训练模型，没有任何含糊其辞的地方。现在这些模型也完全不用担心来自《纽约时报》之类的版权诉讼，完全没有，就是完全合法。太天才了。早期的版权诉讼结果其实对AI训练有利，我觉得AI会吃掉长尾使用场景——也就是说，如果你抓取了几万亿条数据，你不会盯着那几万亿个token看，然后说“这篇《纽约时报》的文章对我特别重要”。但如果你是在做音乐类的音频生成，那就不一样了。

212:30

market here to make we build massive data centers we rent them to the labs and then we train models

所以这招太绝了。早期的版权诉讼其实已经偏向支持AI训练了，我得说。

212:35

in a legally permissible way and there's no if ands or butts and now the models have no like

在法律允许的范围内，没有任何借口或条件。而现在这些模型根本没有类似

212:41

potential copyright lawsuit from New York Times or anything like that no it's just like completely

来自《纽约时报》的潜在版权诉讼之类的？不，这完全是合法的。所以，天才啊，早期的版权官司其实都偏向AI训练这边。我觉得，长尾使用场景会逐渐融入AI——也就是说，如果你抓取数万亿条数据，你根本不会盯着那数万亿个token，然后说“这篇《纽约时报》的文章对我特别重要”。但如果你做的是音乐音频生成，就得搞清楚他们在推理上的利润率是多少。我不知道会不会是五五分，像那种“你与创作者”的分成计划之类的，但作为写作者，我会选择加入那个计划——拜托，这过程肯定会很艰难，但总会有解决办法的。

212:45

legal no so genius the early copyright lawsuits have fallen in the favor of AI training I would say

法律上没那么高明，早期的版权诉讼其实对AI训练有利，我觉得是这样。

212:52

that the long tail of use is gonna go inside of AI which is if you do if you scrape trillions

长尾用例将会进入AI领域，也就是说，如果你抓取数万亿条数据，你不会盯着那数万亿个token，然后说“这篇《纽约时报》的文章对我太重要了”。但如果你在做音乐类的音频生成，可以算算他们在inference上的利润率是多少——我不知道会不会是那种五五分成的创作者分成计划，但作为写作者，我会选择加入那个计划。真的，这注定是一段艰难的路程，但总会有一些解决方案，就像《金融时报》那篇文章里其他部分暗示的那样。所以至少有一个更宏观的问题：你觉得，实际窃取机密代码和数据，搞间谍活动和盗窃，到底有多难？

212:59

of data you're not looking at the trillions of tokens of data you're not looking and saying this

数据方面，你不会盯着那几万亿个token的数据，然后说这篇《纽约时报》的文章对我多重要。

213:04

one New York Times article is so important to me but if you're doing a audio generation for music

但如果你做的是音乐音频生成，可以算算他们在推理上的利润率，我不知道会不会是五五分成。

213:09

or image generation and you say make it in the styled x person that's a reasonable case where you

在图像生成里，你说“做成某某人的风格”，这算是个合理的情况，你能大概算出他们在inference上的利润率。我不确定会不会像那种五五分成的创作者计划，但作为一个写作者，我愿意加入这种计划。真的，这条路会很艰难，但总会有一些解决方案，听起来是合理的。不过还有大量长尾内容就在互联网上。我觉得《金融时报》那篇文章还暗示了另一个更普遍的问题：你觉得从公司内部窃取真正的机密代码和数据，这种间谍和盗窃行为有多难？有多少人在尝试？食物和数据很难搞，但想法很容易。

213:14

could figure out what is their profit margin on inference I don't know if it's gonna be the 50-50

或者是什么“创作者分成计划”，但作为写作者，我会选择加入那个计划，真的。

213:19

of you to creator program or something but I would opt into that program as a writer like please

就像，这注定是一段艰难的路，但总会有一些解决办法。

213:25

like that that it's just it's gonna be a rough journey but there will be some solutions like

《金融时报》那篇文章的其他部分也暗示了这一点，所以至少有一个更普遍的问题：你觉得间谍、窃密、偷窃真正的秘密代码和数据有多难？

213:31

that that makes sense but there's a long tail where it's just on the internet I think one of the

这说得通，但网上还有大量长尾内容。我觉得《金融时报》那篇文章还暗示了另一个更普遍的问题：你觉得从公司内部窃取机密代码和数据，搞间谍活动到底有多难？现在有多少人在尝试这种事？数据难偷，但想法容易——为了加薪，很多人跳槽时就会把想法带过去。这些公司之所以这么做，很大原因就是为了带走想法。而且，在加州，有些规定比如竞业限制之类的其实是违法的。不管有没有NDA（保密协议）这些东西，很多流程就是这么发生的。最近就有个来自Gemini的人，帮忙搞出了这个100万（的成果）。

213:36

other aspects of that financial times article implied and so that least a more general question do

那篇金融时报文章的其他部分也暗示了这一点，至少引出了一个更普遍的问题。

213:42

you think there's how difficult is spying espionage and stealing of actual secret code and data

你觉得间谍活动、窃取机密代码和数据到底有多难？其实在加州，有些规定比如竞业限制之类的，是违法的。不管有没有保密协议，很多技术泄露就是这么发生的。最近就有个来自Gemini的人，帮忙做出了那个百万上下文长度的模型。这其实就是现实运作的方式，工业间谍这类事情在过去一直都很成功，对吧？它就是生活的一部分。所以如果有人觉得工业间谍能被完全阻止，那是不可能的。要防止间谍窃取，你就得把所有安全漏洞都堵上。

213:52

from inside companies how much of that is being attempted food and data is hard but ideas is easy

从公司内部来看，有多少尝试是在做这件事呢？数据很难搞，但想法很容易。为了涨薪，这些公司这么做的很大一个原因，就是想把想法带过去。而且，在加州是有规定的，比如某些竞业限制条款在加州是非法的。不管有没有NDA之类的协议，很多过程就是这样发生的。最近有个来自Gemini的人，帮忙做出了那个100万上下文长度的东西。这其实就是世界运作的方式，你知道的，像工业间谍这类事情，过去一直都很成功，对吧？等等等等。这就是生活的现实，所以要说工业间谍能被阻止，那是不可能的。

213:57

Silicon Valley operates on the on the way that top employees get bought out by other companies

硅谷的运作方式就是，顶尖员工会被其他公司挖走，顺便涨个薪，而公司这么做的很大一个原因，是为了把他们的想法也带过来。而且，在加州，像竞业限制这类东西其实是违法的，不管有没有NDA之类的协议，很多人才流动就是这么发生的。最近，有个从Gemini出来的人，他参与做出了那个100万token的上下文长度，现在大家都在说，下一版llama——他去了Meta团队——也会支持100万token的上下文长度。说白了，这个世界就是这么运转的，像工业间谍这类事情，过去一直都很成功，对吧？

214:03

for a pay raise and a large reason why these companies do this is to bring ideas with them

为了涨薪，而且这些公司这么做的一个很大原因，是为了把想法带过去。而且，在加州，有些规定，比如某些竞业限制条款之类的，在加州是非法的。至于有没有保密协议之类的东西，很多流程就是靠这些来运作的。最近，有个来自Gemini的人，帮忙做出了那个100万上下文长度的东西。这世界就是这么运作的，你知道，像工业间谍这类事情，过去一直非常成功，对吧？等等等等。这其实就是生活中的一个事实。所以，如果有人争论说工业间谍能被阻止，或者说我能免受工业间谍的侵害——那你就得确保堵上所有安全漏洞。

214:09

and there are there's no I mean in California there's rules like certain like non-compete or whatever

在加州，确实有像竞业限制之类的规定，但那些在加州是非法的，而保密协议之类的东西，很多流程就是靠这些来运作的。

214:14

are illegal in California and whether or not there's NDAs and things that is how a lot of it

最近有个来自Gemini的人，帮忙做出了那个百万上下文长度，这其实就是世界运作的方式，你知道的，像工业间谍这类事情，过去一直都很成功，对吧？

214:18

process happens and recently there was somebody from Gemini who helped make this 1 million

它就是生活中的现实，所以要说工业间谍能被阻止，或者我能免受间谍活动的侵害，那你就得确保堵上所有安全漏洞。

214:24

context length and everyone is saying the next llama who I mean he went to the meta team is gonna

上下文长度，大家都在说下一版Llama——我是说，他去了Meta团队之后——会有100万上下文长度，这大概就是世界运作的方式，你知道，像工业间谍这类事情，过去一直都很成功，对吧？你懂的，等等等等。这其实就是生活的一部分。所以，要说工业间谍能被阻止，那大概不太可能；你可以让它变得更难，但即便如此，还是有很多故事，比如F-35和F-22的设计图纸和代码什么的，已经流到中国那边了。至于说，你知道，公司之间——不是国家层面——可能很难，但想法确实经常被讨论，对吧？不管是在旧金山的某个派对还是聚会上。

214:29

have 1 million context length and that's kind of how the world works you know as far as like

拥有100万的上下文长度，这其实就是世界运作的方式，你知道的，就像这样。所以呢，要说工业间谍活动能被阻止，我是不受间谍访问影响的——嗯，你得确保堵上所有安全漏洞。几十年来，数据中心的能耗一直在缓慢攀升，但现在达到了2%到3%。到本十年末，即使我说10%，很多人传统上——比如到2028年、2030年——传统上非传统的，以及集中式集群，对吧，分布在美国各地，这很令人兴奋。而且这是大头，对吧，比如，你知道，OpenAI，或者，嗯，Meta。

214:35

industrial espionage and things that has been greatly successful in the past right you know the

工业间谍活动在过去非常成功，对吧，你知道的，诸如此类。这不过是现实生活中的一部分，所以如果有人主张工业间谍活动可以被阻止，那我可不信。要防范间谍活动，是的，你必须确保堵住所有安全漏洞。过去几十年里，数据中心的漏洞一直在缓慢攀升，但现在达到了2%到3%。到本十年末，即使我说10%，很多人传统上——比如到2028年、2030年——传统上非传统的，以及集中式集群，对吧，分布在美国各地，这很令人兴奋，而且这是主要部分，对吧，比如，你知道的，OpenAI，或者，比如说，Meta。

214:40

Americans do the Brits the Chinese have done it to the Americans right and you know so on and

美国人搞英国人，中国人搞美国人，对吧，你懂的，如此循环往复。这就是现实，所以要说工业间谍能完全被阻止，恐怕不太可能，顶多让这事儿变得更难。但即便如此，还是有各种传闻，比如F-35和F-22的设计图纸和代码早就被送到中国了。我觉得，公司之间——不是国家层面——要防住这个非常难，但想法交流其实很频繁，对吧？不管是在旧金山的某个家庭派对上，还是公司员工跳槽，或者你懂的，那个总被提到的“美人计”陷阱——有人中了美人计，毕竟所有搞AI的人都有可能。

214:45

so forth it's just it is a fact of life and so like to argue industrial espionage can be stopped

等等等等，这只是生活中的现实，所以如果你想争论工业间谍活动可以被阻止

214:52

is probably unlikely can make it difficult but even then like there's all these stories about like

可能不太可能，但即便如此，还是有很多类似的故事，比如

214:56

hey f 35 and f 22 have already been like sort of like given to China in terms of design plans

嘿，F-35 和 F-22 的设计图纸和代码什么的，据说已经以某种方式流到中国了

215:01

and stuff code and stuff like between you know I say companies not nation states is probably very

我觉得吧，公司之间可能很难做到，但国家之间就不好说了

215:07

difficult but ideas are discussed a lot right whether it be a part house party in San Francisco or

不过想法倒是经常被讨论，不管是在旧金山的家庭派对还是什么聚会上

215:13

a company changing employees or you know or the you know the the always the like mythical honey pot that

一家公司换员工，或者你知道，就是那个总被提到的“蜜罐”传说，对吧？就是有人被“蜜罐”了，因为所有搞AI的人都能拿到离谱的股份比例。所以总会有这些，你懂的，显然。

215:20

always gets talked about right like someone gets honey potted right because everyone working on AI

“蜜罐”就是女间谍接近你，然后，嗯，或者男的也行，对吧？毕竟这是旧金山。但没错，作为一个快30岁的单身男，我得说，我们这种人很容易被腐蚀，对吧？不是说我被腐蚀了，但你懂的，我们就是那样。别人不是我。对，我太迟钝了，而且我不是单身，所以我对间谍渗透免疫。对，你得确保堵上所有安全漏洞。

215:24

is a single dude who's in their 20s and 30s not everyone but like a insane amount of

一个二十多岁、三十出头的单身男性，不是所有人，但比例高得离谱。所以总是有这些，你懂的，显然。所以“蜜罐”就像是一个女间谍接近你，然后，对对对，或者男的，你懂的。你可能是，这里是旧金山嘛，但嗯，作为一个快三十的单身男性，我得说，我们很容易被腐蚀，你懂的，不是说我被腐蚀了，但你懂的，我们就是这样。别人不是我，对，我太迟钝了，而且我不是单身，所以我对间谍渗透是安全的。嗯，你得确保堵上所有安全漏洞，这样你就不会收集太多关于每个巨型集群的信息。

215:29

for insane percentages um so there's always like all these like you know and and obviously

甚至离谱到百分之多少的程度，所以总是有这些传闻，而且显然

215:33

so honey potted is like a spy a female spy approaches you and like yeah yeah or or male right you know

所以“美人计”嘛，就是一个女间谍接近你，然后就这样那样，或者男的也行，对吧

215:41

you could be it's San Francisco right but um yes as a single dude I will say in in his late 20s

毕竟这是旧金山嘛，但作为一个快三十的单身男，我得说

215:46

right is like we are very easily corrupted right like you know like not not corrupted myself but

我们这种人其实挺容易被带偏的，当然我自己没被带偏哈

215:51

you know like we are we are right every else not me yeah I'm too oblivious and I am not single so

你知道，我们是对的，别人都不对，不是我。我太迟钝了，而且我不是单身，所以不用担心间谍渗透。是啊，你得确保堵上所有安全漏洞。它们的规模完全前所未有，对吧。嗯，你知道，这有点像数据中心的电力消耗一直在缓慢上升，已经涨到了2%到3%，甚至经历了云计算革命也是如此。数据中心消耗占美国总消耗的比例，这已经持续了几十年，对吧，数据中心之类的，一直在缓慢攀升，但现在到了2%到3%。到本十年末，即使我说10%的时候，很多人传统上——比如到2028年、2030年，传统上非——嗯，传统上。

215:56

I'm safe from one espionage access yeah you have to make sure to close all security vulnerabilities

我就不受间谍访问的影响了？是的，你必须确保关闭所有安全漏洞

216:04

so you uh don't collect a lot of information about each of the the mega clusters

所以，呃，你不会收集太多关于每个超级集群的信息吧？

216:10

for each of the major AI companies can you can you uh talk about the buildouts for each one that

对于每家主要AI公司，你能聊聊它们各自突出的建设情况吗？嗯，我觉得这些超大规模集群建设真正关键的一点是，它们的规模完全前所未有。你知道，美国的数据中心电力消耗一直在缓慢上升，即使经历了云计算革命，也只涨到了2%到3%。数据中心占美国总用电量的比例，这几十年来一直在慢慢攀升，但现在也就2%到3%。而到了这个十年末，即使我说10%，很多传统上——比如到2028年、2030年——传统上非AI领域的人也会觉得……

216:17

stand out yeah so I think the thing that's like really important about these mega cluster buildouts

确实，我觉得这些超级集群的建设真正重要的地方在于，它们的规模完全前所未有，对吧？嗯，你知道，数据中心功耗一直在缓慢上升，即使经历了云计算革命，也只涨到了2%到3%，对吧？数据中心占美国总能耗的比例——这已经持续了几十年，对吧？数据中心一直在慢慢攀升，现在到了2%到3%。但到本十年末，即使是我说的10%，很多传统上——呃，比如到2028年、2030年，传统上非AI的人——

216:22

is they're completely unprecedented in scale right um us you know it's sort of like data center

它们的规模完全前所未有，嗯，你知道，这有点像数据中心。美国的电力消耗一直在缓慢上升，已经达到了2%到3%，即使经历了云计算革命也是如此。数据中心占美国总用电量的比例，这已经持续了几十年，对吧，数据中心等等，一直在缓慢攀升，但现在已经是2%到3%。到本十年末，即使我说10%，很多人——传统上，嗯，到2028年、2030年，传统上非……嗯，传统上以及集中式集群，对吧，分布在美国各地——这很令人兴奋，而且这是主要部分，对吧，比如，嗯，OpenAI，或者，嗯，Meta。

216:28

power consumption has been slowly on the rise and it's gone up to 2 3% even through the cloud

功耗一直在缓慢上升，已经达到了2%到3%，即使经历了云计算革命也是如此。数据中心占美国总能耗的比例，这已经持续了几十年，一直在慢慢攀升，但现在到了2%到3%。到本十年末，即使我说10%，很多人——传统上，到2028年、2030年，传统上非……以及集中式集群，分布在美国各地，这很令人兴奋，而且这是主要部分。比如，OpenAI，或者Meta，还有其他这些。所以也许我们应该先解释一下什么是集群。

216:33

computing revolution right data center consumption as a percentage of total us and and that's been

计算革命对吧，数据中心消耗占美国总用电量的百分比，这个趋势已经持续了几十年，数据中心一直在慢慢攀升，现在大概是2%到3%。到本十年末，即使我说10%，很多人——传统上，比如到2028、2030年，传统上非……嗯，传统上以及集中式集群，对吧，分布在全美各地，这很令人兴奋，而且这是大头，对吧。比如，你知道，OpenAI，或者Meta，这些其他的东西。所以也许我们应该先定义一下什么是集群。比如，我要把几千块GPU放在这些数据中心的各个区块里。

216:38

over decades right of data centers etc it's been climbing climbing slowly but now 2 to 3% now

过去几十年里，数据中心这块的能耗一直在缓慢上升，但现在已经到了2%到3%。到本十年末，就算我说10%，很多人——传统上那些，嗯，到2028年、2030年，传统上非AI的——以及集中式集群，对吧，分布在美国各地的那些，其实挺让人兴奋的。推理能力大概会持续一两年，然后就是agent，但同时呢，自主执行任务，一次做几分钟甚至几小时的事情，对吧。比如在半导体制造中，有成千上万个任务链在一起，每次LLM——即使是最好的LLM，在特定基准测试上表现相当不错。

216:43

by the end of this decade it's like even even under like you know when I say like 10% a lot of

到本十年末，这就像是，即使，你知道，当我说10%的时候，很多

216:48

people that are traditionally uh by like 2028 2030 people traditionally non a uh traditional

那些传统上...呃，到2028、2030年，传统上非...呃，传统的

216:54

data center people like that's nuts but then like people who are in like AI who have like really

数据中心的人觉得这太疯狂了，但像那些在Anthropic和OpenAI真正深入研究过AI的人却觉得这还不够。不过呢，这既包括全球分布式部署，也包括美国境内的分布式部署，还有集中式集群。美国境内的分布式部署很令人兴奋，而且占了大部分——比如OpenAI或者Meta正在增加一个吉瓦的电力，但大部分还是分布在美国各地用于推理和其他用途。所以也许我们应该先解释一下什么是集群。比如AWS，可能有必要聊聊不同类型的集群以及它们各自的特点。

216:59

looked at this at like the anthropics and open a eyes are like that's not enough okay uh but like

像Anthropic和OpenAI那边一看就觉得不够，嗯，但你知道，这既包括全球分布，或者说是美国境内的分布，也包括集中式集群。美国境内的分布确实让人兴奋，而且它占了大部分，对吧？比如OpenAI或者Meta正在增加一个gigawatt，嗯，但大部分还是分布在美国各地，用于inference和其他这些用途。所以也许我们该先讲清楚什么是集群。嗯，比如这包括AWS，可能聊聊不同类型的集群和它们的历史背景会比较好。但没错，所以我们说的集群到底指什么？哦天，我还以为我要开始讲了呢。

217:04

you know this is this is both through uh globally distributed uh or distributed throughout the US

你知道，这既包括全球分布式部署，也包括美国境内的分布式部署，还有集中式集群。美国境内的分布式部署确实令人兴奋，而且它占了大部分。比如，OpenAI 或者 Meta 正在增加一个 gigawatt 的算力，但大部分还是分布在美国各地，用于 inference 和其他用途。所以也许我们该先定义一下什么是集群。比如，这包括 AWS，可能有必要聊聊不同类型的集群，以及它们背后的原理。但没错，我们说的集群到底指什么？天哪，我刚才差点以为这要变成一个 distributed systems 的问题了——一个可以广泛分布、跨地域部署的问题。

217:10

as well as like centralized clusters right the the distributed throughout the US is is exciting

还有像 centralized clusters 对吧，分布在美国各地，这很令人兴奋。

217:14

and it's the bulk of it right like hey you know uh opening eye or uh you know say meta is

而且这占了大部分，对吧？比如，嘿，你知道，OpenAI 或者，嗯，Meta 也是，对吧？它们不像 Google Cloud 那样做，Google Cloud 是一个独立于 TPU 的组织。

217:20

adding a gigawatt right um but most of it is distributed through the US for inference and all

增加一个吉瓦，嗯，但大部分都分布在美国各地用于推理和其他这些事。所以也许我们应该先讲清楚什么是集群，嗯，你知道，这包括AWS，也许聊聊不同类型的集群以及它们的历史背景会比较好。但没错，比如我们说的集群到底是什么意思？天哪，我还以为我要讲一个分布式系统的问题，这个问题可以非常广泛地分布开来，不管做搜索排名还是推荐，都会返回一个结果。嗯，任务的性质正在迅速变化，现在人们真正关注的是两个任务，不再是数据库访问，也不是帮我找到正确的页面或帮我找到合适的广告，而是——

217:25

these other things right so maybe we should lay out what a what a cluster is so uh you know

这些其他东西对吧，所以我们不妨先明确一下什么叫集群。嗯，你知道，就像说“我要把几千块GPU，还有那些模块，全都铺到数据中心里”。规模呢，其实是更宏大的概念，对吧。所以你看，Elon，咱们就接着聊这个话题，他用了大量特斯拉的Megapack电池组来让供电更平稳，还有其他各种设备。他搞了个Stargate，在亚利桑那州，还有德克萨斯州的阿比林，至少他们对外公布的是这样。不过还没建好，Elon说他们没钱，你知道，这方面有些争议。但按满规模算，至少第一期资金肯定是到位的，芯片也交付了。现在这个规模简直离谱，2.2吉瓦，比大多数城市用电量都大。

217:31

this is include AWS maybe it's it's good to talk about the different kinds of clusters and what

包括AWS，也许聊聊不同类型的集群会比较好，以及什么是

217:36

you mean by mega clusters and what's the GPU and what's the computer and what is yeah yeah not

你是说那些巨型集群，GPU是什么，计算机是什么，对对对，不是那么久远的事，但没错，所以我们说的集群到底指什么？天哪，我还以为我要开始做苹果广告了，计算机是什么？所以传统上，数据中心和数据中心税务是一个分布式系统问题，能够非常广泛地分布，对吧？比如，我向Google发送一个请求，它会到达离我比较近的数据中心，然后做各种搜索排名、推荐，再返回结果。现在任务的性质正在迅速变化，人们真正关注的任务有两种，对吧？不再是数据库访问，也不是帮我找到正确的页面或正确的广告，而是现在这样。

217:41

that far back but yeah so like what do we mean by the clusters oh man I thought I was about to

追溯到那么早，但没错，所以当我们说“集群”时到底指的是什么？天啊，我还以为我快要

217:46

do the apple ad right what's the computer so so traditionally data centers and data center

做那个苹果广告，电脑到底是什么。传统上，数据中心和数据中心税是一个分布式系统问题，能够被非常广泛地分散处理。也就是说，我向Google发一个请求，它会路由到离我比较近的数据中心，然后做搜索排名、推荐之类的，再把结果返回给我。但现在任务的性质正在迅速变化，人们真正关注的任务其实有两个。不再是数据库访问，也不是给我找对页面、给我找对广告，而是看起来更简单、更相似。然后还有训练这一块。推理这边呢，还是像这样：我把几千块GPU放在这些数据中心里，成块地分布。

217:52

tax have been a distributed systems problem that is uh capable of being spread very far and widely

这本来是一个分布式系统的问题，能够被非常广泛地分散开来

217:59

right i.e. I send a request to Google it's gets around to a data center somewhat close to me um it

对，比如我向Google发个请求，它会路由到离我比较近的一个数据中心，然后做搜索排名、推荐，再把结果返回给我。但现在任务的性质变化很快，大家真正关注的主要是两类任务：不再是数据库访问，也不是给我推荐对的页面或对的广告，而是看起来更像“简单相似”这类任务。另一边是训练，训练和推理这边还是老样子——比如我把几千块GPU放在数据中心各个机房里，用户向我的服务提交请求，比如他们在Word里说“帮我，Copilot”，然后从我的Windows Copilot或者Apple Intelligence之类的开始启动。

218:05

does whatever search ranking recommendations sends a result back right um the nature of the

无论是搜索排序、推荐系统，还是返回一个结果，对吧？但任务的性质正在迅速变化，现在人们真正关注的是两个任务

218:11

task is changing rapidly in that the task there's two tasks that people are really focused on now

没错，不再是数据库访问，不再是“给我找到正确的页面”或“给我找到正确的广告”，而是像“嘿，我要把几千块GPU放在数据中心的各个区块里”

218:16

right it's not database access it's not sort of me the right page sort of me the right ad it's now

你知道，他们向我的服务提交一个请求，他们正在处理文字，然后说“哦，是的，帮帮我”

218:21

a inference and inference is dramatically different from traditional distributed systems but it

推理（inference）和传统分布式系统差别巨大，但看起来又简单得多、相似得多。然后还有训练（training）对吧，训练和推理这边还是像这样：嘿，我要把几千块GPU（GPU）放到数据中心各个机柜里，在上面跑模型。用户提交一个请求，系统就开始处理——或者比如我的服务，用户提交一个请求，他们打字说“嘿，帮我，Copilot”，然后它就从我的Windows Copilot或者Apple Intelligence之类的开始启动，请求被发送到数据中心。现在那个数据中心做一些计算，再把结果发回来。这就是推理（inference），它将会占据绝大部分算力。但你知道，就是这样。

218:25

looks a lot more simple similar and then there's training right the train inference side is still

看起来简单多了，然后就是训练对吧，训练和推理这边还是像——嘿，我要放几千块GPU，你知道的，一堆一堆地塞进这些数据中心。他们向我的服务提交请求，对吧，他们在Word里，然后说“嘿，帮我，Copilot”，然后它就开始跑起来了，从我的Windows Copilot或者Apple Intelligence之类的开始——那就是推理。推理会占据大部分算力，但你知道，那还有别的东西，那些才是现在正在大规模建设的东西。而真正在重塑格局的、需要数百万块GPU的，是那个规模。但最大集群的规模也非常重要，对吧，当我们回顾历史的时候，你知道的，或者通过……

218:31

like hey i'm going to put you know thousands of GPUs and you know blocks all around these data centers

就像，嘿，我打算把几千块GPU和成排的模块堆进这些数据中心里

218:37

i'm going to run models on them you know user submits a request gets kicked off or hey my service

我会在它们上面跑模型，用户提交一个请求，然后任务就启动了。或者像这样：我的服务——用户向我的服务提交一个请求，对吧？他们正在打字，然后说“嘿，帮我用Copilot”，接着就从我的Windows Copilot或者Apple Intelligence之类的开始执行。任务被发送到一个数据中心，现在那个数据中心做一些计算，然后把结果返回。这就是inference，它将会占据绝大部分的计算量。然后呢，还有其他的事情，这些就是目前正在建设的主要内容。但真正在重塑格局的、让数百万块GPU被部署的，是这些应用。不过，最大集群的规模也非常关键，对吧？回顾历史，你看……

218:42

you know they submit a request to my service right they're on word and they're like oh yeah help

他们给我的服务提交请求嘛，正在用Word，然后说“哦对，帮个忙”。

218:45

me copilot and it starts kicks it off from on my windows copilot whatever apple intelligence whatever

我用的Copilot，它就开始跑起来了，Windows上的Copilot也好，Apple Intelligence也好，都一样。

218:49

it is it gets kicked off to a data center right now that data center does some work and sends it back

现在它会被发送到数据中心，数据中心处理完再传回来——这就是inference，未来大部分算力都会用在这上面。然后还有别的东西，这些就是目前建设的主流方向。但真正在重塑格局、驱动百万级GPU部署的，是集群的规模。回顾历史，当年可能就三块、四块GPU，我记不清了，但那是件大事。因为用GPU本身就是大事，而且他们用多块GPU。但随着时间的推移，规模一直在叠加。再往后跳到GPT-3、GPT-4，GPT-4用了两万块、十万块GPU，史无前例。

218:54

that's inference that is going to be the bulk of compute but then you know that and that's like

那都是推理，未来计算的大头就在这儿，但你也知道，还有别的东西，那些才是目前大家主要在建的。

219:00

you know there's thousands of data centers that were tracking with satellites and like all these

你知道，有成千上万的数据中心，我们用卫星在追踪，还有各种其他东西，这些是正在建设的主体，但规模——而且，这才是真正重塑格局的东西，也是让数百万块GPU投入使用的关键。但最大集群的规模也非常重要，对吧？回顾历史，在AI时代里，比如他们用AlexNet的时候，我记得是在两块GPU还是四块GPU上跑的——记不清了——那是个大事。为什么是大事？因为他们用了GPU，而且用了多块GPU。但随着时间的推移，这个规模一直在叠加增长。所以当你快进到GPT-3，再到GPT-4，GPT-4用了两万块、十万块GPU，这是前所未有的规模。

219:03

other things and and those are the bulk of what's being built but the scale of and and so that's

不过真正在重塑格局的，是那种规模，那种需要几百万块GPU的规模。但最大集群的规模也非常重要，对吧？

219:08

like what's really reshaping and that's what's getting millions of GPUs but the scale of the largest

回顾历史，你看，大概每台设备1200到1400瓦，包括网络、CPU、内存，乱七八糟全算上。

219:13

cluster is also really important right when we look back at history right like you know or through

所以我们得说清楚，你提到了电力，所以需要大量电力，还需要把它们连起来，所以网络也很重要。对，我觉得，嗯，抱歉。

219:20

through the age of AI right like it was a really big deal when they did Alex net on i think two GPUs

在AI时代，当年用两块GPU跑AlexNet（也可能是四块，记不清了）就已经是件大事了——因为用上了GPU，还用了多块，所以轰动一时。但后来规模一直在翻倍增长。跳到GPT-3、GPT-4的时候，GPT-4用了两万块A100 GPU，史无前例的规模对吧？但两万块其实也不算离谱，每块GPU功耗大概400瓦，加上整台服务器什么的，总功耗差不多15到20兆瓦。你可以查查一个人体功耗是多少，因为数字会变得很夸张——但就标准来说，这15到20兆瓦已经……

219:27

or four GPUs I don't remember so really big deal it's a big deal because you use GPUs it's a big deal

或者四块GPU，我记不清了——所以这真的很夸张。很夸张是因为你用了GPU，这本身就是大事。

219:32

they use GPUs and they use multiple right but then over time its scale has just been compounding

他们用GPU，而且用多块，对吧？但随着时间的推移，它的规模一直在成倍增长。

219:38

right and so when you skip forward to gpd3 then gpd4 gpd4 20,000 a 100 GPUs unprecedented run

对吧，所以当你跳到GPT-3，再到GPT-4，GPT-4用了两万块、十万块GPU，这是前所未有的运行规模。

219:46

right in terms of the size and the cost right a couple hundred million dollars on a yellow right

就规模和成本而言，对吧，几亿美元砸在黄仁勋的GPU上，搞了个GPT-4的训练，结果带来了那种魔法般的提升，完全符合实验预期，就像对数尺度一样精准。

219:50

a yellow run for gpd4 and it and it yielded you know this magical improvement that was like

哦对，我记得论文里那张图，scaling技术报告里的scaling laws完美吻合。

219:55

perfectly in line with what was experimented and just like a log scale right.

但那个数字其实不算离谱，对吧？两万个GPU，每个大概100块，每个功耗400瓦，再加上整个服务器系统，差不多15到20兆瓦的电力。

219:58

oh yeah i have that plot from the paper the scaling the technical report the scaling laws were perfect

你知道吗，你或许可以查查一个人体消耗的功率是多少，因为对比起来会显得很荒谬，但那个15到20兆瓦，按标准……

220:03

right but that's not a crazy number right 20,000 a 100s roughly each GPUs consuming 400 watts

对，但这数字其实不算夸张吧，两万个GPU，每个大概400瓦功耗。然后加上整台服务器，所有东西加起来，差不多就是15到20兆瓦的功率。你知道吗，你其实可以查查一个人体消耗的功率是多少，因为这么一比数字就变得很离谱了。但那个15到20兆瓦，按标准来算，大概相当于1200到1400瓦，包括网络、CPU、内存等等乱七八糟的全算上。所以我们还得说说，你提到了电力，所以需要大量电力，产生大量热量，就需要冷却。而且因为GPU很多，或者CPU什么的，它们之间必须互联，所以网络需求也很大。对，我觉得，嗯，抱歉。

220:10

and then when you add in the whole server right everything it's like 15 to 20 megawatts of power

然后再加上整个服务器，对吧，所有东西加起来，功耗大概在15到20兆瓦。

220:15

right you know you know maybe you could look up what the power of consumption of a human

对吧，你知道，你也许可以查一下一个人体消耗的功率是多少，因为数字会变得很离谱，但那个15到20兆瓦，按标准来算，大概相当于1200到1400瓦，包括网络、CPU、内存等等所有东西。

220:21

person is because the numbers are going to get silly but like that 15 to 20 megawatts with standard

所以我们还得说清楚，你提到了电力，所以需要大量电力，确实需要大量。

220:25

data center size was just unprecedented that was all GPUs running one time.

数据中心的规模前所未有，所有GPU都在同时运行。

220:28

when it was with a toaster yeah the toaster is like a good example similar no power consumption

用那个toaster打比方挺贴切的，功耗差不多，跟A 100一样。后来A 200出来了，功耗从400瓦涨到700瓦，这还只是单块GPU，再加上周围一堆配套设备，算下来总共大概1200到1400瓦，包括网络、CPU、内存什么的。

220:34

to an a 100 right a 200 comes around they increase the power from like 400 to 700 watts and that's

所以我们也得说说需要什么——你提到了电力，确实需要大量电力，同时产生大量热量，所以需要冷却。而且因为GPU数量多，它们得连起来，所以网络需求也很大，对吧？嗯，我觉得——对，抱歉。

220:39

just per GPU and then there's all the associated stuff around it so it's just once you count all

单看每块GPU，再加上周边配套设备，把所有东西算进去——网络、CPU、内存等等——总共大概1200到1400瓦。所以我们也得说说需要什么条件，你提到电力，确实需要大量电力，同时会产生大量热量，所以需要冷却系统。而且因为GPU数量多，它们必须互相连接，所以网络需求也很大。对，没错。不过目前GPT-4级别的规模用的还是标准化数据中心。现在我们往前看，去年大家搭建的集群规模有多大？其实差异很大，有的就是标准数据中心，只是把多个连起来用。

220:43

that it's roughly like 1200 to 1400 watts for everything networking CPUs memory blah blah blah.

整体功耗大概1200到1400瓦，包括网络、CPU、内存什么的乱七八糟的。

220:48

so we should also say so what's required you said power so a lot of power is required a lot of

所以我们也得说说需要什么——你提到电力，对，需要大量电力，大量……

220:55

heat is generated cooling is required and because there's a lot of GPUs they have to be or CPUs or

热量产生就需要冷却，而且因为GPU数量庞大（也可能是CPU或其他芯片），它们之间必须互联，所以网络布线量也很大，对吧？嗯，是的，抱歉。去年人们搭建的集群规模差异很大，对吧？有些就是标准数据中心，只是把多个连起来用——微软在亚利桑那州就是这么做的，他们搞了10万块GPU，对吧？Meta也类似，他们沿用现有的标准数据中心设计，外观像个H形，然后把多个连在一起。一开始他们先做了1.6万块GPU，总共2.4万块TGPU，所以还得备着些替换件随时插拔，现在一路做到10万块GPU了。

221:03

whatever they have to be connected so there's a lot of networking right yeah so i think yeah sorry

而且它们还得连起来，所以网络需求也很大，对吧？嗯，我觉得，抱歉，

221:08

for skipping past that and then the data center itself is like complicated right but these are

跳过这个部分，数据中心本身其实挺复杂的对吧，但这些仍然是标准化的数据中心，针对GPT-4的规模。现在我们往前推一步，看看去年大家搭建的集群规模有多大——范围其实很广，从“这些是标准数据中心，我们只是用了多个，然后用大量光纤把它们连在一起，加上很多网络设备”这种模式，这就是OpenAI和微软在亚利桑那州的做法。他们搞了大概10万块GPU对吧？Meta也类似，他们用了现有的标准数据中心设计，看起来像个H形，然后把多个连在一起。他们先是做了1.6万块GPU，总共2.4万块TGPU。

221:12

still standardized data centers for gpd4 scale right now we step forward to sort of what is the

目前还是标准化的数据中心，规模大概在GPT-4那个级别。现在我们往前推一步，看看去年大家建的集群规模有多大——范围其实很广。有的是标准数据中心，只是把多个连在一起用，比如微软在亚利桑那做的，他们有10万块GPU。Meta也类似，他们用了现有的标准数据中心设计，形状像个H，然后把多个连起来。一开始是1.6万块GPU，总共2.4万块（包括备用的，方便替换），现在一路做到10万块GPU，正在训练Llama，大概12.8万块左右。你想想看。

221:18

scale of clusters that people have built last year right and it ranges widely right it ranges from

去年大家建的集群规模差异很大，对吧。有的就是标准数据中心，只是把多个连起来用——比如微软在亚利桑那州的做法，他们搞了十万块GPU，Meta也类似。他们沿用现有的标准数据中心设计，外观像个H形，然后把多个连在一起。一开始先做了16000块GPU，总共24000块TGPU，这样就有备用的可以随时替换。到现在已经发展到十万块GPU，这个规模就更大了。说到这个话题，Elon还用了大量Tesla Mega Pack电池来让供电更稳定，还有其他各种配置。

221:24

like hey these are standard data centers and we're just using multiple of them and connecting them

就像“嘿，这些都是标准数据中心，我们只是把它们多个连在一起”。

221:29

together really with a ton of fiber between them a lot of networking etc that's what open AI and

它们之间靠大量光纤连接，再加上很多网络设备等等，这就是OpenAI和微软在亚利桑那州干的事对吧。他们搞了10万块GPU，Meta也差不多。Meta用了他们现有的标准数据中心设计，形状像个H，然后把多个这样的数据中心连在一起。他们先搞了1.6万块GPU，总共2.4万块TGPU，所以得留出备用的来替换，一路扩到现在10万块GPU，正在用来训练Llama，目前大概是12.8万块左右。你想想，10万块GPU，每块大概1400瓦，那就是140兆瓦、150兆瓦的功耗，12.8万块的话更夸张。所以你看，从15到20兆瓦一下子跳到了10倍。

221:33

Microsoft did in Arizona right and so they have a you know 100,000 GPUs right meta similar thing

微软在亚利桑那州就这么干的，对吧？他们有十万块GPU，Meta也类似。

221:38

they took their standard existing data center design and it looks like an H and they connected

他们用了现有的标准数据中心设计，形状像个H，然后把多个连在一起。

221:42

multiple them together and you know they got to they first did 16,000 GPUs 24,000 TGPUs total

他们先是搞了16000块GPU，总共24000块TGPU。

221:49

only 16 of them 1000 of them were running on the training run because GPUs are very unreliable

在训练过程中，1000块GPU里只有16块在跑，因为GPU非常不可靠，所以他们需要准备备用GPU来随时替换。到现在，他们训练Llama用的GPU数量已经达到10万块左右，目前大概是12.8万块。你想想看，10万块GPU，每块功耗大约1400瓦，那就是140兆瓦、150兆瓦。而128块GPU对应的功耗，你算算，从15到20兆瓦，一下子跳到了几乎10倍——差不多9倍——达到150兆瓦，这仅仅用了两年时间，从2022年到2024年。还有些人，比如Elon，他自己也承认，他进入大语言模型这个领域确实有点晚，XAI起步也比较晚。

221:53

so they need to have spares to like swap in and out all the way to like now 100,000 GPUs that

所以他们需要备件来不断替换，一直到现在十万块GPU的规模——这个规模甚至更大了对吧。所以你看，埃隆就顺着这个话题，用了大量特斯拉的Megapack电池来让供电更平稳，还有其他各种东西。他搞了Stargate，在亚利桑那州，还有德克萨斯州的阿比林，至少他们公开宣布了这些。对吧，还没建好呢。埃隆说他们没钱，你知道的，这方面有些争议。但到了满规模的时候——至少第一期工程的钱肯定是到位了的，不过芯片还没交付。现在这个规模太离谱了，2.2吉瓦比大多数城市用电量还大。这些模型既要搞pre training，又要搞post training，所有这些事情，对吧，简直疯狂。

221:57

they're training on llama for on currently right like 128,000 or so right this is you know think about

他们现在正在用Llama训练，大概12.8万左右吧，你想想看，这个规模其实还要更大。说到规模，Elon为了继续这个话题，用了好多Tesla Mega Pack电池组来让供电更平稳，还搞了各种疯狂的东西，就是为了把集群越做越大。但你看OpenAI搞的Stargate，那个在亚利桑那，还有德州的Abilene——至少他们公布的是这样。现在还没建好，Elon说他们没钱，这方面也有些争议。但到了满规模的时候，至少第一阶段资金是到位了的。芯片已经交付了，这规模简直离谱，2.2吉瓦比大多数城市用电量还大。

222:02

100,000 GPUs with roughly 1400 watts a piece that's that's that's 140 megawatts 150 megawatts right

10万块GPU，每块大概1400瓦，那就是140兆瓦、150兆瓦的样子

222:11

for 128 that right so you're talking about you've jumped from 15 to 20 megawatts to 10x you know

对，128兆瓦，所以你看，从15到20兆瓦一下子跳到了10倍

222:17

almost 10x that number 9x that number to 150 megawatts in in two years right from 2022 to 2024

从2022年到2024年，两年内从那个数字翻了将近10倍，9倍，达到了150兆瓦。

222:24

right and some people like Elon that he admittedly right and he says himself got into the game a

对，而且像Elon这样的人，他自己也承认，他进入大语言模型这个领域确实有点晚，XAI起步得比较晚。

222:29

little bit late for portraying large language models right XAI was started later right but then

但他搞了20万块GPU，他在孟菲斯买了个工厂，同时还在升级变电站，还弄了一堆移动发电设备，还有单循环联合发电机组，他直接接上了工厂旁边的天然气管道，大量烧气发电。

222:34

he we bet heaven and hell to get his data center up and get the largest cluster in the world right

他拼了老命才把他的数据中心建起来，搞出了全球最大的集群，对吧——就是那个20万块GPU的集群。他真做到了，在孟菲斯买了个工厂，一边升级变电站，一边搞了一堆移动发电设备，还有一堆单循环联合发电机组。他直接接上了工厂旁边那条天然气管道，疯狂抽气、烧气、发电。那个工厂原本是个老旧的电器厂，早就倒闭搬到中国去了，对吧？你懂的。然后他就往里面塞了20万块GPU。那下一步的规模是什么？所有超大规模玩家现在都这么干了，下一步的规模只会更大，对吧？所以你看，埃隆，咱们就接着聊这个话题。

222:38

which is 200,000 GPUs and and and he did that he bought a factory in Memphis he he's upgrading

他在一个旧家电工厂里——那个工厂早就倒闭了，生产线搬到中国去了——然后他搞了20万块GPU。

222:45

the substation at the same time he's got a bunch of mobile power generation a bunch of single

同时他还搞了一堆移动发电设备，一堆单循环机组，接上了工厂旁边那条天然气管道

222:49

cycle combine he tapped the natural gas line that's right next to the factory and he's just pulling

他就在那儿大量烧气、发电，工厂本身是个老旧的电器厂，早就倒闭搬到中国去了

222:54

a ton of gas burning gas he's generating all this power he's in a factory and an old appliance

而且他还有20万块GPU，规模更大

222:59

factory that shut down and moved to China long ago right like you know and and and he's got 200,000

说到这个，Elon还搞了一堆Tesla Mega Pack电池，让供电更平稳，还有其他各种东西

223:04

GPUs in it and now what's the next scale right like all the hyperscales have done this now the next

里面的 GPU 现在有了，那下一步的规模是什么？所有那些超大规模玩家都已经做到这一步了，下一步的规模肯定更大。就拿 Elon 来说吧，还是聊这个话题，他用了大量 Tesla Mega Pack 电池来让供电更平稳，还搞了工业冷水机来冷却水，因为他用的是水冷芯片——所有这些疯狂的操作都是为了把集群越做越大。但你再看看 OpenAI 做的 Stargate，那个在亚利桑那州，还有在德克萨斯州阿比林的那个项目，至少他们对外公布的是这样。不过还没建起来呢，Elon 说他们没钱，这方面有些争议。但至少第一期工程，资金肯定是到位了的。

223:08

scale is is is something that's even bigger right and so you know Elon just to stick on the topic

规模这个东西其实比那还要大得多，对吧，所以咱们就顺着这个话题聊，Elon

223:13

he's he's building his own natural gas plant like a proper one right next door he's he's deploying

他正在自己建一座天然气发电厂，就是那种正经的，就在旁边。他还部署了大量特斯拉的Megapack电池，让电力输出更平稳，还搞了工业冷水机来降温，因为他是用水冷给芯片散热。所有这些疯狂的操作，都是为了把集群越搞越大。但你看OpenAI搞的Stargate项目，那个在亚利桑那州，还有德克萨斯州的Abilene，至少他们公布的是这样，对吧？实际上还没建好。Elon说他们没钱，你知道这事儿有些争议。但按满规模算，至少第一期资金肯定是到位了，不过还有好几期。满规模的话，那个数据中心要耗电2.2吉瓦，也就是2200兆瓦。

223:19

tons of Tesla mega pack batteries to make the power more smooth and all sorts of other things he's got

他搞了一堆特斯拉的Mega Pack电池组来让供电更平稳，还有其他各种东西

223:24

like industrial chillers to cool the water down because he's water cooling the chips so all these

比如用工业冷水机来给水降温，因为他用的是水冷芯片，所以搞了这些疯狂的操作，就为了让集群越来越大。但你看OpenAI搞的Stargate项目，在亚利桑那州，还有德克萨斯州的阿比林——至少他们对外宣布的是这样，对吧？实际上还没建好。Elon说他们没钱，这方面也有些争议。但全规模下，至少第一阶段资金肯定是到位了的。不过落实到芯片上，现在这个规模简直离谱——2.2吉瓦，比大多数城市用电量还大。你要知道，这是输送到一个单一集群，用来做训练的，连接起来跑预训练、后训练这些所有流程，这太疯狂了。

223:30

crazy things to get the clusters bigger and bigger but when you look at like say what OpenAI did with

为了把集群做得越来越大，大家真是拼了。但你看OpenAI搞的Stargate项目，在亚利桑那还是德克萨斯阿比林那边——至少他们公开宣布的是这样，对吧？其实还没建起来。马斯克说他们没钱，这事儿还有些争议。但全规模下，至少第一阶段资金肯定是到位了，不过现在芯片交付才是关键。这个规模太离谱了，2.2吉瓦，比大多数城市用电量还大。这些模型既要pre-training又要post-training，所有这些东西，规模简直疯狂。xAI也有自己的规模计划，所有那些在赛跑的公司都在继续推进。但某种程度上，还有所有这些post-training的工作，比如你要搞一个RL沙盒。

223:36

Stargate that's that in Arizona in in out Abilene Texas right what they've announced at least

Stargate，那个在亚利桑那州，还有德克萨斯州的Abilene，对吧，至少他们公开宣布的是这样

223:43

right it's not built right Elon says they don't have the money you know there's some debates about

不过还没建起来呢，Elon说他们没钱，你知道，关于这个有不少争议

223:47

this but at full scale at least the first section is like definitely money's accounted for but

但到了满规模的时候，至少第一期工程的钱肯定是有着落的

223:52

there's multiple sections but full scale that data center is going to be 2.2 gigawatts right 2,200

有好几个区域，但那个数据中心的满负荷规模会达到2.2 gigawatts，对，2200兆瓦直接送到芯片上。现在这个规模简直离谱，2.2 gigawatts比大多数城市用电量还大，你懂吧。明确一下，这是送到一个单一集群的，用来做训练，训练这些模型，包括pre training和post training所有这些环节，太疯狂了。这相当于一个核电站。而且大家都在这么做，对吧？所有人都在搞。Meta，Meta在路易斯安那州，他们正在建两座大型天然气发电厂，然后还要建一个巨大的数据中心。Amazon也有这种规模的计划，Google也有，x AI也有。所有这些公司，那些在赛跑的公司，都在搞。

223:57

megawatts of power in and roughly like 1.8 gigawatts or 1800 mega mega yeah 1800 megawatts of power

数兆瓦的电力输入，大概1.8吉瓦，也就是1800兆瓦——对，1800兆瓦的电力直接输送到芯片上。现在这个规模简直离谱，2.2吉瓦比大多数城市的用电量还大。你要知道，这是输送到单个集群，用来做训练的——训练这些模型，包括pre-training、post-training，所有这些东西，太疯狂了。这相当于一个核电站的规模。而且大家都在这么做，真的，所有人都在搞。Meta，Meta在路易斯安那州，正在建两座大型天然气发电厂，然后还要建一个超大规模的数据中心。Amazon也有这个规模的计划，Google也有，xAI也有。所有这些公司，这些正在赛跑的公司——

224:05

delivered to chips right now this is an absurd scale 2.2 gigawatts is like more than most cities right

不过芯片已经交付了，现在这个规模简直离谱，2.2吉瓦比大多数城市用电量还大，对吧

224:12

you know to be clear delivered to a single cluster that's connected to do training right to train

你要知道，明确来说，就是把这些东西都送到一个连在一起的集群上，用来做训练，对吧？训练这些模型，既要搞pre-training，也要搞post-training，所有这些事情，规模简直疯狂。X AI对规模是有规划的，对吧？所有这些家伙，那些在赛跑的公司，某种程度上还在继续，但除此之外，还有所有这些post-training的东西，比如你搞一个RL沙盒，用来模拟电脑操作之类的，对吧？你知道，这就是他们未来的方向，还有那些可验证、有价值的领域，模型就在那里不断学习、不断学习、不断学习，自我博弈，随便什么方式，都能让AI变得更强大，因为那条线确实在往上走，对吧？但当你投入更多资源时，回报是递减的，对吧？你把算力提升10倍，模型并不会好10倍，对吧？你得到的是递减的回报。

224:19

these models to do both the pre training the post training all of this stuff right this insane

这些模型既要处理预训练，又要处理后训练，所有这些环节，简直疯狂。

224:23

this is a nuclear power plant again everyone is doing this right everyone is doing it right meta meta

这简直就像在搞核电站，所有人都在这么干，对吧？所有人都在这么干。Meta，Meta。

224:28

in Louisiana right they're building two natural gas plants massive ones and they're and then they're

在路易斯安那州，他们正在建两座大型天然气发电厂，规模巨大，然后还要建一个超大规模的数据中心。亚马逊有这种规模的计划，谷歌也有，X AI也有，对吧？所有这些公司都在竞速，那些持续投入的公司。

224:34

building this massive data center Amazon has like plans for this scale Google has plans for this

但某种程度上，还有所有这些后训练（post training）的东西，比如你有一个用于计算机操作的强化学习沙盒（RL sandbox），或者别的什么，对吧？你知道，这就是他们未来的方向。还有那些可验证、有价值的领域，它们不断学习、学习、再学习，自我博弈（self play），不管是什么，都让AI变得更强大，因为随着你投入更多，那条曲线确实在上升。

224:40

scale X AI has plans for the scale right like all of these the guys that are racing the companies that

Scale X AI 有自己的扩展计划，对吧，所有那些正在赛跑的公司都在继续推进，但某种程度上，还有所有这些后训练的东西，比如你有一个 RL 沙盒，在那些可验证、有价值的领域里，它们就不断学习、学习、学习，自我对弈什么的，不管是什么，把 AI 混合得能力更强，因为那条线确实在往上走，对吧，但当你投入更多时，回报会递减，对吧，你算力提升十倍，模型并不会好十倍，而是递减的。实际上，生成它也很慢，因为电网建设太慢了，而电力需求、建设电力的能力，比如重新启动天然气发电厂甚至燃煤电厂，这里面有各种疯狂的二阶效应，尤其是在电网支持方面。

224:47

are racing are racing hard and they're doing multi gigawatt data centers right to build this out because

大家都在拼命往前冲，正在建设多吉瓦级的数据中心来推进这件事，因为他们觉得——你看，预训练阶段的scaling显然还会继续，但到一定程度后，更重要的是所有这些post training的东西，比如搞一个RL沙盒让AI学会用电脑之类的。你知道，这就是他们未来的方向，还有那些可验证、有价值的领域，AI可以不断学习、不断自我对弈，不管用什么方式，都能让AI变得更强大。因为只要你投入更多compute，性能就会提升，这本质上就是scaling laws。不过某种程度上，收益是递减的——你投入10倍的compute，并不能得到10倍更好的模型，而是递减的回报。

224:53

they they think that yeah if I if I now have you know obviously pre training scaling is going to

他们认为，嗯，如果现在预训练 scaling 当然还会继续，但某种程度上，还有所有这些后训练的东西，比如给计算机使用搞个 RL 沙盒之类的，对吧。你知道，这就是他们未来的方向，还有那些可验证、有价值的领域，模型就在里面不断学习、学习、再学习，自我对弈什么的，不管具体是什么，都让 AI 变得更强，因为随着你投入更多算力，性能确实在提升，对吧。这篇论文讲的是 scaling laws，但某种程度上，收益是递减的，对吧。你算力提升10倍，模型并不会好10倍，而是收益递减。这些中心正在对网络造成很大破坏，对吧。

224:58

continue but to some extent but then also all this post training stuff where you have a RL sandbox

虽然在一定程度上会持续，但还有所有这些后训练的内容，比如你有一个RL沙盒环境。

225:02

for computer use or whatever right like you know this is where they're going to and all these

用于计算机操作之类的场景，对吧，你知道这就是他们正在推进的方向，还有所有这些可验证且有价值的领域，他们就是不停地学习、学习、再学习，自我对弈什么的，不管是什么，都让AI变得更加强大，因为那条曲线确实在上升，对吧，当你投入更多资源时，收益递减，对吧，你增加10倍的计算量，并不会得到10倍更好的模型，对吧，你得到的其实是递减的收益。实际上，生成它本身就有问题，因为电网建设太慢了，而且对电力的需求以及建设电力的能力，比如重新启动一个天然气发电厂甚至燃煤电厂，这背后有各种各样疯狂的二阶效应，都体现在电网支持上。到年底的时候，特朗普又发布了一些行政命令，希望能减少这些影响。

225:06

verifiable valuable domains where they just keep learning and learning and learning self play whatever

在可验证、有价值的领域里，它们就是不停地学、学、学，自我对弈什么的。

225:09

whatever it is mix the AI so much more capable because the line does go up right as you throw more

不管具体是什么，这让AI的能力强大了太多，因为那条曲线确实在往上走，但当你投入更多资源时。

225:15

compute you get more performance the shirt is about scaling laws you know to some extent it is

算力投入越大，性能提升越明显——这跟scaling laws有关，但某种程度上也是边际效益递减，对吧？你算力翻10倍，模型并不会好10倍，而是收益递减。数据中心正在对网络造成各种破坏，你懂的。再看看人才市场，薪资简直飞涨，他们正在那儿建一个巨大的多吉瓦级数据中心。你顺着名单往下看，影响太多了。有意思的是，美国某些地区输电成本比发电成本还高，因为电网建设太慢了，而电力需求、发电能力建设，以及重启天然气电厂甚至煤电厂的难度，都摆在那儿。

225:20

diminishing returns right you 10x the compute you don't get 10x better model right you get a diminishing

收益递减，对吧？你算力提升10倍，模型并不会好10倍，而是会得到递减的回报。

225:24

returns but also you get efficiency improvements so you bend the curve right and these scale of data

但同时也带来了效率提升，所以你就能把曲线往下压。而这些大规模的数据中心，你知道，确实对网络造成了很大的破坏。而且，Nathan 之前提到过，Amazon 试图买下那个核电厂的团队。如果你看看那个团队的股票，简直是一飞冲天。他们正在那里建一个巨大的、多吉瓦级别的数据中心。你往下数，还有太多连锁反应了。有意思的是，美国某些地区输电的成本比发电还高，因为电网建设太慢了。而电力需求、发电能力建设，以及重新启动天然气电厂甚至煤电厂的速度，都慢得离谱。

225:29

centers are doing you know reaking you know a lot of like havoc on the network right and you know

数据中心你知道，正在对网络造成很大的破坏，对吧，而且

225:35

you know Nathan was mentioning there's Amazon has tried to buy this nuclear power plant talent

Nathan提到亚马逊试图收购核电人才，如果你看看人才市场的股价，简直在飙升，他们正在那里建设一个巨大的多吉瓦级数据中心。你往下数，会有太多连锁反应。有趣的是，美国某些地区输电成本甚至高于发电成本，对吧？因为电网建设太慢，而电力需求、发电能力建设，以及重启天然气电厂甚至煤电厂的难度——比如在弗吉尼亚，输电成本比发电成本还高。你知道，这里在电网支撑方面有各种疯狂的二阶效应。

225:40

and if you look at talent stock it's just like skyrocketing and you know like they're building a

如果你看看Talent Stock，股价简直在飙升，他们正在那里建一个巨大的多吉瓦级数据中心，而且你往下看，还有太多连锁反应

225:45

massive multi gigawatt data center there and you know you just go down the list there's so many

有意思的是，美国某些地区传输电力的成本比实际发电还高，对吧，因为电网建设太慢了，而电力需求以及建设电力的能力，比如重启天然气电厂甚至煤电厂，都有一大堆疯狂的二阶效应在电网支撑方面

225:48

ramifications interesting thing is like certain regions of the US transmitting power cost more than

到年底，但特朗普又签了一些行政令，希望能减少这些

225:55

actually generating it right because the grid is so slow to build and the demand for power and

实际上，生成它本身就很难，因为电网建设太慢，而电力需求以及建设电力设施的能力，比如重新启动天然气电厂甚至煤电厂。

226:00

the ability to build power and like re ramping on a natural gas plant or even a coal plant is like

这里面有各种各样的二阶效应，在电网支持方面简直疯狂。

226:04

easy enough to do but like transmitting the powers really hard so in some parts of the US

做起来倒是不难，但传输电力就非常困难了。比如在美国某些地方，像弗吉尼亚州，输电成本甚至比发电成本还高，这你想想看。这里面有各种疯狂的第二阶效应，都体现在支撑这种增长的电力基础设施上。你知道，Trump 有行政命令，Biden 在年底前也有过行政命令，但后来 Trump 又签了一些新的行政命令，希望能减少监管，让项目能顺利建设。但没错，这确实是个巨大的挑战——要足够快地建设足够的电力。难道你要在每个数据中心旁边都建一个核电站吗？有意思的地方在于，建发电站的速度太慢了，根本赶不上建数据中心的速度。

226:09

like in Virginia it cost more to transmit power than it cost to generate it which is like you know

在弗吉尼亚州，输电的成本比发电还高，这你懂的。电力基础设施这边有各种疯狂的二阶效应。到年底吧，但特朗普又签了一些行政令，希望能减少监管，让东西能建起来。但没错，这确实是个巨大的挑战——要建足够多的电，还得建得够快。你是不是打算在每个数据中心旁边都搞个核电站？有意思的地方在于，建电厂的速度太慢了。你总不能告诉我，我花了几百亿美元买GPU，结果因为电没发出来就让它们闲置吧？电其实挺便宜的，你要是看看成本的话——

226:13

there's there's all sorts of like second order effects that are insane here in the power grid support

这里面还有各种二阶效应，在电网支撑方面简直疯狂

226:17

this kind of growth you know Trump's executive orders there's there's a Biden executive order before

这种增长，你知道，特朗普的行政命令，之前拜登也有一个行政命令，是在年底前发布的。但后来特朗普又签了一些行政命令，希望能减少监管，让东西能顺利建起来。但没错，这确实是个巨大的挑战——就是能不能足够快地建出足够的电力。你基本上是要在每个数据中心旁边都建一个核电站吗？所以有意思的地方在于，建发电厂太慢了。你总不能告诉我，我要花几百亿美元买GPU，然后让它们闲置着，因为电还没发出来吧？其实电本身很便宜，你看一个集群的成本，电力只占不到20%，大部分都是资本成本和折旧。

226:22

the end of the year but then Trump had some more executive orders which hopefully reduce the

年底了，但特朗普又签了一些行政令，希望能减少这些情况。

226:26

regulations to where yes things can be built but yeah this is a big big challenge right is building

法规方面，是的，东西可以建，但这确实是个巨大的挑战——就是得建足够多的电力，而且速度要够快。你基本上得在每个数据中心旁边配一个核电站，每个都这样。所以有意思的地方在于，建发电站的速度太慢了。你跟我说，我要花几百亿美元买GPU，然后让它们闲置着，因为电还没发出来？其实电本身很便宜，对吧？如果你看看另一个不同的相关因素，比如把这两者叠加起来，再加上一大块电池，再配一点天然气，是有可能让它更环保地运行的。PPA（购电协议）里会有大规模的风电场或太阳能电场，不管建在哪里。

226:32

enough power fast enough are you gonna basically have a nuclear power plant next to a data center for

足够的电力要够快，你是打算在每个数据中心旁边都建一座核电站吗？有意思的是，建发电站的速度根本跟不上——你总不能告诉我，我花了几百亿美元买GPU，结果因为电力没到位让它们闲置吧？电力本身其实很便宜。如果你把这两者叠加起来，再加上一大块电池和少量天然气，是有可能实现更绿色运行的。通过PPA（购电协议），比如在某个地方建一个大型风电场或太阳能电站，实际上他们在这里支付电费，卖给电网，然后从电网买电。

226:37

each one of these so so the fun thing here is this is too slow to build the power plant to build a power

有意思的是，建发电厂的速度太慢了，根本跟不上。

226:44

plant or to reconfigure an existing power plant is too slow and so therefore you must use

新建或改造现有发电厂的速度太慢了，所以你必须用——

226:50

natural data center power consumption is flat right you know I mean like it's like this is why

自然状态下的数据中心功耗是平稳的，你懂我意思吧，这就是为什么——

226:53

nuclear is also good for it like long term nuclear is a very natural fit but yeah you distort you

核电长期来看也很合适，核电是非常自然的匹配，但短期内你没法用太阳能或任何类似的东西，因为数据中心功耗曲线是这样的——

226:59

can't do solar or there anything in the short term like that because data center powers like this right

你总不能告诉我，我砸了几百亿美元买GPU，然后让它们闲置着，就因为电没发出来吧？电其实很便宜，你看一个集群的成本，不到20%是电费，大部分是GPU的资本成本和折旧。所以就想，算了，我就直接建天然气发电吧。

227:04

like you're telling me you know I'm gonna buy tens of billions of dollars of GPUs and idle them

你是说，我要花几百亿美元买GPU，然后让它们闲置？

227:09

because the power's not being generated like powers cheap right like if you look at the cost of a

因为电力没跟上，而电本身其实很便宜，对吧？

227:12

cluster less than 20% of it is power right most of it is the capital cost and depreciation of the

集群中不到20%是电力成本，大部分其实是资本支出和折旧。

227:18

GPUs right and so it's like well screw it I'll just like you know I'll just build natural gas

GPU 嘛，所以就像，算了不管了，我干脆自己建天然气发电站得了。

227:22

plants is what meta is doing in Louisiana this is what open AI is doing in in Texas and like all

Meta 在路易斯安那州搞的那个 plants，OpenAI 在德克萨斯州也在搞，还有各种不同的地方——他们可能不是自己直接搞，而是跟别人合作。所以这里头有几种期望，对吧。比如 Elon 在孟菲斯搞的那个，就特别极端：他不光用那种超高效的 dual combine cycle gas，还直接用 single cycle 和 mobile generators 之类的，效率低一些。但反过来也有另一种思路，就是太阳能发电是这样，风能又是另一种不同的相关因素。所以如果你把这两者叠加起来，再加上一大块电池，再配一点天然气，其实是有可能让运行更绿色的。

227:27

these different places they may not be doing it directly but they are partnered with someone and so

这些不同的地方，他们可能不是直接在做，但都跟某个合作伙伴一起搞。

227:32

there is a couple hopes right like one is you know in Elon what he's doing in Memphis is like you know

所以其实有几种希望，比如马斯克在孟菲斯搞的那个，就是极端案例——他不仅用了联合循环燃气轮机（那种效率超高），还直接上了单循环机组，甚至移动发电机之类的，效率虽然低一些，但你也知道。

227:37

to the extreme they're not just using dual combine cycle gas which is like super efficient he's also

反过来也有另一种思路：太阳能发电是这样，风能又是另一种不同的相关模式。所以如果你把这两者叠加起来，再加上一大块电池储能，再配一点天然气，其实是有可能让运行更绿色的。

227:42

just using single cycle and like mobile generators and stuff which is less efficient but he's you

只用单循环发电和移动发电机这类效率较低的方式，但你知道，反过来也有好处——比如太阳能发电是这样的曲线，风能又是另一种不同的相关曲线。所以如果你把两者叠加，再加上一大块电池储能，再配一点天然气，就有可能实现更绿色的运行。

227:47

know there's also like the flip side which is like solar power generation is like this and wind is

PPA（购电协议）就是那种，比如在某个地方建一个超大的风电场或太阳能农场，然后他们假装那些电子被数据中心消耗了，但实际上他们在这里支付电费，把电卖给电网，再从那里买电。

227:52

another like this different correlate you know different so if you stack both of those plus you

如果你看看成本，另一个不同的相关因素，你懂的，不一样。

227:56

get a big chunk of batteries plus you have a little bit of gas it is possible to run it more green

所以如果你把这两者叠加，再加上一大块电池，再加一点天然气，就有可能让运行更绿色。

228:02

it's just the timescales for that is slow right so people are trying but you know meta basically said

只是这个时间尺度很慢，所以大家也在尝试，但你知道Meta基本上就是说，管它呢，不在乎我的可持续发展承诺了，或者他们会买一种叫PPA的东西，就是购电协议，比如在某个地方建一个巨大的风电场或太阳能农场，然后假装那些电子都被数据中心消耗了，但实际上他们在这里付电费，把电卖给电网，又在那里买电。还有一件事，就是微软放弃了一些可持续发展承诺，对吧。马斯克在孟菲斯干的事，客观上说确实有点脏，但他做这件事的地方，旁边就有一个更大的天然气发电厂，还有一个下水道——哦不对，不是下水道。

228:09

whatever don't care about my sustainability pledge or they'll buy like a part power it's called a

管它什么可持续发展承诺，他们就会买一种叫PPA的东西，也就是购电协议，比如在某个地方建个巨大的风电场或太阳能农场，然后假装那些电子都被数据中心消耗了。但实际上，他们在这边付电费卖给电网，又从那边买电。还有一件事，微软不是也放弃了一些可持续发展承诺吗？马斯克在孟菲斯干的事，客观上说确实有点脏，但他选的地方旁边就有一个更大的天然气发电厂，还有个下水道——不对，不是下水道，反正比那个数据中心造成的污染要干净多了。所以我觉得这没什么问题。

228:13

ppa power purchasing agreement where there'll be a massive wind farm or solar farm like wherever

PPA（购电协议），就是那种大规模的风电场或太阳能电场，不管在哪。

228:18

and then they'll just pretend like those electrons are being consumed by the data center but in

然后他们就会假装那些电子是被数据中心消耗掉的，但实际上他们是在这里付电费，然后卖给电网，再在那里买电——这比单个数据中心能做的要清洁得多。所以我觉得建数据中心没什么问题，因为你知道，所有东西都得运转起来，真正做那些像系统管理、机器学习之类激动人心的事情的是人。但说到底，真正维持一切运转的，是那些懂底层软件和硬件的人，他们负责网络、所有这些东西。所以你得确保有相应的流程，还有冷却和电力系统——这些往往被一笔带过。是啊，但我觉得，就像……

228:21

reality they're paying for the power here and selling it to the grid and they're buying power here

实际上，他们在这里支付电费，卖给电网，然后又在别处买电。

228:25

and then another thing is like Microsoft quit on some of their sustainability pledges right

然后还有一件事，就是微软放弃了一些可持续发展承诺对吧。

228:30

Elon he what he did with Memphis is objectively somewhat dirty but he's also doing it in an area where

Elon 在孟菲斯干的事客观上确实有点脏，但他是在一个旁边就有更大天然气厂的地方搞的，而且旁边还有个下水道——不对，不是下水道——反正比那个数据中心干净多了，所以我觉得问题不大。

228:35

there's like a bigger natural gas plant right next door and like a sewer next or not a sewer but

关于建数据中心这事，你得知道，所有东西都得运转起来，真正让人兴奋的是那些做系统管理、机器学习的人，但说到底，真正维持一切运转的，是那些懂底层软件和硬件的人，懂网络、懂所有这些东西的人。所以你必须得有完善的流程。

228:40

like a wastewater treatment and a garbage dump nearby right and and he's he's obviously made the

就像旁边有个污水处理厂和垃圾场，对吧？他显然让世界比那个数据中心要干净得多。所以我觉得某种程度上这没什么问题，也许AGI能解决全球变暖之类的问题，管它是什么呢。你知道，实验室里的人大概就是这种态度：是啊，用天然气挺好的，因为这场竞赛太重要了，要是输了，那后果可严重得多。我得说，你去过孟菲斯的数据中心，那地方简直不可思议。我和埃隆一起参观过，团队和创新的速度都疯狂极了，因为据我所知，从来没人搞过这么大规模的东西。

228:44

world a lot more clean than that one data center is going to do right so I think like it's fine

这个世界比那个数据中心能做的要干净得多，所以我觉得这没问题。

228:49

to some extent and maybe AGI solves you know global warming and stuff right whatever it is

某种程度上，也许AGI真能解决全球变暖之类的问题，管它是什么呢。

228:54

you know this is this is sort of the attitude that people at the lab have right which is like

你知道，这大概就是实验室里那些人现在的态度——

228:58

yeah it's great we'll just use gas right because the race is that important and if we lose we you

“是啊，挺好的，我们直接用天然气呗，因为这场竞赛太重要了，要是输了，那后果可严重多了。”

229:02

know that's way worse right I should say that I got you have to visit the Memphis data center

我得说，你得去参观一下孟菲斯的数据中心，那地方简直不可思议。

229:08

and it's kind of incredible I mean I visited with Elon just the teams and the rate of innovation

我跟Elon一起去的，看了团队，那里的创新速度简直疯狂。

229:17

there's insane because my sense is that you know nobody's ever done anything of this scale

因为我的感觉是，从来没人做过这种规模的事——

229:23

and nobody has certainly ever done anything of this scale at the rate that AGI is doing so they're

而且绝对没有人像AGI这样，以这种速度搞过这么大规模的东西，所以他们现在基本上就是在摸索——我意思是，他们全程参与所有会议，一起头脑风暴，这简直太疯狂了，但也特别令人兴奋。因为他们正在试图找出瓶颈在哪里，怎么消除这些瓶颈，怎么确保——你知道的，搭建数据中心有太多酷炫的地方了，因为所有东西都必须协同工作。真正让人激动的是那些做系统管理、机器学习的人，诸如此类。但实际上，掌控全局的是那些懂底层软件和硬件的人，那些负责网络和所有基础设施的人。所以你必须确保有完善的流程。

229:29

like figuring out I mean it's all sitting in on all these meetings with their brainstorming it's

他们得搞清楚各种问题，我全程参与了那些头脑风暴会议，

229:35

it's insane it's exciting because they're like they're trying to figure out what the bottlenecks are

太疯狂了，也太激动人心了，因为他们正在拼命找出瓶颈在哪里。

229:40

how to remove the bottlenecks how to make sure that you know there's just so many really cool things

如何消除瓶颈，如何确保——你知道的，搭建数据中心有太多真正酷的事情，因为一切都要协同工作。做系统管理的人、搞机器学习的人，这些是激动人心的部分，但真正掌控全局的，是那些懂底层软件和硬件、懂网络、懂一切运行机制的人。所以你必须确保有完善的流程，但他们用的是Nvidia Spectrum X以太网。我觉得，真正的无名英雄其实是冷却和电力系统，这些往往被轻描淡写地忽略了。不过，有一个故事或许能说明这玩意儿有多疯狂：当你正在训练模型的时候——

229:45

about putting together data center because you know everything has to work it's the people that do

关于建数据中心这事儿，你得知道所有东西都得运转起来，真正干活的是人。

229:53

like the sys admin you know the machine learning all that is the exciting things so on but really the

比如系统管理员，机器学习那些听起来很酷，但真正让一切跑起来的是那些懂底层软件和硬件的人。

229:58

people that run everything are the the folks that know like the low level software and hardware

网络、所有这些东西，都得有流程。

230:05

that runs everything the networking all of that and so you have to like make sure you have procedures

冷却和电力系统这些，大家往往就一笔带过了。

230:11

that test everything I think they're using ethernet I don't know how they're doing the networking

那个测试所有东西，我觉得他们用的是以太网，我不知道他们具体怎么做网络连接的，但他们用的是Nvidia Spectrum X以太网。其实我觉得，嗯，真正的无名英雄是冷却和电力系统，这些往往被一笔带过。对，但我觉得有个故事能说明这东西有多疯狂：当你训练模型的时候，对吧，你一直在做——用最简单的话说，就是反复跑模型，然后你要交换所有数据并同步权重。所以你会做一个step，这就是模型训练中的一个step，对吧？每个step你的loss都会下降，希望如此，虽然不总是这样，但你知道，最简单地说，你就是在做这个。

230:14

but they're using Nvidia Spectrum X ethernet there's actually like I think yeah the unsung heroes are

但他们用的是Nvidia Spectrum X以太网，我觉得吧，真正的无名英雄其实是冷却和电力系统，这些往往被一笔带过。不过有个故事特别能说明这玩意儿有多疯狂：训练模型的时候，你要反复跑模型，然后交换数据、同步权重对吧？这一步就是模型训练里的一个step，每个step你的loss都会下降——希望如此，虽然不总是这样，但简单来说就是——GPU计算时的功耗会很高，但交换权重的时候，如果你没法让通信和计算重叠起来...

230:20

the cooling and electrical systems which are just like glossed over yeah but I think like like one

但我觉得，比如你反复跑模型，然后要交换数据、同步权重，对吧？

230:26

story that maybe is like exemplifies how insane this stuff is is when you're training right you're

有个例子能说明这东西有多疯狂：训练的时候，你不断把数据跑进模型，然后要交换所有东西、同步权重，对吧？这就是模型训练里的一个step。每个step你的loss都会下降，希望如此——虽然不总是这样，但简单来说，你的功耗会降一些，但幅度不大。所以你在用GPU算的时候功耗很高，但交换权重的时候，如果你没法把通信和计算重叠起来，功耗就会低很多。你知道Elon刚搞的那个水冷规模吗？下一代Nvidia最高端的NGPU，水冷是强制性的，你必须用水冷。

230:33

always doing you're you're you're running through the model a bunch right in the most simplistic

你一直在反复跑模型对吧，用最简单的话说，就是反复跑模型，然后你要交换所有东西，同步权重。所以你会做一个步骤，这就像是模型训练中的一个step，每一步你的loss都会下降，希望如此——虽然不总是这样，但简单来说，你的功耗会高一些，但也没高太多。所以当你用GPU计算的时候，功耗就在这里。但当你交换权重的时候，如果你不能完美地重叠通信和计算，可能会有一段时间你的GPU就闲置着，你只是在交换权重，然后你想，嘿，模型在更新，所以你交换梯度，做模型更新。

230:36

terms running through the model a bunch and then your you're gonna exchange everything and synchronize

这就是模型训练中的一个step。

230:42

the weights right so you'll do you'll do a step this is like a step in model training right and every

权重的部分，对吧，你会做一步，这就像是模型训练中的一步，对吧，每一步

230:45

step your loss goes down hopefully and it doesn't always but you know the simplest terms you'll be

你的损失函数会下降，希望如此，但也不总是这样。简单来说，你的功耗会更高，但整体少很多。所以当你用GPU计算时，功耗在这里，但如果你在交换权重时无法重叠通信和计算……你见过Elon现在搞的那种规模的水冷系统吗？下一代Nvidia的，对于最高端的NGPU，水冷是强制性的，你必须用水冷。那些水冷机，基本上看起来就像半挂卡车的集装箱一样，就放在外面，90个不同的容器，里面装着水，用来冷却水，再把水送回数据中心，然后分配到所有芯片上，把热量带走。

230:50

computing a lot and then you'll exchange right the interesting thing is GPU powers most of it networking

大量计算之后，就要进行交换。有意思的是，大部分计算靠GPU，网络也占一部分，但少得多。所以你在计算的时候，GPU的功耗是拉满的，但当你交换权重时，如果通信和计算没法完美重叠，就会有一段空档期，GPU完全闲置，只是在交换权重。这时候模型在更新，你在交换梯度、做模型更新，然后又开始训练，功耗就跟着上上下下，非常尖峰。搞笑的是，当你讨论数据中心的功耗规模时，真的很容易搞出事故。所以有人其实不小心把上游的什么东西给搞炸了。

230:54

powers some but it's a lot less but so while you're computing your power for your GPUs is here

功耗会高一些，但少很多，所以当你为GPU计算功耗时，这部分在这里

230:59

but then when you're exchanging weights if you're not able to overlap communications and compute

但当你交换权重时，如果你无法重叠通信和计算

231:03

perfectly there may be a time period where your GPUs are just idle and you're exchanging weights

完美情况下，可能会有一段时间你的GPU完全闲置，只是在交换权重。

231:07

and you're like hey the model's updating so you're exchanging the radiance you do the model update

然后你会说，嘿，模型在更新，所以你在交换辐射数据，做模型更新。

231:11

and then you you start training again so the power goes right and it's super spiky and so

然后你重新开始训练，功耗就会瞬间飙升，波动非常剧烈。

231:17

funnily enough right like this when you talk about the scale of data center power right you can blow

有意思的是，当你讨论数据中心功耗规模的时候，很容易搞出事故。所以Meta其实无意中开源了某种方案——通过交换权重，让GPU直接计算假数据，这样功耗就不会剧烈波动。

231:22

stuff up so easy and so men it actually has accidentally opened so upstream something to code

这样一来发电厂就不会因为瞬时尖峰导致设备故障而爆炸。

231:29

in PyTorch where they added an operator and I kid you not whoever made this like I want to hug

在PyTorch里他们加了一个算子，真的不骗你，做这个的人我真想抱抱他。它写着PyTorch点power plant no blow up等于零或等于一，它的功能特别厉害——就是你在交换权重的时候，GPU会算一些假数据，这样功率就不会突然飙升，发电厂就不会炸，因为瞬态尖峰真的会搞坏东西。

231:33

the guy because it says says PyTorch it's like PyTorch dot power plant no blow up equals zero or

嗯，有道理，这种事确实得做，得确保它们不闲置。

231:39

equal one and what it does what it does is amazing right either you know when you're when you're

Elon的解决方案就是扔一堆Tesla Mega Pack再加点别的，对吧？大家各有各的办法，但Meta至少是公开透明的。

231:45

exchanging the weights the GPU will just compute fake numbers so the power doesn't spike too much

这说得通，确实得这么做，得确保它们不会闲置。

231:49

and so then the power plants don't blow up because the transient spikes like screws stuff up

Elon的解决方案就是扔一堆Tesla Mega Pack再加点别的东西。

231:54

well that makes sense I mean you have to do that kind of thing you have to make sure they're not idle yeah

大家都有不同的方案，但Meta的方案至少是公开透明的。

231:59

an Elon solution was like let me throw a bunch of Tesla mega packs and a few other things right

Elon的解决方案就是，扔一堆特斯拉的Mega Pack，再加点别的东西，对吧？

232:02

like there's everyone has different solutions but like Meta's at least was publicly and openly known

每个人都有自己的方案，但Meta至少是公开透明的。

232:07

which is just like set this operator and what this operator does is it just makes the GPUs compute

就是设置这个算子，这个算子的作用就是让GPU什么都不计算，这样功率就不会飙升，但它能告诉你当前实际在消耗多少功率。

232:12

nothing so that the power does it spike but that just tells you how much power you're working with

我是说这太疯狂了，太疯狂了。大家真该去Google搜一下，比如“X瓦特能做什么”，然后从1瓦到1千瓦再到1兆瓦，把所有量级都看一遍，盯着那些数字看，你会发现自己在列表里排得很靠前，还有吉瓦级，简直让人震惊。

232:16

I mean it's insane it's insane people should just go to Google like scale like what does X watts do

你能聊聊冷却方面吗？我记得Elon好像在所有情况下都在用液冷，这算是新东西对吧？大多数数据中心都不太容易直接上液冷。所以冷却这块有什么值得说的吗？

232:23

and go through all the scales from one watt to a kilowatt to a megawatt and you look at

嗯嗯，空气冷却一直以来都是事实上的标准。

232:28

and stare at that and you're high high on the list and giga lot is and it's mind blowing can you

盯着那个榜单，你排得特别靠前，Giga Lot 也在上面，这简直太震撼了。你能聊聊冷却方案吗？我知道 Elon 在所有场景下都在用液冷，这算是新趋势吧？大多数公司还没轻易往这个方向走，所以冷却这块确实有值得说的。对对，风冷一直是默认标准，足够给设备降温了。也有人尝试过水冷，比如 Google 的 TPU 就是水冷的，他们搞了好几年了。但在 GPU 上，从来没人做过，更没人做到 Elon 现在这种规模的水冷。下一代 Nvidia 最高端的 NGPU，水冷是强制要求，你必须用水冷。

232:34

say something about the cooling so I know Elon's using liquid cooling I believe in in all cases

说到冷却，我知道Elon用的是液冷，我相信所有场景下都是这样。

232:42

that's a new thing right most of them don't easily look at going so there's something interesting

这算是个新东西，对吧？大多数方案不会轻易走这条路，所以冷却这块确实有点意思。

232:45

to say about the cooling yeah yeah so air cooling has been the de facto standard

对对，空气冷却一直是默认标准，足够用了。

232:50

throw a bunch of metal heat heat pipes etc and fans right and like that's cold that's been

扔一堆金属散热管、散热片和风扇进去，这样就能降温了，够用了。之前有人尝试过水冷，谷歌的TPU就是水冷的，对吧，他们已经搞了好几年了。但在GPU上，从来没人做过，更没人做到Elon现在搞的这个规模。下一代Nvidia最高端的NGPU，水冷是强制要求，你必须用水冷。但Elon是在这一代GPU上就实现了水冷，这需要很多配套设备。你看孟菲斯数据中心的一些卫星照片，外面摆满了水冷机，看起来就像半挂卡车的货柜一样。

232:54

enough to cool it people have been dabbling in water cooling Google's TPUs are water cooled

但人们也开始尝试水冷，Google的TPU就是水冷的。

233:00

right so they've been doing that for a few years but with GPUs no one's ever done and no one's

对，他们这么干已经好几年了，但在GPU领域，从来没人做过，也从来没人敢做到Elon现在这种规模的水冷。下一代Nvidia最高端的NGPU，水冷是强制性的，你必须用水冷。你看孟菲斯那个设施的卫星照片什么的，外面摆了一堆外部水冷机，看起来就像那种半挂车集装箱一样的冷却器，就这么放在外面。大概有90个不同的容器，里面装着水，把水冷却之后送回数据中心，再分配到所有芯片上，把热量全部带走，然后再送回去。这既是给芯片降温的方式，也是一种效率提升的手段。

233:06

ever done the scale of water cooling that Elon just did right now next generation Nvidia is

你见过Elon刚刚做的那种规模的水冷吗？下一代Nvidia

233:11

for the for the like highest NGPU it is mandatory water cooling you have to water cool it

对于最高端的NGPU，水冷是强制性的，你必须用水冷

233:16

but Elon did it on this current generation and that required a lot of stuff right if you look at

但Elon在目前这一代做到了，这背后需要大量配套措施。你看，比如孟菲斯设施的那些卫星照片，外面摆满了外置水冷机，看起来就像半挂卡车的集装箱模块。整整90个独立的水冷机组就露天放着，先冷却水，再送回数据中心，分配到所有芯片上带走热量，最后循环回去。这既是芯片散热方案，也关乎能效。回到之前说的三维向量问题——内存带宽、算力、互联——芯片间距越近，互联就越容易实现。

233:20

like some of the satellite photos and stuff of of the Memphis facility there's all these external

像孟菲斯工厂的那些卫星照片里，能看到外面摆着一大堆外部水冷机，看起来就像那种半挂车集装箱一样的东西。整整90个独立的水冷箱就放在外面，用水把热量带走，再送回数据中心，然后分配到所有芯片上，把热量抽走，再循环回去。这不仅是给芯片降温的方式，也是一种效率手段——你知道的，内存带宽、算力和互联，芯片离得越近，水冷就越容易实现，因为你可以直接把芯片紧挨着放，这样就能搞出所谓的“集群规模竞赛”。还有个词儿，但我就不说了。

233:26

water chillers that are sitting basically it looks like it looks like a semi truck pod thing

水冷机，基本上看起来就像是一个半挂车舱一样的东西

233:30

what's it called the container but really those are water chillers and he has like 90 of those water

那个叫容器，但其实那些是水冷机，他大概有90台这样的水冷机就放在外面，90个不同的容器对吧，用水来冷却，把水降温后送回数据中心，再分配到所有芯片上，把热量全部带走，然后再送回去。这既是给芯片降温的一种方式，也是一种提升效率的手段。好，回到刚才那个三维向量的问题，就是内存带宽、算力和互联，芯片之间靠得越近，就越容易实现高速互联，对吧？所以这也是为什么你会转向水冷，因为这样可以把芯片直接紧挨着放，从而获得更好的互联性能。

233:34

chillers just sitting outside 90 different containers right with water you know that chilled the water

冷机就放在外面，大概90个不同的容器，里面装着水，你知道的，用来冷却水

233:39

bring it back to the data center and then you distribute it to all the chips pull all the heat

然后把水带回数据中心，再分配到所有芯片上，带走所有热量

233:43

out and then send it back right and this is both a way to cool the chips but also as an efficiency

然后送回去，这样既能给芯片降温，又能提升效率。

233:48

thing all right and going back to that like sort of three vector thing right there is there is

好，回到刚才那个三维向量的问题——就是内存带宽、算力和互联。芯片离得越近，就越容易实现水冷，因为可以把芯片紧挨着放，这就引出了所谓的“集群规模竞赛”。还有个词我就不提了，你懂的。现在谁的最大？今天谁有最大的单体集群？是Elon。Elon在孟菲斯的集群有20万块GPU。Meta大概有12.8万块，OpenAI有10万块。不过要说明的是，其他公司拥有的GPU总数比Elon多，只是没放在同一个地方。而训练的时候，你需要它们紧密互联。

233:54

you know memory bandwidth flops and interconnect the closer the chips are together the easier it is

你知道，内存带宽、算力和互连，芯片离得越近，就越容易实现。

233:58

to do high speed interconnects right and so this is this is also like a reason why you're gonna go

要把高速互连做好，这也是为什么你会转向水冷——因为这样就能把芯片紧挨着放，从而获得所谓的集群尺寸竞赛。还有个词我就不说了，你懂的。谁最大？现在单看最大的集群，Elon 的是吧？Elon 在孟菲斯的集群有 20 万块 GPU，Meta 大概有 12.8 万块，OpenAI 有 10 万块。不过要说明的是，其他公司拥有的 GPU 总量比 Elon 多，只是没放在同一个地方。而训练的时候，你需要它们紧密连接。现在有些人在研究和开发一些技术，让你能跨区域进行训练。

234:05

water cooling is because you can just put the chips right next to each other and therefore get

水冷的好处就是可以把芯片紧挨着放，从而获得——

234:09

higher speed connectivity I got to ask you so in one of your recent posts there's a section

更高速度的互联。我得问你，在你最近的一篇文章里，有个部分叫“集群规模比拼大赛”，里面还提到了另一个词，但我不说了。你懂的，谁、谁、谁家的最大？现在谁会有最大的？目前单个最大的集群是Elon的吧？Elon在孟菲斯的集群有20万块GPU，对吧？Meta大概有12.8万块，OpenAI有10万块。不过要说明的是，其他公司拥有的GPU总数比Elon多，只是没放在同一个地方，对吧？对于训练来说，你希望它们紧密连接在一起。虽然有些人在研究和开发一些技术，让你能跨区域训练，但大多数情况下，你还是希望它们都集中在同一个区域，对吧？这样你才能用高速连接把它们串起来。

234:19

called cluster measuring contest so there's another word there but I won't say you know

所谓的集群规模比拼，还有个词我就不说了。

234:26

what who's who's who's who's got the biggest now who's gonna have the big today individual largest

现在谁最大？谁今天能拥有最大的单个集群？

234:32

is Elon right Elon's cluster Elon's cluster in Memphis 200,000 GPUs right meta has like 128,000

是Elon对吧？Elon在孟菲斯的集群有20万块GPU，对吧？Meta大概有12.8万块。

234:42

opening has a hundred thousand now now to be clear other companies have more GPUs than Elon

OpenAI有10万块。不过要说明的是，其他公司拥有的GPU总数比Elon多，

234:46

they just don't have them in one place right and for training you want them tightly connected there's

只是它们没有集中在一个地方。而训练模型时，你需要这些GPU紧密连接。

234:50

some techniques that people are researching and working on that let you train across multiple regions

一些研究人员正在探索的技术，可以让你跨多个区域进行训练。你知道Meta、OpenAI这些公司已经扩展到了几十万张GPU的规模，但到明年，你会看到50万到70万张GPU的集群。而且要注意，这些GPU的功耗比现有的高得多——Hopper是700瓦，Blackwell直接到了1200瓦。所以每块芯片的功耗在增长，芯片的数量也在增长。现在，你知道，从Elon提交的电力规划和Tesla电池组的文件来看，他显然对Memphis有一些疯狂的计划——比如许可证之类的都是公开记录。但具体是什么、时间表如何，还不太清楚。不过，我从来不会怀疑Elon，你知道的。

234:56

but for the most part you want them all in like one area right so you can connect them highly with

但大多数情况下，你还是希望它们都集中在同一个区域，这样就能用高速连接起来。Meta 和 OpenAI 已经部署了数十万级别的集群，但到明年，你会看到 50 万到 70 万 GPU 的集群，而且要注意，这些 GPU 的功耗比现有的高得多——Hopper 是 700 瓦，Blackwell 到了 1200 瓦。所以单芯片的功耗在增长，芯片的数量也在增长。现在，你看他提交的那些文件，比如电力规划和 Tesla 电池组，很明显他对 Memphis 有一些疯狂的计划，许可证之类的都是公开记录。但具体是什么、时间表如何，还不太清楚。我只是从来不会怀疑 Elon，你知道的。

235:00

high speed networking and so you know Elon today has 200,000 GPU H 100,000 H 100,000 H 100,000 H 200

高速网络连接，你知道，Elon 现在有20万块GPU，H100有10万块，H100有10万块，H200也有10万块。

235:08

right meta open AI you know and Amazon all have on the scale of 100,000 a little bit less but next

对，Meta、OpenAI，还有Amazon，它们也都差不多有10万块左右，稍微少一点，但接下来——

235:17

this year right this year people are building much more right andthropic and Amazon are building a

今年，对，今年大家都在建更大的集群。Anthropic和Amazon正在建一个40万块的训练集群，用的是Amazon自研芯片，想摆脱Nvidia。

235:21

cluster of 400,000 training to which is Amazon specific chip trying to get away from Nvidia right

你知道，Meta和OpenAI的规模也有几十万块，但到明年，你会看到50万到70万块的GPU集群。而且注意，这些GPU的功耗比现有的高得多——Hopper是700瓦，Blackwell直接到1200瓦。所以每块芯片的功耗在涨，芯片数量也在涨。现在你想想，你想想看。

235:27

you know meta and and and open AI have scales for hundreds of thousands but by next year

Meta和OpenAI的规模已经达到几十万块，但到明年，

235:34

you'll have like 500,000 to 700,000 GPU clusters and note those GPUs are much higher power consumption

你会看到50万到70万块GPU的集群。而且注意，这些GPU的功耗比现有的高得多——

235:40

than existing ones right hopper 700 watts blackwell goes to 1200 watts right so so the power per

Hopper是700瓦，Blackwell会到1200瓦。所以每块芯片的功耗在增长，

235:46

chip is growing and the number of chips is growing right now it's yeah you think you think you know

芯片的数量也在增长。现在你可能会想，你以为你懂了……

235:52

you'll get to a million you think that's actually feasible I mean I don't doubt Elon right the

等你到一百万张卡的时候，你觉得这真的可行吗？我不是说我不信Elon，他提交的那些文件，比如电力规划和Tesla电池组，明显他在Memphis有一些疯狂的计划，许可证什么的都是公开记录，但具体时间表还不清楚。我只是从来不信Elon会做不到，他肯定会给我们惊喜。那这些集群的想法是什么？如果你有一百万张GPU，假设两三年后，多少百分比用于训练，多少用于预训练，多少用于实际竞争？这些超大规模集群对推理来说根本没意义，你可以把推理路由过去，只是不训练，但大部分推理能力其实是在……

235:59

filings that he has for like you know the power plan and the Tesla battery packs it's clear he has

他提交的那些文件，比如电力计划和特斯拉电池组，明显对孟菲斯有一些疯狂的计划——许可证之类的都是公开记录，但具体是什么、时间表如何，还不太清楚。我从来不会怀疑埃隆，对吧。那个百分比是用于实际竞赛的，所以这些超级集群对推理来说毫无意义，对吧？你可以把推理路由到那里，但不做训练。不过大部分推理能力都在这里，我干脆把所有推理都扔进那些集群里。因为那些超级集群——多吉瓦级的数据中心——我想在那里训练，因为那里是我所有GPU集中部署的地方，可以用超高速网络连接在一起，对吧，因为训练就需要这个。

236:03

some crazy plans for Memphis like permits and stuff is open record right but it's not quite clear

孟菲斯那边有些疯狂的计划，比如许可证之类的都是公开记录，但具体时间表还不清楚。

236:10

that you know what and what the time scales are I just never doubt Elon right you know that's

我从来不会怀疑埃隆，你知道的。

236:15

he's going to surprise us so what's the idea with these clusters if you have a million GPUs what

他会给我们带来惊喜。那么这些集群的构想是什么？如果你有一百万块GPU，假设在两三年后，有多大比例用于训练，多大比例用于预训练，又有多大比例用于实际竞争？这些巨型集群对推理来说毫无意义，对吧？你可以把推理任务路由到那里，只是不进行训练，但大部分推理能力其实就在别处。不管怎样，我会把所有推理任务都扔进这些集群，因为那些巨型集群——也就是多吉瓦级的数据中心——我想在那里训练，因为那里是我所有GPU集中部署的地方，我可以把它们用超高速网络连接在一起，对吧？因为训练就需要这个。至于预训练，这是旧的扩展方式，你可以增加参数规模。

236:19

percentage in let's say two three years is used for training and what percent pre-training what

比如说在两三年后，用于训练的比例是多少，其中预训练又占多少，而用于实际竞争的部分又占多少。这些巨型集群对推理来说毫无意义，对吧？你可以把推理路由到那里，只是不进行训练，但大部分推理能力其实就在这里。不管怎样，我会把推理全都扔进这些集群里，因为那些巨型集群——多吉瓦的数据中心——我想在那里训练，因为那里是我所有GPU集中部署的地方，我可以把它们以超高速网络连接在一起，对吧？因为这就是训练所需要的。现在说到预训练，这是旧的规模法则，对吧？你可以增加参数，但预训练这边的数据量不会增加太多，对吧？是的，还有视频、音频和图像。

236:28

percent is used for like for the actual competition so these mega clusters make no sense for inference

这个百分比是用于实际竞争的，所以这些超大规模集群对推理来说毫无意义。

236:33

right you could route inference there and just not train but most of the inference capacity is being

你可以把推理路由到那里，只是不训练，但大部分推理能力现在都——

236:39

you know hey I've got a 30 megawatt data center here I've got 50 megawatts here I've got a hundred

你知道，嘿，我这儿有个30兆瓦的数据中心，那儿有个50兆瓦的，还有个一百兆瓦的，随便吧——我就把inference塞进所有这些里面。因为那些巨型集群，多吉瓦级的数据中心，我想在那儿做训练，因为那才是我所有GPU集中部署的地方，我能用超高速网络把它们连在一起，对吧，因为训练就需要这个。现在说到pre-training，这是旧的scaling方式，对吧？你可以增加参数，但不增加数据，模型就会变好。但这套已经不适用了，因为pre-training这边已经没有太多新数据了，对吧？没错，视频、音频和图像还没有被充分利用，所以还有不少scaling的空间，但很多人，比如……

236:43

here whatever I'll just throw inference in all of those because the mega clusters right multi-gigawatt

行吧，反正我就把inference塞进所有这些场景里——因为那些巨型集群，多吉瓦级别的数据中心，我想在那儿训练，因为那是我所有GPU集中部署的地方，能用超高网络速度把它们连在一起，对吧，因为这就是你需要的。然后从post-training阶段往下走，嗯，训练效果会很好，而且还能做coding，就是那种可以实时验证结果的任务。那些无限可验证的任务，你似乎想花多少算力都行，尤其是在context length增加的时候——因为pre-training的尾声就是你要拉长这些模型的context length。我们之前聊过，当输入很长时，context length其实更容易管理。

236:48

data centers I want to train there because that's where all of my GPUs are co-located where I can

数据中心我想在那里训练，因为那是我所有GPU集中部署的地方，我可以把它们用超高速网络连接在一起，对吧，因为这就是你需要的——用于从post-training阶段降低开销。没错，这会让训练效果很棒，而且还能用来写代码，在那里你可以验证正在发生的事情。那些无限可验证的任务，你似乎可以投入任意多的算力，尤其是在context length增加的时候，因为pre-training的末尾阶段就是为这些模型增加context length。我们之前聊过，当输入很长时，context length会更容易管理。他们大概有两个类似的数据中心超级区域，也就是说数据中心本身并不是……

236:53

put them at a super high networking speed connected together right because that's what you need for

把它们用超高速网络连接在一起，对吧，因为这就是你需要的

236:57

training now with pre-training this is the old scale right you could you would increase parameters

现在的训练，pre-training 这部分还是老一套的 scaling 逻辑，就是不断增加参数。

237:02

you didn't increase data model gets better that doesn't that doesn't apply anymore because there's

你增加数据，模型就会变好——这个规律已经不适用了，因为预训练这边已经没有太多新数据了。没错，视频、音频和图像数据还没有被充分利用，所以还有不少扩展空间。但很多人觉得，视频和图像数据的学习价值已经被榨干了。不过，预训练阶段确实还有扩展的余地。但真正消耗算力的，是后训练阶段。模型会自己跟自己玩，会自我对弈，会做可验证的任务，会在沙盒环境里操作电脑，甚至可能做模拟机器人实验。所有这些场景都需要消耗大量算力。

237:07

not much more data in the pre-training side right yes there's video and audio and image that has

pre-training 这边其实没有更多数据了，对吧？对，虽然还有视频、音频和图像数据，

237:12

not been fully taken advantage of so there's a lot more scaling but a lot of people like like have

还没有被充分利用，所以 scaling 还有很大空间。但很多人觉得，视频和图像数据里的学习价值已经被榨干了。不过 pre-training 阶段确实还有 scaling 可以继续做。但真正要投入大量算力的，其实是这个 post-training 的世界。模型会自己跟自己玩，会 self-play，会做可验证的任务，会在沙盒环境里操作电脑，甚至可能做模拟机器人之类的事情。所有这些场景都会消耗大量算力，把重心从 pre-training 转移到 post-training 上。没错，这会是未来训练的重点。过去几年 pre-training 的规模远远超过 post-training，但随着这些可验证方法的出现，尤其是那些——

237:16

have transcript taken transcripts of YouTube videos and that gets you a lot of the data doesn't get

拿YouTube视频的转录文本当训练数据，确实能拿到不少内容，但视频和图像数据里的学习价值没法完全榨干。不过pre-training这块还有 scaling 的空间，但未来所有算力都会砸在所谓的post-training阶段——模型会自己跟自己玩，搞self-play，做可验证的任务，在沙盒环境里操作电脑，甚至可能模拟机器人操作。所有这些场景都需要消耗算力，都算在post-training里。但我觉得这是好事，我们迟早会把"post"这个前缀去掉，直接就叫training，而且会是很棒的training。

237:20

you all the learning value out of the video and image data but you know there's there's still

从视频和图像数据里还能学到一些东西，但 pre-training 这边确实还有 scaling 的空间。

237:24

scaling to be done on pre-training uh but this post-training world is where all the flops are

不过，这个 post-training 的世界才是所有算力要砸进去的地方。模型会自己跟自己玩，会 self-play，

237:28

going to be spent right the model is going to play with itself it's going to self-play it's going

会做可验证的任务，会在沙盒里操作电脑，甚至可能做模拟机器人之类的事情。

237:32

to do verifiable tasks it's going to do computer use in sandboxes it might even do like simulated

所有这些场景都会消耗大量算力。

237:37

robotics things right like all of these things are going to be environments where compute is spent

把 post 从 post-training 里去掉，就变成 training 了。对，这将会是 great training，而且会是——

237:43

in quote-unquote post-training but I think I think it's going to be good we're going to we're

在所谓的“后训练”阶段，但我觉得，我觉得这会很好。我们打算，我们打算把“后”从“后训练”里去掉，没错，它会变成“训练”，而且会很棒。过去几年，预训练一直压过后训练，但随着这些可验证的方法出现，尤其是那些能真正无限扩展的方法——比如计算机使用和机器人技术，而不仅仅是数学和编码——你可以验证正在发生的事情，这些无限可验证的任务，似乎你想用多少算力都行，尤其是在上下文长度增加的情况下。因为预训练的终点，就是当你为这些模型增加上下文长度的时候。我们之前在对话中也聊过，当输入很长时，上下文长度其实更容易管理。

237:46

going to drop the post from post-training yeah it's going to be great training and it's going to be

从post-training阶段拿掉post，嗯，这会带来很棒的training效果

237:50

training I think we're trying to begin at some point um because because for like bulk of like the

训练方面，我觉得我们大概在某个时间点要开始着手了，因为过去几年里，pre-training 的规模一直远超 post-training。但有了这些可验证的方法，尤其是那些理论上可以无限扩展的——比如计算机使用和机器人技术，而不仅仅是数学和编程——在这些可以验证结果的任务上，你似乎可以投入任意多的算力，特别是在 context length 增加的情况下。因为 pre-training 的尾声正是你为这些模型扩展 context length 的时候。我们之前也聊到过，当输入很长时，管理起来比输出要容易得多，而很多 post-training 和推理技术都依赖于大量的 sampling。

237:55

last few years pre-training has dwarfed post-training but with these verifiable methods especially ones

过去几年，pre-training 的规模一直远超 post-training，但有了这些可验证的方法，尤其是编程这种能实时验证结果的任务——那些无限可验证的任务——你似乎可以投入任意多的算力，尤其是在 context length 增加的时候。因为 pre-training 的后期阶段，正是你为这些模型扩展 context length 的时候。我们之前聊过，当输入很长时，context length 的管理会容易得多。他们实际上拥有目前最大的集群，但他们的做法非常有意思——他们有两个类似的数据中心超级区域，也就是说，数据中心并不是物理上把所有 GPU 都放在同一个地点，而是相隔大约 30 英里。

238:02

that scale really you know potentially infinitely like computer use in robotics not just math and

那种规模真的可以无限扩展，比如在机器人领域的计算机使用，而不仅仅是数学和编码对吧——那些可以验证结果的任务，你似乎可以投入任意多的算力，尤其是在上下文长度增加的时候，因为预训练的尾声就是为这些模型扩展上下文长度。我们之前聊过，当输入很长时，上下文长度其实更容易管理集群。他们实际上拥有目前最大的集群，但他们的做法非常有意思——他们有两个类似数据中心超级区域的概念，数据中心并不是物理上把所有GPU都放在一个地点，而是相隔大约30英里。

238:07

coding right where you can verify what's happening those infinitely verifiable tasks it seems you can

编程嘛，你能验证发生了什么，那些无限可验证的任务，感觉你可以投入任意多的算力

238:11

spend as much computers you want on especially at the context length increase because the end of

尤其是在context length增加的时候，因为pre-training的末尾就是你要为这些模型增加context length的阶段

238:15

pre-training is when you increase the context length for these models and we've talked earlier in

我们之前聊过，当输入很长时，context length其实更容易管理，对吧

238:20

the conversation about how the context length when you have a long input is much easier to manage

他们大概有两个类似的数据中心超级区域，而数据中心本身

238:25

than output and a lot of these post-training and reasoning techniques rely on a ton of sampling

相比于输出，很多这些后训练和推理技术都依赖于大量的采样。

238:30

and it's becoming increasingly long context so there's just like you're effectively your

而且上下文越来越长，所以实际上你的计算效率会下降，我不觉得flops是衡量它的标准。但有了RL，你就得用跟pre-training和生成不一样的方式来移动权重，这样效率会变低，flops这个词也会变得没那么有用。等基础设施变好之后，可能又会回到flops。所以我们刚才聊的这些，大概率都会发生在视频领域。那有没有竞争对手？Google，我有点忽略他们了。TPU的情况怎么样？TPU很厉害对吧？它确实很棒。Google在建设方面是不是有点保守？

238:35

compute efficiency goes down I don't think flops is the standard for how you measure it but

计算效率会下降，我不认为FLOPs是衡量它的标准，但

238:41

with rl and you have to do all these things where you move your weights around in a different way

在强化学习中，你需要以不同的方式移动权重，

238:46

than a pre-training and just generation it's going to become less efficient and flops is

相比预训练和单纯的生成，它会变得更低效，而FLOPs

238:52

going to be less of a useful term and then as the infrastructure gets better it's probably going to

这个术语也会变得不那么有用。然后随着基础设施的改进，

238:55

go back to flops so all of the things we've been talking about is most likely going to be in video

它可能又会回到FLOPs。所以我们一直在讨论的这些内容，

239:01

right is there any competitors Google Google I kind of ignored them yeah what's the story with TPU

很可能都会出现在视频领域。

239:09

like what's the TPU is awesome right it's great Google is there a bit more tepid on building

那有没有竞争对手？Google，我有点忽略了他们。对，TPU的情况怎么样？

239:16

data centers for some reason they're they're building big data centers don't be getting me wrong

数据中心吧，他们确实在建大型数据中心——别误会我的意思——而且他们拥有我视频里提到的那种最大的集群，真的就是最大的集群，但他们的做法很有意思。他们有两个类似的数据中心超级区域，也就是说，GPU并不都在同一个物理地点，而是彼此相隔大概30英里，不是GPU，是TPU。比如在爱荷华州和内布拉斯加州，他们有四个数据中心，就紧挨在一起。为什么Google不炫耀它的集群规模呢？跨数据中心训练是个好例子，我这就给你看看我的意思。

239:19

and they have they actually have the biggest cluster let me let I was talking about in video

而且他们实际上拥有最大的集群，我在视频里提到过集群的事——他们确实拥有最大的集群，但他们的做法非常有意思。对吧，他们有两个类似数据中心超级区域的布局，但数据中心并不是物理上把所有GPU都放在同一个地点，而是彼此相隔大概30英里。不是GPU，是TPU，对吧？他们在爱荷华州和内布拉斯加州有四个数据中心，就是紧挨着的那种。为什么Google不炫耀它的集群规模呢？跨数据中心训练是个很好的例子，我待会儿会展示给你看。然后你再往下翻一点，就能看到那些水管。

239:22

clusters they actually have the biggest cluster period but the way they do it is like very interesting

他们实际上拥有最大的集群，没有之一，但他们的做法非常有意思。对，他们有两个类似的数据中心超级区域，但数据中心本身并不是物理上把所有GPU都放在一个地方，而是相隔大概30英里。备用电源方面，数据中心本身的物理规模其实比水冷机组还要小，所以芯片反而更容易集中在一起，但冷却所有用于TPU的水就另当别论了。他们做的是，把这些数据中心像盖章一样，在几个区域里批量复制。如果你再往下看一层软件栈，会发现它优化得非常好，但所有这些软件栈都没有公开发布过。

239:27

right they have two sort of like data center super regions right in that the data center isn't

并没有备用电源，数据中心本身物理上比水冷机还要小，对吧

239:33

physically like all of the GPUs aren't physically on one site but they're like 30 miles from

实际上，所有GPU并不都在同一个物理地点，它们之间大概相隔30英里，靠备用电源连接。数据中心本身看起来比水冷机组还要小，对吧。芯片其实更容易集中放置，但冷却所有用于TPU的水就麻烦了。他们的做法是，在几个区域里批量建设这些数据中心，像盖章一样复制。再往下看软件栈，它已经高度优化了，但所有这些软件栈都没有公开发布过。硬件方面的投入比服务更多，因为硬件前端在运行服务。但如果你在投资，如果AI业务没有收入或者收入不够的话……

239:37

each other are not GPS TPUs right they have like in in Iowa and Nebraska they have four data

它们之间并不是GPS TPU对吧？它们在内布拉斯加和爱荷华州有四个数据中心，彼此紧挨着。为什么Google不发挥它的集群规模优势，去做多数据中心训练呢？这里有个很好的示意图，我来给你展示一下我的意思。然后你再往下翻一点，就能看到这些水管，还有备用电源。数据中心本身看起来比水冷机组还要小，对吧？所以芯片其实更容易保持在一起，但冷却所有用于TPU的水就另说了。而Google的做法是，他们在几个区域里批量复制了这些数据中心。你再往下翻一点就能看到。

239:42

centers that are just like right next to each other why doesn't Google flex it's cluster size go

数据中心彼此紧挨着，为什么Google不利用它的集群规模优势去做多数据中心训练呢？这里面有个很好的示意图，我来给你展示一下我的意思。就是这样。

239:48

to multi data center training is a good image is in there so I'll show you what I mean it's just

然后如果你再往下滚动一点，你会看到这些水管，还有备用电源。数据中心本身看起来其实比水冷机组还要小，对吧？所以芯片实际上更容易保持在一起，但冷却TPU所需的所有水冷系统就不一样了。他们做的事情是，在几个区域里批量复制了这些数据中心。如果你再往下看一点，

239:52

semi-analysis multi data center so this is like you know so this is an image of like what a standard

semi-analysis multi data center 所以这就像，你知道，这是一张标准 Google 数据中心的图片，顺便说一句，他们的数据中心看起来和其他人的非常不一样。

239:57

Google data center looks like by the way their data centers look very different than anyone else

数据中心，我们在这里看的是什么？这些是，对，如果你看这张图片的正中央，那些大矩形盒子就是实际存放芯片的地方。

240:01

is data centers what are we looking at here so these are yeah so if you if you see this image right in

然后如果你再往下滚动一点，你会看到这些水管，顶部有冷却塔，还有一堆柴油发电机，柴油发电机是备用电源。

240:05

the center there are these big rectangular boxes right those are where the actual chips are kept

数据中心本身看起来比水冷机还要小，对吧？所以芯片其实更容易集中在一起，但冷却所有用于水冷的水就……

240:10

and then if you scroll down a little bit further you you can see there's like these water pipes there's

软件栈是高度优化的，但所有这些软件栈都没有公开发布过。

240:16

these chiller cooling towers in the top and a bunch of like diesel generators the diesel generators are

这些顶部的冷却水塔和一堆柴油发电机，柴油发电机是备用电源。数据中心本身看起来比水冷机组要小得多，对吧。芯片其实更容易保持在一起，但冷却所有用于TPU的水就麻烦了。他们做的是，把这些数据中心像盖章一样，在几个区域批量复制出来。再往下看，这是微软的，这是亚利桑那州的，这里就是所谓的GPT-5将要训练的地方，如果它还没存在的话。对，它确实还没存在。但每个这样的数据中心，我给你们看了几张图片，它们都挨得非常近。

240:21

backup power the data center itself is like look physically smaller than the water chillers right so

备用电源，数据中心本身看起来比水冷机要小得多，对吧。

240:26

the chips are actually easier to like keep together but then like cooling all the water for the water

芯片其实更容易整合在一起，但冷却系统需要处理所有用于TPU的水。他们做的是，在几个区域里批量部署了这些数据中心，对吧？再往下看软件栈，它高度优化了，但整个软件栈并没有公开发布过。硬件方面比服务方面投入更多，因为硬件前端支撑着服务运行。但如果你在投资，如果AI业务没有收入或者收入不够的话，那情况就不同了。而谷歌从来就没有那种“这是个该卖的产品”的基因，对吧？他们不这么做——谷歌云倒是会做，但那是独立于TPU的另一个组织。

240:31

cooling is very difficult right so Google has like a very advanced infrastructure that no one

散热非常困难，对吧。所以Google有一套非常先进的基础设施，是其他公司都没有的，专门给TPU用的。他们做的事情就是，把数据中心像盖章一样，在几个区域里批量建了一堆。再往下看，这个是Microsoft，这个是亚利桑那，这里就是所谓的GPT-5将要训练的地方，如果它还没存在的话——对，目前还不存在。但你看这些数据中心，我给你们看了几张图片，它们都密集地集中在同一个区域，比如内布拉斯加、爱荷华，然后他们在俄亥俄也有一个类似的综合体。这些数据中心彼此离得非常近，而且他们把它们连接起来了。

240:35

else has for the TPU and what they do is they've like stamped these data center they've stamped a

至于TPU，他们做的事情就是，在几个区域里像盖章一样批量建了一堆数据中心。

240:40

bunch of these data centers out in a few regions right so if you go a little bit further down

再往下看软件栈，它高度优化，但整个软件栈都没有公开发布过。

240:46

this is this is a Microsoft this is an Arizona this is where GPT-5 quote-unquote will be trained

这是微软的，这是亚利桑那的，这就是那个GPT-5“据说”要训练的地方

240:51

you know if it doesn't exist already yeah it doesn't exist already but each of these data

你知道，如果它还不存在的话——对，它确实还不存在——但每个这样的数据中心

240:56

centers right I've shown a couple images of them they're like really closely collocated in

你看，我展示过几张图片，它们都挨得非常近

241:00

the same region right Nebraska Iowa and then they also have a similar one in Ohio complex right

同一个区域，内布拉斯加、爱荷华，然后他们在俄亥俄也有一个类似的综合体，对吧

241:06

and so these data centers are really close to each other and what they've done is they've connected

所以这些数据中心彼此非常靠近，而他们所做的就是将它们连接起来

241:10

them super high bandwidth with fiber and so these are just a bunch of data centers and and the point

它们用光纤实现超高带宽，这些其实就是一堆数据中心。关键在于，谷歌拥有非常先进的基础设施，在很小的区域内紧密连接。所以Elon永远能拥有完全互联的最大集群，对吧，因为全都在一栋楼里。他这一点完全正确。谷歌确实有最大的集群，但你必须分散在三个站点，而且差距还相当大，我们得跨多个站点。那谷歌为什么不跟Nvidia竞争呢？他们为什么不卖TPU？我觉得这里面有几个问题。首先，TPU一直是为了让搜索变得极其便宜，并为此构建模型。所以，搜索GPU采购的很大一部分……

241:15

here is that Google has a very advanced infrastructure very tightly connected in a small region

关键在于，Google拥有一个非常先进的基础设施，在一个小区域内高度互联

241:21

so Elon will always have the biggest cluster fully connected right because it's all in one building

所以Elon永远会拥有最大的、完全互联的集群，对吧，因为都在同一栋楼里

241:26

right and he's completely right on that right Google has the biggest cluster but you have to

没错，他完全说对了，Google确实有最大的集群，但你必须分散在三个站点，而且差距相当大，我们得跨越多个站点

241:30

spread over three site and buy it by a significant margin we have to go across multiple sites

那为什么Google不跟Nvidia竞争呢？他们为什么不卖TPU？我觉得这里面有几个问题

241:35

well why doesn't Google compete with Nvidia why don't they sell TPUs I think I think there's a

一个是，TPU一直以来都是让搜索变得非常高效的一种方式

241:42

couple problems with it it's like one TPU has been a form of allowing search to be really

有几个问题：比如TPU一直是一种让搜索变得更高效的方式

241:50

freaking cheap and build models for that right and so like a big chunk of the search GPU purchases

便宜得要命，然后针对这个去建模型，对吧。所以搜索部门买的那些GPU，很大一部分都用在这上面了。

241:56

or TPU purchases or big chunk of Google's purchases and usage all of it is for internal workloads

或者TPU的采购，或者谷歌采购和使用的很大一部分，全都用在了内部工作负载上。

242:02

right whether it be search now Gemini right YouTube all these different applications that they have

没错，不管是搜索、现在的Gemini，还是YouTube，所有这些不同的应用，

242:08

you know ads these are where all their TPUs are being spent and that's what they're hyper focused on

你知道，还有广告，这些才是他们所有TPU的用武之地，也是他们高度专注的方向。

242:13

right and so there's certain like aspects of the architecture that are optimized for their

所以，架构中有某些方面是针对他们的使用场景优化的，

242:18

use case that are not optimized elsewhere right one simple one is like they've open source

而在其他地方并没有被优化。举个简单的例子，他们开源了

242:22

the Gemma model and and they called it Gemma 7b right but then it's actually 8 billion parameters

Gemma模型，并称之为Gemma 7B，但实际上它有80亿参数，

242:27

because the vocabulary is so large because and the reason they made the vocabulary so large is

因为词汇表太大了，而他们之所以把词汇表做得这么大，

242:32

because TPUs like matrix multiply unit is massive because that's what they've like sort of

是因为TPU的矩阵乘法单元非常庞大，这正是他们设计上的特点。

242:37

optimized for and so they decided oh well just make the vocabulary large too even though it makes

针对这一点进行了优化，所以他们决定干脆把词汇量也做大，即使在小模型上这么做毫无意义，因为这样能适配他们的硬件。所以Gemma在GPU上跑起来不如Llama高效，对吧？反过来，Llama在TPU上也不如Gemma高效。这就涉及到硬件、软件、代码设计等某些特定方面。他们所有的搜索模型、排序和推荐模型——这些不同的人工智能模型，但并非生成式AI——一直以来都在GPU上进行了超深度优化，软件栈也极其优化。但所有这些软件栈完全没有公开过，对吧？只有很小一部分，比如JAX和XLA，被公开了。但当你实际使用时的体验……

242:40

no sense to do so on such a small model because that fits on their hardware so Gemma doesn't run

在这么小的模型上这么做没意义，因为它能跑在它们的硬件上。所以Gemma在GPU上跑起来不如Alama高效，对吧。但反过来，Alama在TPU上跑起来也不如Gemma高效，对吧。而且就是，硬件软件代码设计这些方面，都有一些特定的东西。

242:45

it as efficiently on a GPU as Alama does right but vice versa Alama doesn't run as efficiently on

所以它们所有的搜索模型——排序模型、推荐模型，所有这些不同的AI模型，但不是那种生成式AI，对吧——都一直在GPU上被超强优化。软件栈也优化得特别厉害，但所有这些软件栈都没有公开发布过，完全没有。只有很小一部分，比如JAX和XLA，是公开的。但当你实际用起来的时候，那个体验……

242:50

a TPU as a Gemma does right and it's so like there's like certain like aspects of like hardware

就像Gemma用的TPU那样，而且硬件、软件、代码设计这些方面都有一些特定特点

242:54

software code design so all their search models are they're ranking in recommendation models all

所以它们所有的搜索模型，包括排序和推荐模型，所有这些AI模型——但不是Gen AI——一直以来都用GPU做了超优化

242:59

these different models that are AI but not like Gen AI right have been hyper optimized with GPUs forever

软件栈也超级优化了，但所有这些软件栈都没有公开发布过

243:05

the software stack is super optimized but all of this software stack has not been released publicly

他们更侧重硬件而不是服务，因为硬件前端驱动着服务运行。

243:10

at all right very small portions of it jacks and xla have been but like the experience when you're

其实只有很小一部分用到了Jacks和XLA，但实际体验是——

243:15

inside of Google and you're training on TPUs as a researcher you don't need to know anything about

在谷歌内部做研究，用TPU训练的时候，你根本不需要了解硬件细节，很多时候就是这样，挺漂亮的。但一旦你离开谷歌，很多人就会回去——他们离开谷歌，然后回到现实，嗯嗯，他们离开后自己创业，因为有一堆很棒的研究想法，然后发现：等等，基础设施很难，软件也很难，而且这是在GPU上，或者如果他们尝试用TPU，也一样，因为他们没有这些代码的访问权限。所以问题就是，你怎么说服一家公司——它的金饭碗是搜索，每年赚几千亿美元——开始卖GPU或TPU？而他们以前只买几十亿的货，你知道，2023年他们大概买了这么多。

243:19

the hardware in many cases right like it's like pretty beautiful but as soon as you step outside

在很多情况下，硬件本身其实挺漂亮的，但一旦你走出那个环境——很多人离开Google之后就会回去，对对，他们离开然后自己创业，因为脑子里全是各种牛逼的研究想法，结果发现：等等，基础设施好难，软件也好难。而且这些要么得跑在GPU上，要么他们想用TPU也一样，因为他们拿不到那些代码。所以问题就是，你怎么说服一家靠搜索吃饭、每年赚几千亿美元的公司，去开始卖GPU或者TPU？他们以前只买几十亿美金的量——我记得2023年他们大概买了这么多——你得让他们相信，他们应该直接买两倍的量，然后想办法卖出去。

243:24

they'll go a lot of them go back they leave Google and then they go back yeah yeah they're like they

很多人会回去，他们离开Google然后又回去，对，就是那种——

243:29

they leave and they start a company because they have all these amazing research ideas and they're like

他们离职创业，因为有一堆超棒的研究想法，结果发现：

243:32

wait infrastructures hard software is hard and this is on GPUs or if they try to use TPUs same thing

基础设施难搞，软件也难搞，而且这些都得跑在GPU上，或者他们试着用TPU，结果也一样——

243:37

because they don't have access to all this code but so it's like how do you convince a company whose

因为他们拿不到这些代码。所以问题就是：怎么说服一家靠搜索赚了几千亿美元的公司，

243:41

golden goose is search where they're making hundreds of billions of dollars from to start selling GPU

开始卖GPU或TPU？他们以前只买几十亿的货——我记得2023年他们大概买了——

243:47

or TPUs which they used to only buy a couple billion of you know I think in 2023 they bought like

你得说服他们，应该直接买两倍的数量，然后想办法卖出去。

243:53

like a couple billion and now they're buying like 10 billion to 15 billion dollars worth but how do

像几十亿，现在他们又砸了一百到一百五十亿美金买这些硬件。但你怎么说服他们，其实可以干脆多买一倍，然后想办法卖掉，赚个三百亿？谁在乎赚三百亿啊？那三百亿难道真能超过搜索业务的利润吗？说到底，服务永远比硬件更赚钱，这道理一直没变。不过说清楚点，现在大家花在硬件上的钱确实比服务多得多，因为硬件投入总是跑在服务收入前面。但问题是，如果AI这块压根没收入，或者收入不够，那迟早要崩盘对吧？没人会永远无止境地砸钱买GPU。

243:58

you convince them that they could they should just buy like twice as many and figure out how to sell

你说服他们，让他们觉得应该直接买两倍的量，然后想办法靠服务卖出去。这总是很难的，对吧。我是说，说清楚点，现在大家在硬件上的花费比服务多得多，因为硬件先跑起来，服务才能跟上。但你在投资啊，如果AI这块没有收入，或者收入不够，那显然会崩盘，对吧？你知道的，人们不可能永远不停地花钱买GPU什么的。但谷歌从来就没有那种“这是我们该卖的产品”的基因，对吧？他们不这么做。谷歌云倒是会，但那是独立于TPU团队和搜索团队的另一个组织。里面官僚主义很重，谷歌云只是谷歌内部的一个独立团队。

244:01

them and make 30 billion dollars like who cares about making 30 billion dollars won't that 30

赚300亿美元又怎样，谁在乎赚300亿呢？那300亿难道真能超过搜索业务的利润吗？说到底，服务业务永远比硬件更赚钱。不过说清楚点，现在大家在硬件上的投入远高于服务，因为硬件先跑起来，服务支出才跟得上。但如果你在AI上没收入或者收入不够，那显然会崩盘对吧？人们不可能永远无止境地买GPU。可谷歌从来就没有那种“这是个该卖的产品”的基因，对吧？他们不这么干。谷歌云倒是会，但那是和TPU分开的独立部门。

244:06

billion exceed actually the search profit eventually I mean like you're always gonna make more money

十亿其实超过了搜索业务的利润，我是说，你总是能从服务上赚更多钱，硬件永远更难。嗯，对，说清楚点，现在人们在硬件上的花费远高于服务，因为硬件是服务的前置投入。但如果你在投资，而AI业务没有收入或者收入不够，那显然会崩盘，对吧？你知道，人们不会永远持续在GPU上花钱。但谷歌从来就没有那种“这是个该卖的产品”的基因，对吧？他们不这么做。谷歌云倒是会，但它是独立于TPU和搜索团队的另一个组织。这里面有很多官僚主义，谷歌云是谷歌内部一个独立的团队。

244:12

on services than always hard I mean like yeah like to be clear like today people are spending a lot

在服务上投入的其实一直都不多，我的意思是，说得清楚一点，现在大家在硬件上的花费远高于服务，因为硬件是支撑服务运行的基础。但如果你在投资，而AI业务没有收入或者收入不够，那显然会出问题，对吧？人们不可能永远无休止地花钱买GPU之类的。但谷歌从来就没有那种“这是个该卖的产品”的基因，对吧？他们不会这么干。谷歌云倒是会，但它是独立于TPU和搜索团队之外的另一个组织。这里面官僚主义很严重，比如谷歌云是单独的一个团队，负责低成本架构、传统云存储、CPU网络这类东西，还有数据库。

244:18

more on hardware than they are the services right because the hardware front runs the service

但如果你在投入，如果AI相关的东西没有收入或者收入不够的话……

244:24

spend but like you're investing if if if there's no revenue for AI stuff or not enough revenue then

而谷歌从来就没有那种“这是个该卖的产品”的基因，对吧。

244:29

obviously like it's gonna blow up right you know people won't continue to spend on GPUs forever

显然这事迟早要炸，对吧，人们不可能永远在GPU上砸钱。但Google从来就没有那种“这是个该拿来卖的产品”的基因，对吧。他们不这么干。Google Cloud倒是会，但那是跟TPU、搜索团队完全分开的独立组织。里面官僚主义很重，Google Cloud本身就是一个独立团队，负责低成本架构、传统云存储、CPU网络这些，还有数据库。研究方面的人力嘛，现在确实有做推理这类事情的能力，他们会扩大规模，会做大量研究。所以我觉得，大家老盯着回报周期的问题，但其实很容易就能说，你看，GDP就是人类啊。

244:34

and Nvidia is trying to move up the stack with like software that they're trying to sell on license

而Nvidia正在试图向上游扩展，通过像软件授权销售这类方式赚钱。但Google从来就没有那种“这是一个应该拿来卖的产品”的基因，对吧？他们不是这么运作的——Google Cloud是一个独立组织，和TPU团队分开，TPU团队又和DeepMind团队分开，DeepMind团队也和搜索团队分开。这里面官僚层级很多：Google Cloud是TPU团队内部的一个独立部门，严格来说TPU隶属于基础设施部门，而基础设施又隶属于Google Cloud。但Google Cloud做的是租赁业务，而TPU架构在硬件和软件上的目标完全不同，对吧？比如Jax和XLA这些团队，他们并不直接服务Google的外部客户。

244:37

and stuff right but Google has never had that like DNA of like this is a product we should sell

他们不这么做，做这事的是Google Cloud，它和TPU是分开的组织。

244:43

right they don't act the Google Cloud does it is which is a separate organization from the TPU

学习作为一种训练方式，用于可验证的结果，agent 应该意味着某种开放性的东西。

244:47

team which is a separate organization from the DeepMind team shows a separate organization from

这个团队和DeepMind团队是分开的，它和搜索团队也是分开的。里面官僚体系挺多的，比如Google Cloud本身是一个独立团队，而TPU团队严格来说属于基础设施部门，基础设施又归Google Cloud管。但Google Cloud这边，比如租用资源的目标，和TPU架构的目标其实很不一样，不管是硬件还是软件层面。像Jax和XLA这些团队，本来就不是为了服务Google的外部客户，而是为了内部业务。而Amazon呢，一直更偏向服务小客户——当然他们也很重视大客户，但一开始的时候，他们就是跑到湾区各种活动上发优惠券，或者直接让你填个信用卡号就行。

244:50

the search team right there's a lot of bureaucracy like Google Cloud is a separate team within the

搜索团队那边官僚主义很重，比如Google Cloud是独立团队，负责低成本架构、传统云存储、CPU网络这些，还有数据库。研究方面的人力嘛，现在确实存在，比如做推理这类事，他们会扩大规模，做大量研究。所以我觉得，大家总盯着回报问题，但很容易就说“GDP就是人类学习，用来训练可验证结果”，而智能体应该意味着开放式的任务。WWDC那种在应用间协调、调用工具的能力，是语言模型已经具备的。推理能力还会持续一两年，然后才是智能体，但与此同时……

244:54

TPU team technically TPU sits under infrastructure with sits under Google Cloud but like Google Cloud

TPU 团队，严格来说 TPU 属于基础设施部门，而基础设施又归 Google Cloud 管，但 Google Cloud 这边主要是做租赁业务的，而 TPU 架构的目标完全不同，对吧。无论是硬件还是软件，像 JAX 和 XLA 这些团队，本质上并不是为了服务 Google 的外部客户。按理说这应该是生意，但 Amazon 一直是为小客户优化的，对吧？显然他们也会为大客户做很多优化，但一开始的时候，他们就是跑到湾区各种活动上发优惠券，或者让你直接绑定信用卡就能用。所以为什么 Amazon 能行？为什么 Snowflake 能全跑在 Amazon 上？因为 Snowflake 早期的时候，Amazon 根本不在乎他们，但他们还是用着 Amazon 的资源，后来当然也就顺理成章了。

245:01

like for like renting stuff and TPU architecture are very different goals right in hardware

租东西和TPU架构在硬件上是完全不同的目标，对吧。

245:08

in software like all of this right like the Jax XLA teams do not serve Google's customers externally

在软件层面，像Jax XLA这些团队，其实并不直接为Google的外部客户服务。

245:13

whereas Nvidia's various CUDA teams for like things like Nickel serve external customers right

而Nvidia的各个CUDA团队，比如做Nickel的那些，是服务外部客户的，对吧。

245:19

the internal teams like Jax and XLA and stuff they more so serve DeepMind and Search right and

内部团队像Jax和XLA这些，更多是服务DeepMind和Search的，对吧。

245:24

so their customers different they're not building a product for them do you understand why AWS keeps

所以他们的客户不同，他们并不是在给这些客户做产品。你明白为什么AWS一直在赢过Azure和Google Cloud吗？

245:29

winning versus Azure for cloud versus Google Cloud yeah there's Google Cloud is tiny isn't it relative

是啊，Google Cloud很小，对吧，相对而言。

245:37

to the Google Cloud is third yeah Microsoft is the second biggest but Amazon is the biggest right

Google Cloud排第三，嗯。微软是第二大，但亚马逊是最大的，对吧。

245:42

yeah and Microsoft deceptively sort of includes like Microsoft Office 365 and things like that

对，而且微软有点狡猾地把Microsoft Office 365之类的也算进去了，

245:48

like some of these enterprise wide licenses so in reality the Gulf is even larger Microsoft is still

比如一些企业级授权。所以实际上差距更大。微软还是第二，对吧。

245:52

second though right Amazon is way bigger why because using AWS is better and easier and in many

亚马逊大得多。为什么？因为用AWS更好、更容易，而且在很多方面……

245:58

cases it's cheaper and it's first it was first yeah but there's a lot of things that are first that

有些情况下它更便宜，而且它是第一个，嗯，确实是第一个，但有很多东西都是第一个

246:02

well it's easier it's harder to switch than it is yeah because there's big fees for switching to

嗯，切换起来比想象中更难，因为切换成本很高

246:09

AWS generates over 80% of Amazon's profit I think over 90% right insane the distribution centers are

AWS 贡献了亚马逊超过80%的利润，我觉得超过90%吧，太疯狂了，那些物流中心

246:14

just like one day we'll decide to make money from this but they haven't yet right like they make

就像有一天他们会决定靠这个赚钱，但到现在还没这么做，对吧，他们只赚

246:19

tiny little profit yeah one day Amazon Prime will triple in price you would think they would improve AWS

一点点利润，嗯，总有一天亚马逊Prime会涨价三倍，你可能会觉得他们会改进AWS

246:25

interface because it's like horrible it's like clunky but everybody is I allow yeah you one would

的界面，因为它实在太难用了，又笨重，但所有人都在用，嗯，是啊，你可能会这么想

246:32

think I think actually Google's interface is sometimes nice but it's also like they don't care

我觉得其实Google的界面有时候还不错，但同样，他们除了顶级客户之外根本不在乎其他人

246:37

about anyone besides their top customers be exactly like their customer service sucks and like they

没错，他们的客服也很烂，就像

246:41

have a lot less like I mean all these companies they optimize for the big customers yeah it's

这些公司都在为大客户优化，对吧？说是为了生意嘛。但亚马逊一直也在为小客户优化，对吧？显然他们也为大客户做了很多优化，但刚开始的时候，他们就是跑到湾区随便发些优惠券，或者让你直接输信用卡就能用，对吧？早期就是这样。所以他们的业务一直是跟着客户一起成长的。就像维珍，为什么亚马逊上到处都是Snowflake？因为Snowflake在早期亚马逊还不怎么在意他们的时候，就已经在用亚马逊了，对吧？然后有一天，Snowflake和亚马逊建立了超级大的合作关系。但这就是事实，亚马逊就是这样。

246:45

supposed to be business well Amazon has always optimized for the small customer to that right like

按理说这是生意，但亚马逊一直是为小客户优化的，对吧？

246:49

obviously they optimize a lot for the big customer but like when they started they just would go to

显然他们也为大客户做了很多优化，但刚开始的时候，他们就是跑到湾区各种活动上发积分，对吧？

246:53

like random Bay Area things and give out credits right and then they like or just put in your credit

或者你直接往他们那儿充钱就行，就像Virgin那样。

246:58

card and use us right like it went back in the early days so they've always the business has grown

早期的时候就是这样，他们业务一直跟着他们成长，对吧，就像维珍那样。所以为什么亚马逊会这样？为什么Snowflake会遍布亚马逊？因为Snowflake在最初亚马逊还不重视他们的时候，仍然在用亚马逊，对吧。然后当然有一天，Snowflake和亚马逊建立了超级大的合作关系。但情况就是这样：亚马逊的低成本结构，以及传统的云存储、CPU、网络这些基础设施，还有数据库方面。你知道吗，亚马逊收入最高的前五个产品里，有四个是毛利率产品，也就是毛利润产品，全都是数据库相关的，比如Redshift之类的。所以亚马逊从芯片到用户体验，整个链路都非常完善。

247:02

with them right in Virgin so like why does Amazon like why Snowflake all over Amazon because Snowflake

所以为什么亚马逊会这样？为什么Snowflake能遍布亚马逊？因为Snowflake在早期亚马逊根本不在乎他们的时候，依然在用亚马逊的服务。

247:06

in the beginning when Amazon didn't care about them was still using Amazon right and then of course

然后当然还有更低的成本结构，以及传统的云存储、CPU网络这类东西，还有数据库。

247:10

one day Snowflake and Amazon has a super huge partnership but like this is the case like Amazon's

有一天，Snowflake 和 Amazon 达成了一个超级大的合作，但这种情况就像 Amazon 那种低成本结构，还有传统的云存储、CPU、网络这些基础设施，然后到了数据库这块，对吧？你知道，Amazon 收入最高、利润率最高的前五个产品里，有四个都是跟数据库相关的产品，比如 Redshift 之类的，对吧？所以 Amazon 从芯片到用户体验的整个链路做得非常好。我们当时跟 AMD 合作训练的时候，经历了一个非常漫长的过程。Nvidia 的问题是他们的软件真的很差，不过我觉得他们在变好，对吧？他们进步得越来越快，但差距还是太大了，而且他们就是做不到。

247:15

user experience and quality is better also a lot of the silicon they've engineered makes them have a

用户体验和品质更好，而且他们设计的很多芯片让成本结构更低，还有传统的云存储、CPU、网络这些，再到数据库对吧。你知道，我觉得亚马逊收入前五的产品里，利润率最高的产品，或者说毛利润最高的产品，全是数据库相关的，比如Redshift之类的。所以亚马逊从芯片到用户体验，整个链路做得很好，AWS就是例子。我觉得谷歌，他们的基础设施和芯片团队，嗯，他们内部有很厉害的芯片，比如TPU、YouTube芯片，还有一些他们做的其他芯片。问题在于，他们不服务外部客户，只服务内部客户，对吧。

247:19

lower cost structure and traditional cloud storage CPU networking that kind of stuff then in databases

更低的成本结构，还有传统的云存储、CPU、网络这些基础设施，再到数据库。

247:26

right like you know I think like four of Amazon's top five revenue products margin products are like

对，你看，我觉得亚马逊收入前五的产品里，有四个是那种高利润率的产品，毛利高的产品，全都是数据库相关的，比如Redshift之类的。对，所以亚马逊从芯片到用户体验，整个链路做得非常好。我们当时跟AMD合作做training，过程特别长。Nvidia的问题是他们的软件真的很差，不过我觉得他们在变好。对，他们在变好，速度也在加快，但差距实在太大了。而且他们，你知道吗，有好几个月我们一直在提交那些bug，比如“发我分析报告”之类的。对，我就想说，搞什么啊，为什么我们要提交这些bug？因为他们只……而且他们……

247:32

gross profit products are all database related products like Redshift and like all these things

gross profit 的产品全是数据库相关的，比如 Redshift 之类的

247:37

right like so so Amazon has a very like good silicon to a user experience like entire pipeline with

对，所以 Amazon 从芯片到用户体验的整个 pipeline 做得非常好

247:44

AWS I think Google they're infrastructure they're silicon teams yeah they have awesome silicon

AWS 我觉得 Google 他们做基础设施，他们的硅芯片团队，嗯，他们确实有很棒的硅芯片，

247:48

internally TPU the YouTube chip you know some of these other chips that they've made and the problem

内部有 TPU、YouTube 芯片，还有他们做的其他一些芯片，但问题是，

247:55

is they're not serving external customers are serving internal customers right it's I mean in

他们不服务外部客户，只服务内部客户，对吧？我是说，

247:58

videos entire culture is designed from the bottom up to do this there's this recent book then video

整个视频文化从底层设计就是为了这个目的。最近有本书详细讲了这一点，讲他们如何寻找未来机会，并调整他们的CUDA软件库，让高性能计算的新应用能非常快速地在CUDA和Nvidia芯片上迭代。这和Google那种服务型业务完全不同。没错，Nvidia确实是一家非常特别的公司，他们的整个文化都是为这类事情优化的。说到这个，有没有谁能在硬件上挑战Nvidia？Intel？AMD？我真的不这么认为。我们和AMD在训练方面合作过，经历了一个非常漫长的过程。

248:03

way by take him that details this and they're how they look for future opportunities and ready

某种程度上，他详细讲了这一点，以及他们如何寻找未来的机会，

248:09

their kuda software libraries to make it so that new applications of high performance computing

并准备好他们的 CUDA 软件库，让高性能计算的新应用

248:15

can very rapidly be evolved on kuda and Nvidia chips and that is entirely different than Google

能非常快速地在 CUDA 和 Nvidia 芯片上发展，这和 Google

248:22

as a services business yeah I mean Nvidia it should be said as a truly special company like I mean

作为服务型业务完全不同。嗯，我是说，Nvidia 确实可以说是一家非常特别的公司，

248:28

they the whole the culture of everything they're really optimized for that kind of thing speaking

他们的整个文化、一切，都真正为这类事情做了优化。

248:33

of which is there somebody that can even challenge Nvidia hardware wise Intel AMD I really don't

其中到底有没有哪家能在硬件上挑战Nvidia？Intel？AMD？我真的不觉得。我们经历过一个非常漫长的过程，跟AMD合作做训练，但问题在于他们的软件真的很差。我觉得他们确实在变好，对吧，进步的速度也在加快，但差距实在太大了。而且他们过去一直没投入足够的资源，或者说历史上就没怎么投入，可能现在他们开始改变态度了，但你知道吗，连续好几个月我们都在提交那些bug，比如“给我发分析报告”，我心想这他妈什么情况，为什么是我们来提交这些bug？因为他们只在乎他们最大的客户，给那些人发私有镜像什么的，就这样。

248:40

think so we went through a like a very long process of yeah working with AMD on training on their

我觉得我们经历了一个很漫长的过程，跟 AMD 合作，在他们的平台上做 training

248:46

GPUs and for instance stuff and they're they're decent their hardware is better in many ways than in

GPU 还有那些东西，他们的硬件在很多方面其实比英伟达要好，问题在于他们的软件真的很烂。不过我觉得他们正在变好，对吧？进步速度在加快，但差距实在太大了。而且他们过去在软件上投入的资源一直不够，可能现在开始改变策略了，但之前好几个月我们都在给他们提 bug，比如“发个分析报告过来”，我就想说这他妈什么情况？为什么 bug 要我们来提？因为他们只在乎那些最大的客户，给人家发私有镜像什么的，搞得神神秘秘。但我就只是用 PyTorch，想用公开可用的东西而已。

248:51

Nvidia's the problem is their software is really bad and I think they're they're getting better

Nvidia 的问题是他们的软件真的很烂，不过我觉得他们在变好

248:56

right they're getting better faster but they're just the Gulf is so large and like they don't

对，他们在变好，速度也在加快，但差距实在太大了

249:01

spend enough resources on our haven't historically right maybe they're changing their tune now but

我们过去在资源投入上做得不够，也许他们现在改变态度了，但你知道吗，连续好几个月我们都在提交那些bug，比如“发分析报告给我”，操，我们为什么要提交这些bug？因为他们只在乎他们最大的客户，所以给他们发了私有镜像，等等等等。为什么他们陷入困境？回到之前说的，只有三家公司能做研发：台积电、三星平泽、英特尔希尔斯伯勒。三星现在惨不忍睹，英特尔也惨不忍睹。未来可能只剩一家公司能做研发，而这家公司本来就已经在制造大部分芯片，市场份额还在增长，但这就是现实。

249:05

you know for for for multiple months we were submitting those bugs right like oh send me analysis

而且他们，你知道，有好几个月我们一直在提交那些 bug，比如“发我分析报告”

249:10

right like what the fuck like why are we submitting those bugs right because they only and they

对，我就想说，搞什么鬼，我们为什么要替他们提交这些 bug？因为他们只有

249:15

only cared about their like biggest customers and so they shipped them a private image blah blah blah

他们只关心最大的客户，所以给这些客户发了私有的图像什么的。

249:19

and it's like okay but like I am just using PyTorch and I want to use the publicly available

然后就是，好吧，但我就只是用 PyTorch，想用那些公开可用的东西。

249:24

libraries and you don't care about that right so they're they're getting better but like I think AMD's

库和那些东西你其实不关心对吧，所以它们确实在变好，但我觉得AMD不太可能，英特尔现在显然处境非常艰难，必须想办法救它，这对国家安全很重要，对美国来说。你能解释一下为什么显然是这样吗？那他们为什么处境艰难？回到之前说的，只有三家公司能做研发：台积电、三星、平泽，还有英特尔、希尔斯伯勒。三星现在也很惨，英特尔也很惨。我们可能会面临一个只有一家公司能做研发的世界，而这家公司已经生产了大部分芯片，而且市场份额还在增长，但这是个关键问题。所以台湾如果出什么事，就会影响整个全球半导体行业。

249:29

not possible Intel's obviously in dire straits right now and needs to be saved somehow very

不可能。Intel 现在显然处境艰难，必须得想办法救它，这对美国的国家安全非常重要。你能解释一下吗？他们为什么处境艰难？回到之前说的，只有三家公司能做研发：台积电、三星、Intel 的 Hillsboro。三星现在很惨，Intel 也很惨。

249:35

important for national security for American can you explain can you explain the obviously so

我们可能会面临一个只有一家公司能做研发的世界，而这家公司已经占据了大部分芯片制造份额，而且市场份额还在增长。但这是个关键问题，对吧？所以台湾发生什么，就意味着全球半导体行业会怎样。

249:40

what why are they in dire straits going back to earlier only three companies can R&D right Taiwan

为什么他们会陷入困境？回到之前说的，只有三家公司能做研发，对吧？台湾那边，

249:45

since you Samsung Pyongyang and then Intel Hillsboro Samsung's doing horribly Intel's doing horribly we

三星平泽、英特尔希尔斯伯勒——三星现在惨淡，英特尔也惨淡。

249:53

could be in a world where there's only one company that can do R&D and that one company already

未来可能只剩一家公司能做研发，而这家公司已经生产了大部分芯片，市场份额还在增长。但话说回来，

249:56

manufactures most of chips they've been gaining market share anyways but like that's that's a

M1已经做成了，英伟达要发PC芯片，高通也要发PC芯片，服务器这边，

250:00

critical thing right so what happens to Taiwan means the rest of the world semiconductor industry

关键问题是，台湾发生什么，全球半导体产业就会跟着受影响。M1 做出来了，Nvidia 在发 PC 芯片，Qualcomm 也在发 PC 芯片，服务器这边，所有 hyperscaler 都在自己做基于 Arm 的服务器芯片，而 Intel 根本没有 AI 芯片。他们赢的地方很少，非常少，而且他们从来没进过移动市场，因为当初拒绝了 iPhone。所有这些事叠加在一起，他们失去了制程技术的领先地位。他们领先了 20 年，现在至少落后了好几年。他们正在努力追回来，至于 18A、14A 这个策略能不能成，我们还得看。不过 PC 这边，我猜 Windows 阵营大概率还是会继续用 Intel。我们来聊聊

250:04

and therefore tech relies on Taiwan right and that's obviously precarious as far as like Intel

所以科技产业依赖台湾，对吧？这显然很脆弱。至于英特尔，他们一直在缓慢而稳定地下滑。他们曾经在服务器和PC领域占据主导地位，但现在苹果搞出了M1，英伟达要发PC芯片，高通也在发PC芯片；而在服务器领域，超大规模云厂商都在自己做基于ARM的服务器芯片。而且英特尔在AI芯片上毫无建树，赢面很小。他们从来没进入移动市场，因为当初拒绝了iPhone。所有这些因素叠加起来，导致他们失去了制程工艺的领先地位。他们领先了20年，现在却落后了至少好几年。他们正试图追赶回来，至于他们的18A、14A战略能不能奏效，我们拭目以待。

250:10

they've been slowly steadily declining they they were on top of servers and PCs but now apples

他们一直在缓慢但持续地下滑。他们曾经在服务器和PC领域占据主导地位，但现在苹果搞出了M1，英伟达在发PC芯片，高通也在发PC芯片，而在服务器这边，超大规模云厂商都在自己做基于ARM的服务器芯片。英特尔在AI芯片上完全没有拿得出手的东西，对吧？他们只有一些很小的胜利，而且他们从来没进入移动市场，因为他们拒绝了iPhone。所有这些事情叠加在一起，他们失去了制程工艺的领先地位，对吧？他们领先了20年，现在至少落后了好几年，对吧？他们正在努力追赶，我们得看看他们的18A和14A策略能不能奏效。不过话说回来，在PC领域，我觉得Windows这边大部分还是会继续用英特尔吧。我们来聊聊这个。

250:16

done the M1 and Nvidia is releasing a PC chip and Qualcomm's releasing PC chip and in servers

超大规模云厂商都在自己做基于ARM的服务器芯片，而英特尔在AI芯片上根本没有拿得出手的成果。

250:21

hyperscalers are all making their own arm-based server chips and Intel has no AI silicon

他们只有很小的胜利，而且因为当初拒绝了手机市场，所以从来没进入过移动领域。

250:28

like wins right they have very small wins and they never got into mobile because they said no to

而且他们赢的地方很少，从来没进过移动端，因为他们对移动说了不

250:33

the iPhone and like all these things have compounded and they've lost their process technology

iPhone 和所有这些产品都在叠加，但它们在制程工艺技术上已经失去了领先地位。没错，他们领先了20年，现在至少落后了好几年。他们正试图追赶回来，我们拭目以待他们的18A、14A策略能否奏效。不过PC这边，我猜Windows阵营大概率还是会继续用Intel。我们来聊聊研究方面的人力投入——比如现在做reasoning这类事情，这些研究已经存在了，他们会继续扩大规模，投入大量研究。所以我觉得，人们总盯着回报问题，但其实很容易就能说清楚：你看，GDP就是人类本身——虽然这是个很笨的解释方式，但基本上这就是投资逻辑的核心。

250:37

leadership right they were ahead for 20 years and now they're behind by at least a couple years

领导力方面，他们领先了20年，现在至少落后了好几年。

250:40

right and they're trying to catch back up and we'll see if like their 18A 14A strategy works out

对，他们正在努力追赶，我们得看看他们的18A、14A策略能不能奏效。

250:45

where they try and leapfrog TSMC but like and Intel is just like losing tons of money anyways right

他们想方设法要超越台积电，但英特尔反正也在亏大钱对吧

250:51

and they just fired their CEO even though the CEO was the only person who understood the company well

而且他们刚把CEO炒了，哪怕那个CEO是唯一真正懂公司的人

250:56

right we'll see he was not the best but he was pretty good relatively technical guy what is

是啊，走着瞧吧，他虽然不是最优秀的，但还算不错，是个比较懂技术的人

251:01

Intel make most of its money the CPU still PCs and data center CPUs yeah but data center CPUs are

英特尔主要靠什么赚钱？还是CPU，个人电脑和数据中心CPU对吧，但数据中心CPU

251:06

all going cloud and Amazon Microsoft Google are making our arm-based CPUs and then PC side AMD's

全都在往云端走，亚马逊、微软、谷歌都在做基于ARM的CPU，而个人电脑这边AMD抢了不少市场份额，英伟达推的芯片估计成不了，对吧，联发科、高通

251:13

gained market share Nvidia's launching a chip that's not going to be success right media tech Qualcomm

也都在推芯片，苹果做得也不错，对吧，他们在个人电脑领域可能会被挤压一点

251:18

ever launch chips apples doing well right like there they could get squeezed a little bit in PC

不过个人电脑这块，我觉得Windows这边大部分还是会用英特尔，咱们聊聊这个吧

251:23

although PC generally I imagine we'll just stick Intel mostly for Windows side let's talk about

不过PC这边，我猜Windows阵营大概率还是会继续用Intel。我们来聊聊研究方面的人力投入吧。现在做推理这类事情已经有人手了，他们会扩大规模，做大量研究。所以我觉得，大家总盯着回报周期的问题，但很容易简单粗暴地说——你知道，GDP就是人类——这种解释有点笨，但这基本上就是投资逻辑的核心：智能，也就是给他们已经在卖的产品额外增加智能的加成。

251:27

the broad AI race who do you think wins we talked about Google the leader who the default leader has

广义的AI竞赛中，你觉得谁会赢？我们聊过Google，那个默认的领导者一直是Google，因为他们的基础设施优势。但新闻里说OpenAI才是领导者，他们拥有最好的模型，人们能用的最好的模型，而且他们的AI收入最高。没错，OpenAI正在赢。那现在谁在靠AI赚钱？有人赚钱吗？从会计利润来看，微软在赚钱，但他们花了很多现金，你知道，这些会逐年折旧。Meta靠推荐系统赚了大钱，那是AI，但不是靠Llama。Llama肯定在亏钱。我觉得Anthropic和OpenAI显然没赚钱，不然他们也不会这样。

251:34

been Google becomes of their infrastructure advantage well like in the news open AI is the leader

谷歌的优势在于他们的基础设施，就像新闻里说的，OpenAI 是领导者。

251:40

they're the leading in the best model they have the best model that people can use and

他们拥有最领先的模型，也是人们能用到的最好的模型，

251:45

there they have the most AI revenue yeah open AI is winning is so who's making money on AI right

而且他们的AI收入最高。没错，OpenAI 确实在赢。那现在到底谁在靠AI赚钱？

251:53

now is anyone making money so accounting profit wise Microsoft is making money but they're spending a

有人赚钱吗？从会计利润来看，微软是赚钱的，但他们也花了很多钱在capex上，

251:58

lot of catbacks right you know and that gets depreciated over years meta is making tons of money

这些投入要分多年折旧。Meta 靠推荐系统赚了很多钱，

252:03

with recommendation systems which is AI but not with Alma right Lama's losing money for sure right

这确实是AI，但不是靠Llama。Llama 肯定在亏钱。

252:10

I think anthropic and open AI are obviously not making money because otherwise they wouldn't be

我觉得Anthropic和OpenAI显然没赚钱，否则他们也不会有几十亿的收入，

252:13

raising money right they have to raise money to build more right although theoretically they are

融资嘛，他们得筹钱去建更多算力，虽然理论上他们已经在赚钱了——比如你花了几亿美元搞GPT-4，它现在带来几十亿的收入，所以显然是在赚钱。但他们还得继续做研究，去提升计算效率，把成本降下来，比如GPT-3已经实现了1200倍的效率提升，现在可能才到几百倍吧，但GPT-4 Turbo和4o出来之后，可能还会有一个比GPT-4更便宜的版本，迟早会推出。而他们的研究成本非常高，非常高。

252:19

making money right like you know you spent a few hundred million dollars on GPT-4 and it's doing

对，没错，这就是大家不太讨论的成本问题——当你

252:23

billions in revenue so like obviously it's like making money although they had to continue to research

所以看起来他们确实在赚钱，尽管还得继续搞research。

252:27

to get the compute efficiency wins right and and move down the curve to like you know that 12 get

要在计算效率上取得优势，并沿着曲线往下走，比如你知道GPT-3已经实现了1200倍的提升，现在可能我们只达到了几百倍，但GPT-4 Turbo和4o出来之后，未来还会有更便宜的版本，甚至比GPT-4还便宜。而他们的研究成本非常非常高。

252:32

that 1200X that has been achieved for GPT-3 you know maybe we're only at like a you know a couple

对，没错，这就是大家很少讨论的成本问题——当你做研究时，人力成本其实很高。比如现在做推理这类事情，这些研究团队会不断扩展规模，投入大量研究。所以我觉得，人们总在关注回报问题，但其实很容易就能说，你看，GDP是人类创造的。

252:37

hundred X now but you know with GPT-4 turbo and 40 and there will be another one probably cheaper

hundred X 现在，但你知道，GPT-4 turbo 和 40 之后还会有另一个，可能比 GPT-4 更便宜。哦，就算那个某天出来了，他们的研究成本也超级高。

252:42

than GPT-4 oh even that comes out at some point and their research costs a lot a lot of money

对，没错，这就是我觉得大家没怎么讨论的成本问题——当你做研究的时候，人力成本，嗯，去做像 reasoning 这类事情，现在它已经存在了，他们会 scaling up，会做大量研究。所以我觉得，你知道，大家关注的是回报问题，但很容易就会说，嗯，就像 GDP 是人类——一种比较笨的解释方式，但基本上这就是投资逻辑的核心。

252:48

yep exactly that's the thing that I guess is not talked about with the cost that when you

我觉得只有 Nvidia 在真正赚大钱，其他硬件厂商和 hyperscalers 也是。

252:53

referring to the cost of the model it's not just the training or the test runs it's the actual

说到模型成本，其实不光是训练或测试运行的费用，真正的大头是研究本身和人力投入。比如现在做reasoning这类工作，他们还要继续扩大规模，做大量研究。所以我觉得，大家总盯着回报周期这个问题，但说白了，GDP本质上就是人力加工业资本对吧？如果你能把智能变得廉价，那增长空间就大了。这种解释虽然有点粗糙，但基本上就是投资逻辑的核心。目前真正赚大钱的只有Nvidia，其他硬件厂商和hyperscalers账面上看着在赚钱，实际上都在疯狂砸钱买GPU。

252:59

research the the manpower yeah to do things like reasoning right now that that exists they're

研究方面，人力投入去做像推理这类事情——现在这些已经存在了，他们会继续扩大规模，做大量研究。所以我觉得，大家总盯着回报周期的问题，但其实很容易就能看出，GDP本质上就是人类在学习如何训练出可验证的结果。

253:04

gonna scale up they're gonna do a lot of research so I think I think the you know people focus on

Agent应该意味着某种开放式的任务，比如WWDC那种在应用之间协调、调用工具的能力，这正是语言模型要走向推理的方向——未来一两年内会持续发展，然后才是Agent。

253:09

the payback question but it's really easy to like just be like well like you know GDP is humans

但与此同时，像自主执行任务、持续几分钟甚至几小时的那种操作，也会同步推进。

253:14

an industrial capital right and if you can make intelligence cheap you can grow a lot right that's

工业资本就是这样，如果你能让智能变得廉价，你就能实现大规模增长，对吧。这是比较粗浅的解释方式，但基本上这就是投资逻辑的核心。我觉得目前只有Nvidia真正在赚大钱，其他硬件厂商和那些超大规模云服务商，账面上看是在盈利，但实际上他们在采购GPU上花掉了更多钱。我认为其他公司还会继续融资，因为一旦我们实现AGI，这些投资的回报最终会非常巨大。那你觉得会有多家公司成功吗？我不认为这是赢家通吃的局面。所以别把它叫AGI，它不是一个单一的时间点，而是一个快速扩张、不断增长的功能集合。你的意思是很多公司都会有机会。

253:20

the sort of dumb dumb way to explain it but that's sort of what basically the investment thesis is

那种比较笨的解释方式，但基本上这就是投资逻辑的核心。

253:25

I think only Nvidia is actually making tons of money and other hardware vendors the hyperscalers are

我觉得只有Nvidia真正在赚大钱，其他硬件厂商和那些超大规模云服务商，其实是在给他们已有的产品增加智能加成，比如机器人的智能，然后家里有那种个性化机器人之类的。他认为这是一个十万亿甚至更高的市场，也许到某个时间点，我不确定……八十亿个机器人对吧，然后我们给它们发平均工资，好了，这就十万亿了，甚至超过十万亿。是啊，我是说，如果到处都是机器人，为什么非得只有八十亿个呢？当然当然，我会有一个机器人，你可能会拥有二十个。是啊，我觉得这确实有应用场景，所以大概就是这样。

253:30

all on paper making money but in reality they're like spending a lot more on purchasing the GPUs

账面上都在赚钱，但实际上他们花了大价钱去买GPU。

253:36

which you don't know if they're still going to make this much money on each GPU in two years

你不知道两年后每块GPU还能不能赚这么多钱。

253:39

right you don't know if you know all of a sudden open AI goes kapoof and now Microsoft has like

对，你也不知道，万一OpenAI突然垮了，那微软手里几十万块原本租给OpenAI的GPU，虽然靠投资已经回本了，但突然就没客户了，对吧？这种可能性一直存在。

253:47

hundreds of thousands of GPUs they were renting to open AI that are that they paid for themselves

我不信这个。我觉得OpenAI还会继续融资，其他人也会继续融资，因为一旦我们有了AGI，投资回报最终会非常巨大。

253:51

with their you know investment in them you know that no longer have a customer right like this is

那你觉得会有多家公司都做到AGI吗？

253:56

always a possibility I don't believe that right I think you know open AI will keep raising money I

我不认为这是赢家通吃。所以别叫它AGI了，反正不是某一天突然就实现的事。

254:00

think others will keep raising money because the investments the returns from it are going to

我觉得其他公司还会继续融资，因为一旦实现AGI，投资回报最终会非常巨大。

254:05

be eventually huge once we have AGI so do you think multiple companies will get let's just I don't

那你觉得会有多家公司成功吗？我不认为这是“赢家通吃”。

254:11

think it's winner tickle okay so it's not let's not call it AGI whatever it's like a single day it's

好吧，我们不叫它AGI，它更像是一天一天、快速增加的一系列功能。

254:17

a gradual AI super powerful AI but it's it's a gradually increasing set of features that are useful

一个逐渐变强的超级AI，但它是一组逐渐增加的有用功能，而且是一组快速增加的功能。所以你是说很多公司会——这看起来太荒谬了，所有这些公司都在建造巨大的东西。有些公司会从AI中受益，但不是因为他们训练出了最好的模型。比如Meta有很多途径可以从AI中受益，他们的所有服务都有人在使用，人们花时间在Meta的平台上，这是一种提高每用户每小时收入的方式。是的，看起来Google X、X AI、Tesla也很重要，而Meta受益的方式不是直接来自AI本身，比如语言模型，而是来自智能——那种额外的智能提升，应用到他们已经销售的产品上。

254:24

and rapidly increasing rapidly increasing set of features so you're saying a lot of companies will

所以你的意思是，很多公司都会从AI中受益，但不是因为它们训练出了最好的模型。

254:32

be it just seems absurd that all of these companies are building gigantic there are companies that

这些公司都在建巨型模型，看起来简直离谱。有些公司会从AI中受益，但不是因为他们训练出了最好的模型——比如Meta，他们有太多途径可以从AI中获益了，所有服务里都有用户，人们花时间在Meta的平台上，这就能让每小时、每个用户赚更多钱。没错，像Google X、X AI、特斯拉也很重要，而Meta的收益并不直接来自AI本身或大语言模型，而是来自智能——也就是智能对他们现有产品的额外加持。比如机器人的智能，然后家里有定制化的机器人，诸如此类。他认为这是一个10万亿甚至更大的市场，也许在某个时间点，我也不确定。

254:41

will benefit from AI but not because they trained the best model like meta has so many avenues to

比如Meta，它有那么多途径可以从AI中获益，所有服务上都有用户，人们花时间在Meta的平台上，

254:46

benefit from AI and all of their services people are there people spend time on meta's platforms and

这是一种提高每用户每小时收入的方式。

254:51

it's a way to make more money per user per hour yeah it seems like Google X slash X AI slash Tesla

没错，Google、X、xAI、特斯拉这些公司看起来都是这样。

255:00

important to say and the meta will benefit not directly from the AI like the LM's but from the

重要的是要说，Meta 的收益并非直接来自 AI 本身，比如像 LM 这样的东西，而是来自智能——也就是他们现有产品所获得的额外智能加持。无论是机器人的智能，还是家里那种个性化机器人，诸如此类。他认为这是一个 10 万亿甚至更高的市场，到某个时间点，也许……我不知道，80 亿个机器人？然后我们给它们发平均工资？对，那就 10 万亿了，甚至更多。是啊，你想，如果到处都是机器人，为什么非得是 80 亿个呢？当然当然，我会有一个机器人，你可能会拥有 20 个。对，我觉得这确实有应用场景，所以没错，我猜是这样。

255:08

intelligence like the additional boost of intelligence to the products they already sell so whether

智能，就是给他们已经卖的产品额外加一层智能加成，所以不管是

255:13

that's the recommendation system or for Elon who's been talking about Optimus the robot potentially

那是推荐系统，或者对Elon来说，他一直在聊Optimus机器人可能带来的前景——机器人的智能，然后家里有各种个性化机器人这类东西。他认为这是个10万亿甚至10万亿以上的生意，也许某个时间点，我不确定是不是很快，但谁知道呢。机器人嘛，我们来做个TAM分析吧：80亿人类，80亿机器人，对吧？然后给它们发平均工资，好了，10万亿，不止10万亿。是啊，你想，如果到处都是机器人，为什么非得只有80亿台呢？当然当然，我会有一台，你可能会拥有20台。没错，我觉得这确实有应用场景，所以大概就是这样。

255:19

the intelligence of the robot and then you have personalized robots in the home that kind of thing

机器人的智能，然后家里有那种个性化机器人，这类东西。

255:25

he thinks it's a 10 10 plus trillion dollar business which at some point maybe I don't

他觉得这是个10万亿甚至更多美元的市场，到某个时候可能吧，我也不确定。

255:33

not soon but who knows what robots let's do let's do a tam analysis right 8 billion humans and

不会很快，但谁知道呢，机器人嘛，咱们来做个TAM分析吧——80亿人类，配上80亿机器人，然后给他们发平均工资，好，这就出来了，10万亿，不止10万亿。对啊，你想，如果到处都是机器人，为什么非得只有80亿台呢？当然当然，我会有一台，你大概会有20台。嗯，我觉得这确实有应用场景。所以，我觉得还有很大的发展空间，对吧？就像标准聊天那样，你只是随便问个问题什么的，成本还在不断下降。V3是后来那个版本，亏钱最多，但到某个时候，模型会变得非常便宜。

255:39

8 billion robots right and let's let's pay them the average salary and yeah there we go 10

80亿个机器人对吧，然后我们给它们发平均工资，嗯，就这么算，10万亿，比10万亿还多。是啊，我是说，如果到处都是机器人，为什么非得只有80亿个呢？对对对，我会有一个机器人，你大概会有20个。嗯，我觉得确实有这种用途，所以没错。

255:44

trillion more than 10 trillions yeah I mean you know if if if there's robots everywhere why does it

所以我觉得现在成立的公司，都是基于模型会越来越好的假设，比如那些“包装器”公司，就是搭模型顺风车的。短期来看，能活下来的公司是……

255:49

have to be just eight eight billion robots yeah of course of course I'm gonna get I'm gonna have

必须得是八十亿个机器人吧，对对对，我当然会有一个机器人，你大概会有二十个。嗯，我觉得这个确实有应用场景，所以我想

255:55

one robot you're gonna have like 20 yeah I mean I see a use case for that so yeah so I guess

现在成立的公司，很多都是建立在模型会越来越好的前提上，对吧，就是那种“包装器”类的东西，是在借模型的势。短期来看，那家公司可能

256:01

the benefit would be in the products as well which is why open AI is in a trickier position because they

好处也会体现在产品上，这就是为什么OpenAI处境更棘手，因为他们

256:06

all of the value of open AI right now as a brand is in chat GPT and there is actually not that for

OpenAI现在作为品牌的所有价值都在ChatGPT上，而且实际上对大多数用户来说

256:12

most users there's not that much of a reason that they need open AI to be spending billions and

并没有太多理由需要OpenAI花几十亿、上百亿美元去研发下一代最强模型

256:17

billions of dollars on the next best model when they can just license llama 5 and for be way cheaper

他们完全可以授权使用Llama 5，成本还低得多

256:22

so that's kind of like chat GPT is an extremely valuable entity to them

所以ChatGPT对他们来说是一个极其有价值的资产

256:28

but like they could make more money just stop that but the chat application is clearly like does

但他们其实可以赚更多钱，只要停止这么做就行。不过聊天应用显然已经没有太多增长空间了，对吧？就是那种标准聊天模式，你只是用它来问个随机问题之类的。成本还在持续下降，V3是最新的一个，而且是最便宜的。

256:33

not have tons of room to continue right like the standard chat right where you're just using it for

没有太多继续增长的空间了，就像标准聊天场景，你只是随便问个问题什么的，成本还在不断下降。V3是后来那个版本，亏钱最多，但到某个时候，模型会变得非常便宜。对于AGI来说，在数据方面，Google仍然有优势，数据依然重要。任何商业模式建立在GPT-4级别能力上的公司都完蛋了。现在有个常见的说法是，最好的创业公司都是那些建立在模型会越来越好的前提上的，也就是所谓的“包装器”模式，跟着模型的浪潮走。短期内，最能赚钱的公司是那些搞清楚了什么广告定向方法有效的公司。

256:37

a random question and stuff right the cost continues to collapse v3 is the later one add biggest

随便问个问题什么的，成本一直在降，v3是后面那个版本，亏得最多。但到某个时候，你知道模型会变得非常便宜。

256:43

but it's gonna get supported by ads right like as you know llama metal already serves 405 b probably

但这会靠广告来支撑对吧，你知道的，Llama Meta 已经在跑 405B 的模型了，很可能还在亏钱，但到某个节点，模型会变得非常便宜，他们就能靠广告免费提供服务了，对吧？而 Google 就能做到这一点，而且显然他们的覆盖面更广。所以聊天不会是唯一的使用场景。像 reasoning、code agents、computer use 这些东西，才是 OpenAI 未来真正要赚钱的方向，否则他们就会陷入困境。但 X、Google 和 Meta 都有其他产品，所以 OpenAI 和 Anthropic 最终会不会消失呢？除非他们在模型上真的特别强——他们确实强，但这技术太前沿了，我的意思是，这得看情况。

256:48

loses the money but at some point you know they're going to get the models are gonna get so cheap

AGI方面，X在数据上还有优势，Google在数据上也有优势。

256:53

that they can just serve them for free with ad supported right and that's what Google is gonna be able to do

他们可以靠广告支持免费提供服务，这正是谷歌能做的。

256:57

and that's obviously they've got a bigger reach right so chat is not gonna be the only use case

而且显然谷歌的覆盖面更广，对吧，所以聊天不会是唯一的使用场景。

257:01

it's like these reasoning code agents computer use all this stuff is where open AI has to actually go

像这些推理、代码、智能体、计算机操作之类的东西，才是OpenAI未来真正要去赚钱的方向。

257:07

to make money in the future otherwise they're complaints but X Google and matter have these other

否则他们就会面临困境，但X、谷歌和Meta都有其他产品。

257:14

products so this isn't isn't it likely to open AI and then thropic disappear eventually

所以，OpenAI和Anthropic最终会不会消失？

257:22

because unless they're so good at models they are but it's such a cutting I mean yes depends on

除非他们在模型上做得极其出色——他们确实很出色，但这太前沿了。我的意思是，这取决于情况。

257:26

where you think AI capabilities are going you have to keep winning yes you have to keep winning at

你觉得AI能力会往哪个方向发展，你必须持续获胜，是的，你必须在这上面持续获胜。即使AI能力正飞速朝着AGI的方向发展，对X来说，在数据方面、Google在数据方面、数据本身、其他产品以及资金方面，仍然有巨大的提升空间。整个想法是，人类数据已经基本用尽了，但我们不在乎，我们在乎的是自我对弈和可验证性。这是一种自我对弈，而AWS本质上是一个RNG问题。AWS在每台机器上赚的钱并不多，同样，对于最强大的AI平台来说，即使API调用非常便宜，拥有这个平台仍然能赚很多钱，而且这里面机会巨大。

257:31

this as you climb even if the AI capabilities are going super rapidly awesome into the direction

即使AI能力正飞速朝着AGI的方向狂飙，X在数据方面、谷歌在数据方面、Meta在数据方面仍然有优势。

257:37

of AGI like there's still a boost for X in terms of data Google in terms of data matter in terms

任何商业模式建立在GPT4级别能力上的公司，都完蛋了。有句常说的话是，现在最好的生意，都是那些押注模型会越来越好的，比如那些wrapper类的东西，就是搭模型顺风车的。

257:45

of data in terms of other products and the money and of like there's just huge. The whole idea is

从其他产品和资金的角度来看，数据量简直巨大。整个思路是

257:50

human data is kind of tapped out we don't care we all care about self-play verifiable. It's a self-play

人类数据已经基本用尽了，我们都不在乎，我们在乎的是自我对弈的可验证性。这是一种自我对弈

257:56

that AWS is an RNG problem. AWS does not make a lot of money on each individual machine and the same

AWS本质上是一个随机数生成问题。AWS在每台机器上赚不了多少钱，同样

258:02

can be said for the most powerful AI platform which is even though the calls to the API are so

对于最强大的AI平台也是如此，尽管API调用非常便宜，

258:07

cheap there's still a lot of money to be made by owning that platform and there's a lot of

但拥有这个平台仍然能赚很多钱，而且确实有

258:12

discussions as it's the next compute layer. You have to believe that and yeah there's a lot of

这些讨论把它当作下一个计算层。你必须相信这一点，而且确实有很多

258:17

discussions that tokens and tokenomics and LLM APIs are the next compute layer or the next paradigm

讨论说 token、tokenomics 和 LLM API 是下一个计算层，或者说是经济的新范式，有点像能源和石油那样。但你也得相信

258:23

for the economy kind of like energy and oil was but there's also like you have to sort of believe

API 和聊天并不是 AI 的终点，实际上真正的价值在于任务、智能体、

258:27

that APIs and chat are not where AI is stuck right it is actually just tasks and agents and

机器人以及计算机使用这些领域，所有深层价值都会在这些地方实现，

258:34

robotics and computer use and those are the areas where all the debt value will be delivered

而不是 API 或聊天应用，对吧？有没有可能——我是说，这一切最终都会变成商品，

258:40

not API not chat application right is it possible you have I mean it all just becomes a commodity and

然后你只有像 Perplexity 那样非常薄的包装层——开个玩笑，其实有很多包装层在赚

258:46

you have the the very thin wrapper like perplexity just joking there are a lot of wrappers making a

很多钱。是啊，但你觉得有没有可能，人们甚至会忘记什么是

258:56

lot of money. Yeah so but but do you think it's possible that people would just even forget what

很多钱。是啊，但你觉得人们会不会干脆忘记

259:01

open AI and the thought because and just because there would be wrappers around the API and it's

Open AI 和那个想法，因为，就因为 API 外面会包一层壳，而且它是动态的。如果模型进步不快，那它就会变成商品，对吧。Deep Seek V3 就证明了这一点，但之前 GPT-3 的图表也显示了这一点。Llama 3B 比 GPT-3 便宜了 1200 倍，任何商业模式建立在 GPT-3 级别能力上的公司都完了，任何商业模式建立在 GPT-4 级别能力上的公司也完了。现在有个常见的说法是，最好的创业公司都是那些押注模型会越来越好的，也就是那种搭模型顺风车的壳公司。短期来看，最能赚钱的公司是那个搞明白什么广告定向方法有效的公司。

259:05

just dynamically. If model progress is not rapid yeah it's it's becoming a commodity right deep

动态变化？如果模型进步不快，是的，它正在变成一种商品，对吧，Deep

259:10

seek v3 shows this but also the GPT3 chart earlier chart chart showed this right llama 3b is 1200

Seek V3就证明了这一点，但之前的GPT3图表也显示了这一点，对吧，Llama 3B是1200

259:16

extra cheaper than GPT3 any GPT3 like anyone whose business model was GPT3 level capabilities is

比GPT-3便宜得多，任何商业模式建立在GPT-3级别能力上的公司都完了，任何商业模式建立在GPT-4级别能力上的公司也完了。现在有个普遍说法是，目前最成功的商业模式都是基于模型会持续变好这个前提，比如那些搭模型顺风车的封装层产品。短期来看，最能赚钱的公司是那些能针对特定内容找到有效广告投放方法的公司。谷歌用的搜索广告和亚马逊在搜索领域的快速增长就是例子，但在ChatGPT的回复内容里，目前还不清楚如何实现高质量的广告植入，而且如果能在模型成本持续下降的情况下做到这一点...

259:22

dead anyone whose business model GPT4 level capabilities is dead. It is a common saying that the best

短期内，最能赚钱的公司，是那个搞明白什么广告定向方法在搜索上效果好的公司。但在ChatGPT的回报里，这还不清楚。

259:28

businesses being made now are ones that are predicated on models getting better right which would be

把学习当作一种训练方式，用来获得可验证的结果。智能体应该意味着某种开放式的

259:32

like wrappers thing that is riding the wave of the models. The short term the company that could

WWDC，它是在不同应用之间做协调，那种工具调用的能力，是语言模型相关的东西。

259:39

make the most money is the one that figures out what advertising targeting method works for

最能赚钱的，就是找到哪种广告定向方法有效。

259:44

language model generations we have the meta ads which are hyper targeted in feed not within

语言模型生成的内容方面，我们有Meta的广告，这些广告是高度定向的，出现在信息流里，而不是特定内容片段中。还有Google和Amazon使用的搜索广告，Amazon在搜索广告上增长很快。但在ChatGPT的回复内容里，目前还不清楚如何在其中嵌入高质量的广告位。如果模型成本持续下降，你就能从中获得极高的每单位收入——这块收入完全是未开发的，而且技术上怎么做也不明确。是的，这就像Google当年做的AdSense创新。总有一天，GPT的输出里会出现广告，那将带来数十亿甚至更多的收入。考虑到我们现在有语音模式，也许可以通过某种方式让广告以语音形式呈现。

259:49

specific pieces of content and we have search ads that are used by Google and Amazon has been

特定内容片段中，Google和Amazon的搜索广告增长很快，但在ChatGPT的回复里，怎么嵌入一个高质量广告位并不清楚，而且如果模型成本能降下来，技术上到底怎么实现也不明确。对，这就像Google当年做AdSense的创新——未来某天GPT的输出里会出现广告，这能带来几十亿甚至更多的收入。而且现在有了语音模式，广告可能以某种方式融入对话中。说到底，这又回到出口管制的问题上了。如果你觉得AGI还有五到十年甚至更短，而这些实验室认为只有两三年，那显然——

259:53

rising a lot on search but within a piece with within a return from chat GPT it is not clear

在搜索领域增长很快，但结合ChatGPT的回报来看，具体技术上是怎么实现的还不清楚。

259:59

how you get a high quality placed ad within that output and if you can do that with model costs coming

如何在输出中嵌入一条高质量广告，同时控制模型成本，技术上具体是怎么实现的。对，这就是谷歌做AdSense创新的那种思路。总有一天GPT的输出里会出现广告，那将带来数十亿甚至更多的收入。在对话场景中——我们现在已经有语音模式了——也可以通过某种方式让语音里嵌入广告。这其实又回到了出口管制那个问题，对吧。如果你认为AGI还有五年十年甚至更短就会到来——这些实验室觉得也就两三年——那么显然。将学习作为一种训练方式，用于可验证的结果。智能体（agent）应该意味着某种开放式的、能独立自主解决任务、并能适应不确定性的东西。这里面有很多内容。

260:05

down you can just get super high revenue per like that revenue is totally untapped and it's not

往下走，你就能靠这个获得超高收入，这块收入完全是未开发的，而且技术上怎么实现也不清楚。是啊，这就像当年Google做的AdSense创新一样。总有一天你会看到GPT的输出里出现广告，那就能带来几十亿甚至更多的收入——也可能是在对话里，我们现在有语音模式了，也许可以通过某种方式让语音也带上广告。这其实还是建立在那个出口管制的问题上，对吧？如果你觉得AGI还有五年十年甚至更短就会到来，而这些实验室认为只有两三年，那你的行动——假设他们是理性行为者，而他们大部分确实是——在两年内实现AGI、五年内实现、还是十年内实现，做法会非常非常非常不同。

260:11

clear technically how it is done. Yeah that is I mean the sort of the ad sense innovation that Google did

对，这就像Google当年做的AdSense创新。

260:18

the one day you'll have in GPT output an ad and that's going to make like billions if not

总有一天，GPT的输出里会出现广告，那会带来几十亿甚至更多的收入。

260:25

it could be in conversation we have voice mode now it could be some way of making it so the voice

也可能是在对话里——我们现在有语音模式了——可以通过某种方式让语音也承载广告。

260:30

introduces certain things it's much harder to measure and it takes the imagination but yeah

引入了某些东西，衡量起来就难多了，这需要想象力，但确实如此。

260:35

and it wouldn't be so shake it wouldn't come off shady so you would receive public blowback

而且它不会显得可疑，也不会看起来像暗箱操作，所以你会收到公开的负面反馈。

260:41

that kind of thing so you have to do it loud enough to where it's clear it's an ad that

这种事情，你必须做得足够明显，让人清楚这是个广告。

260:45

in balance all of that so that's the open question they're trying to solve and

要平衡所有这些，这就是他们试图解决的开放性问题。

260:48

thropic and open AI they need to they might not say I don't think they care about that at all

Anthropic 和 OpenAI，他们需要——他们可能不会明说，但我觉得他们根本不在乎这个。

260:53

they don't care about it right now I think it's I think they're perfectly are experimenting

他们现在完全不在乎，我觉得他们正在这方面做实验。

260:57

on that more. Oh interesting yeah for sure. Like perplexity Google meta care about this

哦，有意思，确实。像 Perplexity、Google、Meta 会在意这个。

261:04

I think open AI and anthropic are purely laser focused on AGI. Yeah agents and AGI and if I

我觉得 OpenAI 和 Anthropic 纯粹是死死盯着 AGI。

261:10

build AGI I can make tons of money right or I can spend pay for everything right and this is

造出AGI，我能赚大钱对吧，或者我能支付一切开销，对吧。这其实就建立在出口管制那套逻辑上。如果你觉得AGI还有五到十年甚至更短，而这些实验室认为只有两三年，那你的行动——假设他们是理性行为者，大部分时候确实是——在两年实现AGI、五年实现AGI和十年实现AGI的情况下，做法会非常非常非常不同。你觉得agents有前景吗？我们得聊聊这个。这算是今年最让人兴奋的话题了，说agents要造反了。这是个很多商业人士都在用的通用炒作术语：AI agents要彻底改变一切。

261:16

this is you it's just predicated like back on the like export control thing right if you think

这其实又回到了出口管制的问题上，对吧？如果你认为AGI还有五到十年甚至更短，这些实验室觉得就两三年。

261:20

AGI is five ten years away or less right these labs think it's two three years away obviously

用可验证结果来训练，这算是一种学习方式；而agent应该意味着某种开放式的行为。

261:26

your your your actions are you know if you assume their rational actors which they are mostly

你的行为，你知道的，如果你假设他们是理性行动者——而他们大多数时候确实是——那么你在两年、五年还是十年实现AGI，所采取的做法会非常非常非常不同。

261:33

you're what you do in a two year AGI versus five year versus ten years very very very different

这就像每年都在炒作“智能体要造反了”一样，是那种商业人士常用的泛泛 hype 术语：AI 智能体将彻底改变一切。

261:38

right do you think agents are promising we have to talk about this this was uh

对，你觉得智能体有前景吗？我们得聊聊这个。嗯，这就像是今年最让人兴奋的话题——智能体要崛起了。这是个很多商业人士都在用的流行热词：AI agents 会彻底改变一切。把学习当作一种训练方式，用来验证可量化的结果。智能体应该意味着某种开放式的、能独立自主完成任务、并且能适应不确定性的东西。现在有很多地方把“agent”这个词用在像 Apple Intelligence 这样的东西上——虽然上次 WWDC 之后我们还没见到它——它能在应用之间进行协调，这种工具使用的能力正是语言模型非常擅长的。我猜 Apple Intelligence 最终会来的，不过它是个封闭系统。

261:45

this is like the excitement of the year that agents are going to rebel this is the generic

学习作为一种训练可验证结果的方式，智能体应该意味着某种开放式的、能独立自主完成任务、并能适应不确定性的东西。

261:52

hype term that a lot of business folks are using AI agents are going to revolutionize everything

现在有很多把“智能体”这个词套用到像 Apple Intelligence 这样的东西上——那个在去年 WWDC 之后我们还没见到的功能——它是在应用之间进行协调，以及那种工具调用的能力，这其实是语言模型能做到的事情。

261:57

okay so mostly the term agent is obviously overblown we've talked a lot about reinforcement

好，其实“agent”这个词明显被过度使用了。我们聊过很多用强化学习来训练可验证结果的方法，但真正的agent应该意味着能自主解决开放式任务、独立应对不确定性。现在很多地方把“agent”这个词套用在Apple Intelligence这类东西上——去年WWDC之后我们还没见到它——它是在应用之间协调、调用工具，这类事情语言模型确实很擅长。Apple Intelligence嘛，我猜迟早会来，它是个封闭域，就是你的短信应用跟照片整合，后台有AI在运作。很多软件公司为了蹭热度，就把这种东西也描述成agent了。

262:02

learning as a way to train for verifiable outcomes agents should mean something that is open-ended

WWDC 那种在应用之间协调以及工具使用的功能，是语言模型在推理方面会持续一两年的事情，对吧？然后才是 agent，但同时，像自主执行任务、持续几分钟甚至几小时的任务，等等，对吧。

262:08

and is solving a task independently on its own and able to adapt to uncertainty there's a lot of

并且能够独立完成任务，适应不确定性，这里面有很多门道。WWDC 正在协调不同应用之间的交互，这种工具使用的能力，语言模型其实可以泛化到类似这样的场景：比如我说“帮我订一趟两天后去奥斯汀的行程，我有这些约束条件”，然后真正信任它去做。我觉得这里有一个 HCI 的问题，需要重新审视信息获取的方式。那么你的预测是什么？因为我的直觉是，我们离那一步还很远。我认为推理能力这一两年内就会成熟，然后是 agent。但与此同时，人们可以训练出近似下一层级的能力，而 agent 正在自主执行任务，持续几分钟甚至几小时，对吧？

262:13

the term agent applied to things like apple intelligence which we still don't have after the last

像 Apple Intelligence 这种被称作 agent 的东西，上次 WWDC 之后我们还没见到，它能在不同 app 之间协调、做工具调用这类事情。其实语言模型本身就能泛化到这种场景，比如我说“帮我订两天后去奥斯汀的行程，我有这些那些限制条件”，然后真正信任它去做——我觉得这里有个 HCI 问题又回来了，关于信息交互的。那你预测是什么？因为我直觉上觉得我们离那一步还很远。我觉得 reasoning 这一块大概一两年内就能实现，对吧，然后才是 agent。但与此同时，人们也可以训练出近似下一层级的能力，不过 agent 是要自主做事的，持续几分钟甚至几小时那种，对吧。

262:18

wwdc which is orchestrating between apps and that sort of tool use thing is something that language

一个产出或类似的东西，对吧？比如在半导体制造中，成千上万次将任务串联在一起，每次 LLM，即使是最好的 LLM，在特别好的基准测试中也是如此。

262:24

models can do really well apple intelligence I suspect well so we'll come eventually it's a closed

模型在Apple Intelligence上表现确实不错，我猜最终会实现，但它是个封闭系统。

262:29

domain it's your messages app integrating with your photos with AI in the background that will work

你的消息应用会在后台结合AI与照片功能，这被很多软件公司描述为一种agent，以便融入这个叙事。它们能实时解决自身问题，可能只需要少量训练——比如通过微调自身，或者采用上下文学习，也就是把信息存储在prompt里，再用学习算法来更新它。至于你是否相信这能真正泛化到像“帮我订两天后去奥斯汀的行程，我有XYZ限制条件”这样的任务，并且真的信任它——我觉得这里存在一个HCI问题，需要重新获取信息。那么你的预测是什么？因为我的直觉告诉我，我们离那一步还很远。

262:35

that has been described as an agent by a lot of software companies to get into the narrative

很多软件公司为了蹭热度，把它描述成一种“智能体”。

262:40

the question is what ways can we get language models to generalize to new domains and solve their

问题是，我们如何让语言模型泛化到新领域，并实时解决自身的问题——也许在它们进行自我微调时只需要少量训练，或者通过上下文学习（in-context learning），也就是把信息存储在prompt中，再用学习算法去更新它。至于你是否相信这真的能泛化到像“帮我订两天后去奥斯汀的机票，我有XYZ限制条件”这样的任务，并且真正信任它——我觉得这里有一个HCI（人机交互）问题正在重新浮现。那么你的预测是什么？因为我的直觉是，我们离那一步还很远。我觉得OpenAI的那个“五级”声明——不知道你有没有看过——或者它的Chat版本，也暗示了这一点。

262:48

own problems in real time maybe some tiny amount of training when they are doing this with fine

它们能实时解决自身问题，可能在做这件事时会有少量训练，比如通过微调自身，或者利用上下文学习——也就是把信息存进提示词里，再用学习算法来更新。

262:54

tuning themselves are in context learning which is the idea of storing information in a prompt and

至于你是否相信这能真正泛化到像“帮我订两天后去奥斯汀的行程，我有XYZ限制条件”这种任务，并且真的信任它——我觉得这里有个HCI问题，需要重新审视信息获取方式。

262:59

you can use learning algorithms to update that and whether or not you believe that that is going to

那么你的预测是什么？因为我直觉上觉得，我们离那一步还非常远。

263:04

actually generalize to things like me saying book my trip to go to Austin in two days I have

实际上，像我说“帮我订去奥斯汀的行程，两天后出发，我有XYZ限制条件”这种事情，要真正信任它，我觉得这里有一个HCI的问题又回来了。

263:12

XYZ constraints and actually trusting it I think there's a HCI problem coming back for information

嗯，你的预测是什么？因为我的直觉告诉我，我们离那一步还很远。我觉得推理能力会在一两年内成熟，对吧，然后是agent。但与此同时，人们可以训练出下一层级的近似能力，而agent正在自主地做事，一次做几分钟、几小时，对吧。

263:19

well what's what's your prediction that because my gut says we're very far away from that I think

当然，这和制造业是一样的，对吧，比如整个六西格玛的概念，良率之类的。所以在半导体制造中，成千上万的……

263:25

open-ended eyes statement you've I don't know if you've seen the five levels right or its chat is

你那个开放式的说法，我不知道你有没有看过那五个级别，或者Chat的级别划分。但有一点很重要，我们在Chat阶段已经待了好几年，理论上刚刚进入推理阶段，这个阶段大概会持续一两年，然后就是智能体阶段。但与此同时，人们其实可以训练出接近下一级的能力，比如智能体可以自主做事，持续几分钟甚至几小时。而推理阶段呢，是持续几十秒，然后返回一个输出，这个输出我还得去验证、使用、检查。所以最大的问题，当然和制造业一样，就像那个六西格玛的概念。

263:30

level one reasoning is level two and then agents is level three and I think there's a couple more

一级推理是第二阶段，代理是第三阶段，我觉得后面还有几个阶段。但关键要记住，我们在聊天阶段已经待了两年左右，理论上刚刚进入推理阶段，这个阶段会持续一两年，然后是代理阶段。不过与此同时，人们可以训练出接近下一阶段的能力，但代理是自主执行任务，持续几分钟甚至几小时的那种。而推理阶段是每次处理几十秒的任务，然后返回一个输出，这个输出我还需要验证、使用和检查。所以最大的问题当然和制造业一样，就像那个六西格玛的概念。

263:35

levels but it's important to note right we were in chat for a couple years right we just theoretically

但重要的是要指出，我们在chat阶段已经待了好几年，对吧？理论上我们刚刚进入reasoning阶段，这个阶段会持续一两年，然后就是agents。但与此同时，人们可以训练出近似下一阶段的能力，而agents是自主执行任务的，一次运行几分钟甚至几小时，对吧？reasoning则是一次运行几十秒，然后返回一个输出，我仍然需要验证、使用和检查。所以最大的问题当然是，这和制造业一样，比如有个六西格玛的概念，涉及良率之类的。在半导体制造中，良率要达到数万分之一……

263:41

got to reasoning will be here for a year or two right and then agents but at the same time like

那么 reasoning 会持续一两年对吧，然后是 agents，但同时呢，像

263:46

people can people can train like approximate capabilities of the next level but the agent agents are

人们可以大致预测下一级的能力，但智能体正在自主运作，一次执行几分钟甚至几小时的任务，对吧。当然，这和制造业是一样的，比如有个六西格玛的概念，良率之类的，对吧。所以在半导体制造中，成千上万个任务链在一起，每次LLM——即使是最好的LLM，在相当不错的基准测试中——也无法做到百分之百正确，它们会稍微差一点，因为存在大量噪声。那么，如何达到足够的“九个九”的可靠性呢？这和自动驾驶是同一个问题，我们并没有……但确实如此，而这正是他们的宣传点：我们只是要成为人类操作员。

263:52

doing things autonomously doing things for minutes at a time hours at a time etc right

自主地做事，一次做几分钟甚至几个小时等等，对吧

263:57

reasoning is doing things for tens of seconds at a time right and then coming back with an

推理就是花几十秒的时间做一件事，然后返回一个输出，这个输出我还得自己去验证、使用和检查。最大的问题当然是，这和制造业一样，比如有个六西格玛的概念，良率嘛。在半导体制造中，成千上万的步骤最终可能只有六个西格玛的良率，甚至为零。这和智能体也是一回事——把任务串联起来，每次调用LLM，即使是最好的LLM，在相当不错的基准测试上，也做不到百分之百正确，它们会稍微差一点，因为有很多噪声。那么，你怎么才能达到足够的“九个九”的可靠性呢？这和自动驾驶是一样的，我们并没有——

264:02

output that I still need to verify and use and try check out right so and the biggest problem is

这些输出我还需要验证、使用和检查确认，所以最大的问题当然是——这和制造业是同一个道理，对吧？就像六西格玛那套东西，良率什么的。在半导体制造中，成千上万的工序最终要达到六个西格玛的良率，也就是接近零缺陷。而智能体也是同样的问题：把任务串联起来，每次调用LLM——即使是最好的LLM，在相当不错的基准测试中——它们也无法做到百分之百正确，总会差那么一点点，因为存在大量噪声。那么，如何达到足够多的“九个九”的可靠性呢？这和自动驾驶是同一个问题——我们做不到……但确实如此，这恰恰就是他们的卖点：“我们只是充当人类操作员。”

264:07

of course like it's the same thing with manufacturing right like there's the whole six sigma thing

当然，这和制造业是一样的道理，比如有个六西格玛（six sigma）那套东西。良率嘛，对吧？就像半导体制造里，成千上万个任务串在一起，每次LLM——哪怕是最好的LLM，在那些挺不错的benchmark上——也没法做到百分之百正确，总会差那么一点点，因为噪声太多了。所以问题就是，你怎么才能达到足够多的“九个九”呢？这和自动驾驶也是一回事。我们不会……但确实是这样，而且这其实就是他们的宣传话术：我们就当那个人类操作员，不满意的时候介入一下。但那只会成为特斯拉服务包的一部分。我就在想象，一个AI agent和另一个AI agent对话，一家公司有个专门帮忙的AI agent。

264:12

right like you know how many nines do you get and then you compound the nines onto each other and

对，就像你知道的，你能达到多少个“九”的可靠性，然后把这些“九”叠加起来。如果你把六西格玛级别的步骤数乘起来，最后会得到一个良率之类的数字。所以在半导体制造中，有成千上万个步骤，光是99.9999%的可靠性根本不够，因为当你乘上那么多步骤后，最终良率可能只有六小时甚至为零。这和agent的情况是一样的——把任务串联起来，每次调用LLM，即使是最好的LLM，在相当不错的benchmark上，也无法做到100%正确，总会差那么一点点，因为存在大量噪声。那么，你怎么才能获得足够的“九”呢？这和自动驾驶的问题是一样的，我们并没有……

264:16

it's like if you multiply you know by the number of steps that are six sigma you get to you know

这就像，如果你把每一步的六西格玛乘起来，最后得到的就是一个良率之类的东西。所以在半导体制造里，成千上万个步骤，光有99.9999%根本不够，因为你乘那么多次，最后良率可能就变成六个小时甚至零了。这和agent是一样的道理——把任务串起来，每次调用LLM，哪怕是最好的LLM，在benchmark上表现不错，也不可能百分之百正确，总会差那么一点点，因为噪声太大了。那你怎么才能达到足够的“九个九”呢？这和自动驾驶也是一回事。在人类世界里，面对开放、混乱的环境，如果我们得不到足够可靠的智能……

264:22

a yield a yield or something right so like in semiconductor manufacturing tens of thousands of

yield 或者什么的，对吧，比如在半导体制造中，成千上万的

264:26

steps 9 9 9 9 9 9 is not enough right because you multiply that by that many times you actually

9个9的准确率根本不够，因为你反复乘那么多次，最后实际得到的有效产出可能只有六小时甚至为零。这和智能体（agents）的情况是一样的——把任务链式串联起来，每次调用LLM，即便是最好的LLM，在相当不错的基准测试里，也不可能做到百分之百正确，总会差那么一点点，因为存在大量噪声。所以问题就是：你怎么才能达到足够多的“9”呢？这和自动驾驶是同一个道理。在人类世界这个开放、混乱的环境里，如果我们无法获得真正可靠的智能，那就没戏了。但确实有人就是这么推销的——他们说：“我们就是人类操作员，当智能体（agents）失败时，你直接呼叫我们，我们来修复。”这就像是一个API调用，简直太搞笑了。

264:32

end up with like six hours a yield or zero and this is the same thing with agents right like

最后可能得到六个小时的产出，或者零。这和智能体的问题是一样的，对吧？把任务一个个串起来，每次LLM——哪怕是最好的LLM，在那些相当不错的基准测试里——也没法做到百分之百正确，它们会稍微差一点，因为存在大量噪声。所以，你怎么才能达到足够多的“九个九”的可靠性呢？这和自动驾驶是同一个问题。我们并没有……但确实如此，而这恰恰就是他们的宣传话术：没错，我们只需要在全球范围内配备人类操作员，随时准备解决它无法按我的要求完成洗碗机装载的问题。但这只会成为特斯拉服务套餐的一部分。我就在想象，一个AI智能体在和另一个AI智能体对话。一家公司有一个专门提供帮助的AI智能体。

264:38

chaining tasks together each time LLMs even the best LLMs in particularly pretty good benchmarks

每次把任务串联起来，LLMs 即使是最好的 LLMs，在 benchmarks 上也表现得特别好

264:45

don't get a hundred percent right they get a little bit below that because there's a lot of noise

他们做不到百分之百正确，会稍微差一点，因为存在大量噪声。

264:50

and so how do you get to enough nines right this is the same thing with self-driving we don't we

那么，你怎么才能达到足够的“九个九”的可靠性呢？这和自动驾驶是同一个问题——我们并不……

264:56

can't have self-driving because without it being like super geo-fenced like Google like Google's

自动驾驶没法搞，除非像Google那样做超级地理围栏

265:00

right and even then they have a bunch of tele operators to make sure it doesn't get stuck right but

对，而且就算那样，他们还得靠一堆远程操作员来确保车不会卡住，对吧

265:04

you can't do that because it doesn't have enough nines and self-driving has quite a lot of

但你不能这么干，因为它达不到足够的“九”的可靠性，而自动驾驶其实结构挺强的

265:10

structure because roads have rules it's well defined there's regulation when you're talking about

因为道路有规则，定义清晰，还有监管。但当你谈到计算机在开放网络上的使用，比如开放操作系统，那就完全是一团乱麻

265:16

computer use for the open web for example or the open operating system like there's no it's a mess

所以这种可能性——我向来对任何需要跟人类世界、跟这种开放混乱的东西打交道的系统持怀疑态度

265:24

so like the possibility and I'm always skeptical of any system that is tasked with interacting

如果我们无法获得足够智能来解决人类世界本身的问题，那我们就得建立像人类操作员那样的基础设施

265:33

with the human world with the open messy thing if we can't get intelligence that's

面对人类世界这个开放又混乱的东西，如果我们搞不出智能，那就完了。但确实，这恰恰就是他们的卖点——没错，我们就是当AI代理搞不定的时候，人类操作员顶上，你打个电话过来，我们帮你修好。对，就像调个API一样，简直搞笑。全世界都有人乐意帮你解决洗碗机没把碗洗完的问题，哪怕我对结果不满意。但这以后就会变成特斯拉服务套餐的一部分。我就在想象，一个AI代理跟另一个AI代理对话，一家公司专门搞了个AI代理，专门帮别的AI代理干活。但如果你能做出擅长某个步骤的东西，那就可以——对，你可以。跟DoorDash、OpenTable这类平台合作，这些伙伴关系就能让它们往上爬。

265:38

enough to solve the human world on its own we can create infrastructure like the human operators

足以独自解决人类世界的问题，我们可以像人类操作员一样搭建基础设施。但说实话，这就是他们的卖点——"我们只会在AI代理失败时充当人类操作员，你直接呼叫我们，我们来修复"。对，就像调用一个API接口，这太搞笑了。未来当人形机器人普及时，会出现远程操作市场：世界上总有人乐意帮你解决"洗碗机没装好"这种问题——虽然这本来就会包含在特斯拉的服务套餐里。我甚至能想象一个AI代理和另一个AI代理对话的场景：某家公司专门训练了一个AI代理，用来帮助其他AI代理。但如果你能让每个环节都做到极致，那确实可以...

265:44

for Waymo yeah over many years that enable certain workflows there's a company I don't remember

对于Waymo来说，经过很多年，确实在某些工作流程上实现了这种能力。有家公司我记不太清名字了，但他们的卖点就是这个——说白了就是：“当AI代理出问题时，我们来做人工操作员，你直接联系我们，我们来修。”对，就像调用一个API一样，听起来挺搞笑的。未来当人类形态的机器人普及时，一定会出现远程操作市场——比如我家的洗碗机没装好，我不满意了，世界上某个地方就会有人乐意帮我解决这个问题。不过那可能只是Tesla服务包的一部分。我甚至能想象一个AI代理跟另一个AI代理对话的场景：有家公司专门做了一个AI代理，用来帮助其他AI代理。但如果你能让每个步骤都做得很好，那其实是可以做到的。

265:48

it but it is but that's literally their pitches yeah we're just going to be the human operator when

但事实就是如此，而这正是他们的宣传话术：我们只是充当人类操作员，当系统出问题时介入。

265:52

agents fail and you just call us and we fix it yeah it's like an API call and it's hilarious there's

智能体出错了，你就打电话给我们，我们来修，对，就像调用API一样，还挺好笑的。世界各地都有人乐意帮你解决它没法把洗碗机装好的问题，如果你不满意的话，但这只会成为特斯拉服务套餐的一部分。我就在想象一个AI智能体跟另一个AI智能体对话的场景，一家公司有个专门帮其他AI智能体解决问题的智能体。但如果你能做出擅长某个步骤的东西，那就可以——对，你可以——跟DoorDash、OpenTable这类平台合作，这些合作关系会让它们往上爬。在研究领域，已经有人内部克隆了所有最热门的网站来训练这些东西，这和DeepMind机器人团队多年来一直在做的是一样的。

265:57

going to be tele operation markets when we get human robots which is there's going to be somebody

等到我们有了人形机器人，就会出现远程操作市场——世界上总有人乐意帮你解决机器人没把洗碗机装好的问题，虽然这最终会成为特斯拉服务套餐的一部分。我只是在想象一个AI agent跟另一个AI agent对话的场景：某家公司专门训练了一个AI agent来帮助其他AI agent。但如果你能把某个环节做得足够好，那就可以——比如DoorDash、OpenTable这类平台，这些合作会让它们快速崛起，它们的模型也会在这些场景中变得非常擅长。这会验证一个概念：可能形成网络效应，让更多公司愿意为AI铺平道路。

266:01

around the world that's happy to fix the fact that it can't finish loading my dishwasher when I'm

全世界都在乐于解决这样一个问题：当我对我家洗碗机不满意时，它没法自己把碗洗完——但这只会成为特斯拉服务套餐的一部分。我在想象一个AI agent和另一个AI agent对话的场景：一家公司有一个专门帮助语言模型完成某个任务的AI agent，然后在instruction tuning的文献里，有一个关键点是你开始把越来越多的任务叠加在一起，它就会开始泛化到所有任务上，而我们不知道我们现在处在这条曲线的哪个位置。我认为对于基于RL和可验证领域的推理来说，我们还没有ChatGPT，实际上很多公司都有那个200美元档位的服务，因为那正是它最擅长的地方。我认为在那个世界里，我们已经看到了类似Sweet Bench这样的东西。

266:06

unhappy with it but that's just going to be part of the Tesla service package I'm just imagining like

不过，这将成为特斯拉服务套餐的一部分。我只是在想象，

266:12

an AI agent talking to another AI agent one company has an AI agent that specializes in helping

一个AI agent和另一个AI agent对话的场景——某家公司有一个专门提供帮助的AI agent。

266:19

other AI agents but if you can make things that are good at one step you can yeah you can

其他AI智能体，但如果你能做出在某个步骤上表现很好的东西，那确实可以一步步推进。

266:24

stack them together so that's why I'm really if it takes a long time we're going to build

把它们堆叠起来，所以这就是为什么我真的很在意——如果花很长时间，我们就会去搭建能实现这个目标的基础设施。你看Operator发布的时候，他们跟某些网站有合作，比如DoorDash、OpenTable之类的。这些合作能让它们快速爬升，它们的模型会在这些场景下变得非常强，这就能验证一个概念。这可能会形成网络效应，更多公司会愿意让AI更容易接入。当然也有些公司会说，不，我们要设置障碍。对，这就是互联网的故事，我们早就见过了。现在在语言模型的训练数据上也是这样，有些公司会说，不行，你得付钱。商业上总会找到解决办法的。不过话说回来，我觉得航空公司跟酒店其实有很强的动力去做这件事。

266:28

infrastructure that enables it you see the operator launch they have partnerships with certain websites

支撑这一切的基础设施是，你看Operator发布时，他们和某些网站建立了合作，比如DoorDash、OpenTable这类平台。这些合作会让他们快速起飞，他们的模型会在这些场景下变得非常擅长，从而验证一个概念。这可能形成网络效应——更多公司会想让AI更容易接入，而另一些公司则会说“不，我们要设置障碍”。没错，这就是互联网的老故事了，我们现在在语言模型的训练数据上也能看到：公司们会说“不，你得付钱”。商业上总会找到解决办法。不过话说回来，我觉得航空公司和酒店其实有很强的动机去卖机票——这简直离谱，你甚至没法直接给美国航空打电话。

266:33

with DoorDash with open table with things like this those partnerships are going to let them climb

通过DoorDash、OpenTable这类合作，这些伙伴关系能帮他们往上爬。

266:39

really fast their models going to get really good at those things it's going to prove a concept

他们的模型会很快在这些事情上变得非常擅长，这将会验证一个概念。

266:43

that might be a network effect where more companies want to make it easier for AI some companies

这可能是一种网络效应，更多公司想让AI变得更易用——有些公司很稳健，但想想看，比如United已经接受了Starlink的条款，他们必须提供交付服务，那就会变得非常快、非常容易实现。我觉得是这样。

266:48

will be like no let's put blockers in place yeah and this is the story of the internet we've seen

就会变成“不行，我们要设置障碍”。没错，这就是互联网的老故事了，我们早就见过。

266:53

we see it now with training data for language models where companies are like no you have to pay

现在语言模型的训练数据上也是这样，公司们都说“不行，你得付钱”。

266:58

business working it out that said I think like airlines have a very in hotels have high incentive

商业上总会找到解决办法的。不过话说回来，我觉得航空公司和酒店有很强的动机去搞定这件事。

267:05

to make their site work really well and they usually don't like if you look at how many clicks it

为了让他们的网站运行顺畅，他们通常不喜欢你去看订一张机票需要点多少次——简直离谱。我觉得你现在根本打不通美联航的人工客服了，他们连号码都不知道。我是说，界面这块真的糟糕透顶。而且想想看，连我作为人类订机票时都会陷入存在主义危机，要让AI agent去处理那个网站，我觉得要构建一个稳健的agent会极其困难。但想想看，比如美联航已经接受了Starlink的条款，他们必须免费提供Starlink，用户肯定会喜欢。如果有一家航空公司说“我们要……”

267:11

takes to order airplane ticket it's insane I don't you actually can't call an American airlines

订个机票简直离谱，你甚至没法直接打美国航空的客服电话。

267:16

agent anymore they don't know about number it's I mean it's it's it's horrible on many on the

agent 已经不行了，它们根本不懂数字，我是说，这这这……在界面方面简直糟糕透顶。而且，想象一下，agent 居然要能处理那种网站——连我作为人类都 struggle，每次订机票都像经历一场 existential crisis。我觉得要构建一个 robust 的 AI agent 会极其困难。但想想看，United 已经接受了 Starlink 的条款，他们必须免费提供 Starlink，用户肯定会喜欢。那如果有一家航空公司说……你知道，像家庭机器人这种东西，做起来会比 self-driving 难得多，因为有无数的 failure modes，对吧？但 agent 就不一样了。

267:22

interface front and and all the to imagine that agents will be able to deal with that website

想象一下，要让AI代理能搞定那个网站——我自己作为人类，每次订机票都像经历一场存在危机。

267:27

when I as a human struggle like I have an existential crisis every time I try book an airplane ticket

我觉得要构建一个足够稳健的AI代理极其困难。

267:33

that I I don't I think it's going to be very extremely difficult to build an AI agent that's

但想想看，美联航已经接受了Starlink的条款，也就是说他们必须提供相应的服务。

267:39

robust but think about like United has accepted the Starlink term which is they have to provide

所以这会带来一整套商业成果，而且会有大量、大量的……

267:44

Starlink for free and the users are going to love it what if one airline is like we're going to

Starlink 免费提供，用户肯定会爱死这个。要是有一家航空公司说“我们要搞这个”会怎样？

267:49

take a year and we're going to make our website have white text that works perfectly for the AI's

花一整年时间，让我们的网站用白色字体，完美适配AI读取

267:54

every time anyone asks about the AI flight they buy whatever airline it is or like they just like

每次有人问AI航班，不管哪家航空公司，他们就直接说

268:00

here's an API in it's only exposed to agents and if anyone queries it the price is 10% higher

这里有个API，只对agent开放，如果有人查询，价格就贵10%

268:06

and and for any flight but we'll let you see any of our flights and you can just book any of them

而且所有航班都能看，你随便订

268:10

here you go agent that's like oh and I made 10% higher price awesome yeah and like am I willing to

给agent一看，哦，价格高了10%，太棒了，然后我说

268:15

say that for like hey book me a flight to see Lex right and it's like yeah whatever yeah yeah yeah

帮我订个去看Lex的航班，它就说行行行

268:19

I think I think you know computers and real world and the open world are really really messy

我觉得吧，计算机和现实世界、开放世界真的非常混乱

268:25

um but if you start defining the problem and narrow and narrow regions people are going to be able

但如果你开始定义问题，不断缩小范围，人们就能做到

268:30

to create very very productive things um and and and ratchet down cost massively right like now crazy

要创造出非常非常有生产力的东西，嗯，然后然后大幅降低成本，对吧？现在像那种疯狂的事情，比如你知道的，家庭机器人，那些会难得多，就像自动驾驶一样，因为有无数的失败模式，对吧？但是像那种能浏览特定网站、完成特定任务的智能体，或者比如看看你——你知道的，拍一张你冰箱里食材的照片，或者上传你的食谱，然后它就能算出该从亚马逊或全食超市订什么生鲜配送——那种事情我觉得会很快变得简单易行。所以这将会涵盖一整套商业成果，而且会有大量各种各样的——

268:38

things like you know robotics in the home you know those are going to be a lot harder to do just like

像家庭机器人这类东西，做起来会难得多，就跟自动驾驶一样，因为可能有无数种故障模式。

268:44

self-driving right because there's just a billion different failure modes right but but like agents

但像 agent 这种，你拍张冰箱里的食材照片，或者上传你的食谱，它就能帮你算出该从 Amazon 或 Whole Foods 订什么，这种就很快很轻松就能实现，我觉得。

268:50

that can like navigate a certain set of websites and do certain sets of task or like look at you

能够浏览特定网站、完成特定任务的那种，比如看看你的——你知道的，拍一张你冰箱里食材的照片，或者上传你的食谱，然后它就能自己琢磨出该从亚马逊/全食超市订什么吃的。那种事做起来会非常快、非常简单，我觉得。所以这会带来各种各样的商业成果，而且会有大量大量的——研究领域里已经有人把谷歌、亚马逊等等所有最热门网站都克隆了一遍，就是为了让——我是说，OpenAI 内部很可能也有这些克隆版，用来训练这些东西。这和 DeepMind 机器人团队多年来一直有的做法是一样的。

268:55

know look at your you know take a photo of your grocery your fridge and or like upload your

所以这会带来各种各样的商业成果，而且会有大量大量……

268:59

recipes and then like it figures out what to order from you know uh amazon slash whole foods food

在科研领域，已经有人把那些最热门网站全都克隆了一遍。

269:04

delivery like that's then that's going to be like pretty quick and easy to do I think so it's

在研究领域，已经有人克隆了所有最流行网站的内部版本，用来训练这些东西。

269:07

going to be the whole range of like business outcomes and it's going to be tons of tons of sort of

这和DeepMind的机器人团队多年来在伦敦的做法是一样的：你向它发送任务，它排列积木，然后你进行这项研究。当然，还有……

269:12

optimism around people can just figure out ways to make money to be clear these sandboxes are

围绕人们总能想办法赚钱的乐观情绪，需要明确的是，这些沙盒环境确实存在于研究中。有人已经克隆了所有最流行的网站，比如谷歌、亚马逊等等，目的是为了——我猜OpenAI内部可能也有这些——用来训练模型。这和DeepMind机器人团队多年来的做法一样，他们拥有用于机器人研究的集群，你可以完全远程与机器人交互，他们在伦敦有一个实验室，你向它发送任务，整理积木，进行这类研究。显然，这里面有文本和复杂的内容，但我们之前已经转动过这些自动化的曲柄：从沙盒环境到取得进展，然后一次增加一个领域，最终实现泛化。我认为在历史上，

269:15

to exist in research there are people who have built clones of all the most popular websites of

在研究领域，已经有人把最热门网站的内部版本都克隆了一遍，用来训练这些模型——这和DeepMind机器人团队多年来一直在做的事一样。

269:20

google amazon blah blah blah to make it so that there's and i mean opening i probably has them

谷歌亚马逊之类的公司都在做这件事，目的是让系统能够——我是说，开放式的，我猜它们内部肯定有这种机制。训练这些东西的方式，和DeepMind的机器人团队在伦敦多年来一直做的一样：你把任务发过去，让它排列积木，做这类研究。当然，这里面还有文本那些厚重的东西，但我们在自动化方面已经拧过这些旋钮了——从沙盒环境到实际进展，然后一次加一个领域，逐步泛化。我觉得在语言模型的历史上，它一开始只做单一任务，然后在指令微调的相关文献里，有一个关键节点：当你把越来越多的任务堆在一起时，它就开始对所有任务产生泛化能力。我们不知道现在处在这条曲线的哪个位置。对于推理能力，结合强化学习和可验证领域，我也不确定。

269:26

internally to train these things it's the same as deep minds robotics team for years has had

先取得进展，然后每次增加一个领域，逐步泛化。我觉得在语言模型的历史上，最初只做单一任务，后来在指令微调的相关文献中，有一个关键节点：当你把越来越多的任务叠加在一起时，模型就开始对所有任务产生泛化能力。

269:30

clusters for robotics where you like you interact with robots fully remotely they just have a lab

在机器人领域，有些集群你可以完全远程与机器人交互，他们在伦敦有个实验室，你给那边发任务，让机器人摆积木，做这种研究。当然，这里面有文本，有那些复杂的东西，但我们已经转动过自动化的旋钮——从沙盒环境到取得进展，然后一次加入一个领域，再泛化。我觉得在语言模型的历史上，它先做单一任务，然后在指令微调的相关文献里，有一个节点：当你开始把越来越多的任务放在一起训练时，它就开始泛化到所有任务。我们不知道现在在这条曲线上处于什么位置。对于结合强化学习和可验证领域的推理，我们还在很早期的阶段，但也不清楚那个临界点在哪里——就是当你开始训练到一定程度后，一切就突然通了。

269:35

in London and you send tasks to it and arrange the blocks and you do this research obviously there's

在伦敦，你把任务发过去，它帮你安排这些模块，然后做研究，显然是为了推进。然后你一次加一个领域，慢慢泛化。我觉得在语言模型的历史里，一开始只做一个任务，后来在指令微调的相关文献里，有一个关键点：你开始把越来越多的任务堆在一起，它就开始泛化到所有任务了。我们不知道现在在这条曲线上处于什么位置。对于推理这块，结合强化学习和可验证的领域，对吧？或者就是标准的ChatGPT，对吧？就像很多程序员——其实我认识的程序员里很少——我们不用ChatGPT，实际上很多人用的是两百美元那个档位，因为它确实太好用了。我觉得在那个世界里，我们已经看到了，比如Sweet Bench。

269:40

text there that thick stuff but we've turned these cranks of automation before you go from sandbox

那里那层厚厚的东西，但我们之前已经转动过这些自动化的旋钮，从沙盒走向进步，然后一次加入一个领域，逐步泛化。我认为在语言模型的历史中，它只做单一任务，然后在指令微调的文献里，有一个节点，当你开始把越来越多的任务加在一起时，它就开始泛化到所有任务，而我们不知道现在处于这条曲线的哪个位置。对于这种结合强化学习和可验证领域的推理来说，对吧，或者就是标准的ChatGPT，对吧？就像很多程序员——我认识的程序员很少——我们不用ChatGPT，实际上很多人用的是两百美元那个档位，因为它实在太有用了。我认为在那个世界里，我们已经看到了，比如Sweet Bench。

269:47

to progress and then you add one more domain at a time and generalize i think in the history of

我们还不清楚自己处在这条曲线的哪个位置。对于结合强化学习和可验证领域的推理能力，我认为同样如此。

269:53

nlp and language processing instruction tuning in tasks per language model used to be like one

NLP 和语言处理里的 instruction tuning，以前每个任务对应一个语言模型，一个模型只做一个任务。后来 instruction tuning 的研究里出现了一个转折点，就是当你把越来越多的任务加在一起训练时，模型开始对所有任务都泛化了。我们现在不知道在这条曲线上处于什么位置。对于 reasoning 结合 RL 和可验证领域，我觉得我们还非常早期，但也不清楚那个临界点在哪里——就是当你训练足够多的领域后，突然“噗”的一下，更多领域就开始生效了，你就跨过了泛化屏障。那你怎么看编程这个场景？就是软件工程，我个人知道很多人跟 AI 互动最多的就是这里，而且有很多恐惧情绪。

269:58

language model did one task and then in the instruction tuning literature there's this point where

语言模型完成了一个任务，然后在指令微调的相关文献里，有一个关键点就是

270:02

you start adding more and more tasks together where it just starts to generalize to every task and

当你开始把越来越多的任务叠加在一起时，它就会开始泛化到所有任务上

270:07

we don't know where on this curve we are i think for reasoning with this rl and verifiable domains

而我们并不知道自己目前处在这条曲线的哪个位置。我觉得对于这种结合强化学习和可验证领域的推理来说

270:11

we're very we're early but we don't know where the point is where you just start training on

我们还处于非常早期的阶段，但不知道那个临界点到底在哪——就是开始直接训练模型的那个点。

270:15

enough domains and poof like more domains to start working and you've crossed the generalization

足够多的领域，然后嘭，更多领域开始起作用，你就跨过了泛化门槛。那你怎么看编程这个领域，也就是软件工程？你知道，我个人认识很多人，他们和AI互动最多的就是这里，而且有很多恐惧。目前AI最大的收入和生产力提升都来自这里，不管是Copilot、Cursor，还是别的什么，或者就是普通的ChatGPT。我认识的程序员里，很少有人不用ChatGPT，实际上很多人还订阅了200美元那个档位，因为它在这方面确实太好用了。我觉得在这个领域里，我们已经看到了，比如SWE-bench，还有如果你看过斯坦福学生做的那个基准测试，我不会说它已经……

270:20

barrier well what do you think about the programming context so software engineering that you know

那你怎么看编程这个领域？也就是软件工程，你知道，我个人认识很多人，他们跟AI互动最多的就是这块，而且有很多恐惧。

270:28

that's where i personally know a lot of people interact with AI the most there's a lot of fear

目前AI最大的收入和生产力提升都来自这里，不管是Copilot、Cursor，还是别的什么，对吧？或者就是普通的ChatGPT。说实话，我认识的程序员里很少有人没用ChatGPT的，而且很多人还买了200美元那个档位，因为它确实太值了。

270:35

in angst too from current cs students but there's also that's where that is the area where probably

现在很多CS学生也很焦虑，但恰恰是编程这块，可能是AI带来最多收入和生产力提升的领域，对吧？不管是Copilot、Cursor，还是普通的ChatGPT——我认识的程序员里，几乎没人不用ChatGPT，而且很多人还买了200美元那个档位，因为它确实太好用了。我觉得在这个领域里，我们已经看到了像SWE-bench这样的成果。如果你看过斯坦福学生做的那个基准测试，我不会说它特别难，但也不简单。我觉得至少得有个几年CS学习经验，或者写过几年代码的人，才能把SWE-bench做好。

270:40

the most AI revenue and productivity gains have come right whether it be co-pilots or cursor or

我觉得在这个领域里，我们已经能看到一些迹象了，比如SWE-bench。如果你看过斯坦福几个学生做的那个基准测试，我不会说它已经……

270:47

what have you right this is or just standard chat gpt right like a lot of i know very few programmers

你说得对，这其实就是标准 ChatGPT 对吧？很多我认识的程序员其实并没有用 ChatGPT，但他们很多人买了那个两百美元的 tier，因为确实太好用了。我觉得在这个领域里我们已经看到了，比如 Sweet Bench 调整工作流，或者一些随机的业务自动化场景——这些并不一定需要 AI，只是需要有人去搭建逻辑，但一直没人做。所有这些事情现在都可以更快地完成。所以我认为软件领域是一方面，另一个领域是工业、化工、机械、能源中心等等。但软件打破了这些壁垒，所以它冲击了那些明确的前沿模型——那些开放权重、带有商业友好许可证、没有任何限制的模型。

270:53

we don't have chat gpt and actually many of them have the two hundred dollar tier because that's

我们还没有ChatGPT，实际上很多这类服务都有200美元一档的订阅，因为它的效果确实太好了，对吧

270:56

what it's it's so good for right i think that in that world we already see it like sweet bench

我认为在这个领域里我们已经能看到像Sweet Bench这样的东西

271:03

and if you've looked at the benchmark made by some Stanford students i wouldn't say it's like

如果你看过斯坦福学生做的那个基准测试，我不会说它有多厉害。现在它能轻松完成代码补全，也能在审查后生成一些函数，效果还不错。但说实话，我觉得软件工程智能体比其他任何智能体都能更快实现，因为这是一个可验证的领域——你随时可以跑单元测试或编译。而像那些乱七八糟的平台、公司系统运行不完美、需要调整工作流的情况，或者那些不一定需要AI的随机业务自动化场景——只是没人搭建好的逻辑——所有这些事情都能更快推进。所以我认为软件领域，然后另一个领域就是工业、化学、机械这些。

271:08

really hard but i wouldn't say it's easy either i think like it takes someone who's been through

确实很难，但我也不能说它容易。我觉得需要至少有过几年计算机科学经验，或者写过几年代码的人，才能把Sweet Bench做好。

271:11

at least you know a few years of cs or a few a couple years of programming to do sweet bench well

你知道，这个数字会更高，但可能不会达到100%，因为那种“几个九”的准确率真的很难做到。不过我们会达到某个临界点，然后就需要更难的软件工程基准测试，以此类推。

271:16

and the models went from 4% to 60% in like a year right and where are they going to go to next year

模型在一年内从4%提升到了60%，对吧？那明年它们会达到什么水平呢？你知道肯定会更高，但可能不会到100%，因为那最后的几个百分点真的很难突破。不过我们总会达到某个临界点，到时候就需要更难的软件工程基准测试了，以此类推。但现在人们普遍的看法是：它做代码补全很轻松，生成一些函数经过审查后效果也很好。但说实话，我觉得软件工程智能体比其他任何类型的智能体都能更快实现，因为这是一个可验证的领域——你随时可以跑单元测试或者编译检查。而且它有很多不同的优势，比如能一次性审查整个代码库，这是人类做不到的。

271:23

you know it's going to be higher it probably won't be 100% because again that nines is like really

但现在大家普遍的看法是：它做代码补全很容易，做函数生成经过审查后效果也很好。

271:27

hard to do but we're going to get to some point where that's and then we're going to need harder

但真正意义上的软件工程智能体，我觉得可以比其他任何智能体更快实现，因为它是一个可验证的领域——你总是可以用单元测试或者编译来检查。

271:31

software engineering benchmarks and so on and so forth but the the way that like people think of it

软件工程基准测试等等，但现在人们普遍的看法是，它能轻松完成代码补全，也能在审查后生成一些函数，效果不错。但我认为，软件工程智能体其实比其他任何智能体都能更快实现，因为这是一个可验证的领域——你总能做单元测试或编译。还有那些乱七八糟的情况，比如某些随机平台或公司系统运行不完美，需要调整工作流，或者一些随机的业务自动化场景，不一定需要AI，只是需要构建逻辑，但没人去构建。所有这些事情都可以更快地发生。所以我认为软件领域，然后另一个领域是工业、化学、机械相关的。

271:37

now is it can do code completion easy it can do some function generation after review it great

现在它能轻松完成代码补全，也能在审核后生成一些函数，这很棒。

271:41

but really the the like software engineering agents i think can be done faster sooner than any

但说实话，像软件工程智能体这类东西，我觉得可以比其他任何智能体更快、更早实现，因为这是一个可验证的领域——你随时可以跑单元测试或编译。

271:46

other agent because it is a verifiable domain you can always like unit test or compile and and

而像那些乱七八糟的平台、公司系统运行不完美、需要调整工作流，或者那些随机的业务自动化场景——它们不一定需要AI，只是需要有人去构建逻辑，但没人去做——所有这些事情都可以更快地发生。

271:53

there's many different regions of like it can inspect the whole code base at once which no

有很多不同的区域，比如它可以一次性检查整个代码库，这是其他方式做不到的。

271:59

no engineer really can only the architects can really think about this stuff the really senior

没有工程师真的能，只有架构师才能真正思考这些东西，那些非常资深的

272:03

guys and they can define stuff and then the agent can execute on it so i think i think software

人，他们可以定义东西，然后agent去执行。所以我觉得，软件工程

272:07

engineering costs are going to plummet like crazy and and one interesting aspect of that is when

成本会疯狂下降，而其中一个有趣的点是，当

272:12

software engineering cost are really low you get very different markets right so in the us you have

软件工程成本真的很低时，你会得到完全不同的市场，对吧。在美国，你有

272:17

all these platforms as companies right sales force and so on and so forth right in in china no one

所有这些平台型公司，Salesforce之类的，对吧。而在中国，没人

272:23

uses platforms as everyone just builds their own stack because software engineering is much cheaper in

用平台，大家都自己搭自己的技术栈，因为软件工程在中国便宜得多，

272:30

china and partially because like people stemgrip number of stem graduates etc so stem is such

部分原因是因为STEM毕业生数量等等，所以STEM

272:35

generally just cheaper to do and so at the same time code for like code albums have been adopted

整体上就是更便宜。同时，像代码库这样的东西也被广泛采用了。

272:41

much less in china because the cost of an engineer there is much lower but like what happens when

在中国更是如此，因为那里的工程师成本低得多。但问题是，当每家公司都能以极低的成本快速创造自己的业务逻辑时，会发生什么？你不再依赖平台，而是开始构建定制化的解决方案，并且能快速调整它们。这样一来，你的业务效率可能会更高——因为你不用再忍受那些乱七八糟的平台，比如某些公司的产品无法完美运行，还得调整工作流程，或者处理那些不一定需要AI的随机业务自动化场景——这些只是需要被构建但没人做对的逻辑。所有这些事情都能更快地发生。所以我认为，软件领域，以及另一个领域——工业、化学、机械——也会如此。

272:46

every company can just invent their own business logic like really cheaply and quickly you stop

每家公司都可以非常便宜且快速地发明自己的业务逻辑，你不再使用平台，而是开始构建定制化的解决方案，并且可以非常迅速地修改它们。

272:50

using platforms as you start building custom tailored solutions you change them really quickly now all

突然间，你的业务也可能变得更高效一些，因为你不用再处理那些乱七八糟的、像某些平台公司那样无法完美运行的东西，也不用调整工作流程或那些不一定需要AI的随机业务自动化场景——那些只是需要被构建但没人去构建的逻辑。

272:55

of a sudden your business is a little bit more efficient too potentially because you're not dealing with

所有这些事情都可以更快地发生，所以我认为软件领域，以及另一个领域，比如工业、化学、机械方面。

272:58

the hell that is like some random platforms as companies stuff not working perfectly and having to

所以我认为软件领域，以及另一个领域，比如工业、化工、机械、能源中心等等，但软件打破了这些壁垒，因此它也会伤害那些固守旧模式的人。

273:03

adjust workflows or random business automation cases that aren't necessarily a i required it's

调整工作流程或那些不一定需要AI的随机业务自动化场景，只是需要有人去构建但还没人做的逻辑——所有这些事情都可以更快地实现。所以我认为软件领域，以及另一个领域，比如工业、化学、机械、能源中心等等，但软件打破了这些壁垒，所以它伤害了那些……明确的前沿模型，具有开放权重和商业友好许可证，没有任何限制。我们不知道Deep Seek R1的数据，所以你是说我不能做一个廉价的Llama副本然后假装是我的，但我可以用中国模型这么做？对对，就是这样。基础设施以及不同AI公司的努力，你对Stargate怎么看？

273:08

just logic that needs to be built that no one is built right all of these things can go happen faster

就是那些需要被构建但还没人构建的逻辑，所有这些事情都可以更快地发生

273:11

and so i think software and then and then the other domain is like industrial chemical mechanical

所以我觉得软件，然后另一个领域就是工业、化工、机械

273:16

engineers suck at coding right just generally and like their tools like semiconductor engineers their

工程师写代码真的很烂，对吧？一般来说就是这样。比如半导体工程师，他们的工具都用了20年，所有工具都跑在XP系统上，连ASML的光刻工具都跑在Windows XP上。而且很多分析工作还是在Excel里完成的。真的，哥们儿，你们手里有那么多积累的数据，完全可以往前推进20年，做得更好。问题就在于，需要把软件工程的技能真正交付给那些领域专家工程师。所以我觉得，这正是我对通用AI创造价值超级看好的领域。从大方向来看，我不认为这会是一个断崖式的变化——就像我们之前聊到的，增长模式改变的一个很好的例子。

273:21

tools are 20 years old all the tools run on xp including a sml lithography tools run on windows xp

工具都是20年前的了，所有工具都跑在XP上，包括SML光刻工具也跑在Windows XP上。

273:26

right it's like you know and and like a lot of the analysis happens in excel right like it's

对啊，就像你知道的，很多分析工作还是在Excel里完成的，对吧？

273:31

just like guys like you guys can move 20 years forward with all the data you have and gathered and

就是，哥们儿，你们完全可以利用手头积累的所有数据往前推进20年，做得更好。

273:35

like do a lot better it's just you need the engineering skills for software engineering to be

只是需要把软件工程的工程技能，真正交付给那些领域专家工程师。

273:40

delivered to the actual domain expert engineers so i think i think that's the area where i'm like

所以我觉得，这正是我对通用AI创造价值超级看好的领域。

273:44

super duper bullish of generally AI creating value the big picture is that i don't think it's going

大图景是，我不认为这会是一个断崖式的变化——就像我们之前聊到的，增长变化如何更缓慢地自我修正。

273:49

to be a clip it's like we talked to anything the really good example of how growth changes

学生数量还在增长，而这种修正会持续好几年。

273:56

is when metad added stories so snapchat was on an exponential they added stories at flatline

Meta 加入 Stories 功能的时候，Snapchat 正处于指数增长期，而他们加 Stories 时增长已经平了。

274:02

software engineers been up until the right AI is going to come in it's probably going to be flat

软件工程师们一直忙到合适的 AI 出现，但很可能也会进入平台期。

274:07

it's like there's a lot like everyone's going to lose their job it's hard because the supply

就像很多人都在说大家要失业了，但问题在于供给侧的调整更慢——学生数量还在增长，这个调整需要好几年，大概滞后一年左右。但工作岗位会直接掉头向下，也许 20 到 40 年后会跌得很低。不过近几年内，不会出现像 Snap 那种“软件工程师没用了”的瞬间。我觉得程序员这个职业的本质，以及程序员所做的工作类型也会发生变化，因为我认为所有环节都需要有人参与监督。

274:12

corrects more slowly so the amount of students is still growing and that'll correct on a multi year

修正速度更慢，所以学生数量仍在增长，这会在几年内逐步调整过来

274:17

like a year delay but the amount of jobs will just turn and then maybe in 20 40 years it'll

大概延迟一年左右，但工作岗位的数量会先变化，然后可能再过20到40年才会大幅下降。但在头几年里，不会出现那种“软件工程师突然没用了”的瞬间。我觉得，要成为一名程序员需要具备什么特质，以及程序员的工作内容本身也在变化，因为我认为所有事情都需要有人类参与其中。就像，AI可以给你所有完美的想法——但关键在于，人类有一样东西叫“品味”，人类能比AI系统更好地判断出其他人类喜欢什么，这就是你把偏好数据喂进去的原因。但归根结底，人类是最擅长阅读、或者评判两件事之间优劣的，这又回到了我们早期讨论的核心问题。

274:24

be well down but in the few years there'll never be the snap moment where it's like software

会大幅下降，但在头几年里不会出现那种“软件工程师没用了”的瞬间转折

274:29

engineers aren't useful i think also the nature of what it needs to be a programmer and what kind

我认为程序员这个职业的本质以及程序员所做的工作类型也在变化，因为我觉得每件事都需要有人类在循环中

274:33

of jobs programmers do changes because i think there needs to be a human in the loop of everything

就像他们可以给你所有完美的想法，我的意思是，这就是关键——你可以称之为品味

274:40

you've talked about there's a really important human in that picture of like correcting the code

你提到过，在那张图里有一个非常重要的人类角色，就是纠正代码。

274:47

like thicker than the context lens yep and debugging also like debugging by sort of reading the code

比上下文窗口还重要，没错。还有调试，比如通过阅读代码来理解、引导系统——不对不对，你漏了重点，是在提示词里加更多内容。

274:56

understanding the steering the system like no no you missed the point adding more to the prompt

差不多，就是加入人类设计完美谷歌按钮的过程。谷歌以设计出完美按钮而闻名，就像在问，AI怎么能做到那种事？

275:02

kind of like yes adding the human designing the perfect google button google's famous for having

它们可以给你所有想法，完美。我的意思是，这就是关键。你可以称之为品味。人类有一件事能做，就是比AI系统更懂其他人类喜欢什么。

275:08

people design buttons that are so perfect and it's like how like how is AI going to do that

这就是你把偏好加载进去的地方，但归根结底，人类才是最伟大的。

275:13

like it's like they could give you all the ideas perfect i mean that's the thing you can call it

人类有一件事能做，就是比AI系统更懂得判断其他人类喜欢什么

275:18

taste humans have one thing humans can do is figure out what other humans enjoy better than AI

这就是你把偏好加载进去的地方，但最终人类才是最伟大的

275:25

systems that's where the preference you loading that in but ultimately humans are the greatest

阅读者，或者说在两件事之间做判断的人——这又回到了我们早期工作的核心

275:30

preference generate that's where the preference comes from and humans are actually very good at

preference generate，这就是偏好的来源。人类其实非常擅长在两件事之间做判断或比较——这又回到了我们早期在preference tuning中的核心观点：对于很多问题，生成一个好的答案很难，但判断哪个答案更好却很容易。这就是我们现在利用人类来服务AI的方式：判断哪个更好。这也是我们工程流程可能的样子，就像PR一样——这里有几个选项，这些是潜在的优势和劣势，然后他们就会充当评判者。我认为我非常推荐的一点是，人们，尤其是程序员，应该开始使用AI，并拥抱作为AI系统监督者和合作伙伴的角色。

275:34

reading or like judging between two things versus this goes back to the core of what our early

阅读或者说在两件事之间做判断，这又回到了我们早期工作的核心。

275:39

Jeff in preference tuning is is that it's hard to generate a good answer for a lot of problems

Jeff在偏好调优中的核心思路是：很多问题本身很难直接生成一个完美的答案，但判断哪个答案更好却相对容易。这正是当前人类参与AI的方式——充当裁判，判断哪个答案更优。这就像我们工程流程中的PR评审：这里有几个选项，列出潜在优缺点，然后由评审者做决定。

275:42

but it's easy to see which one is better and that's how we're using a humans for AI now is judging

我强烈建议程序员们开始使用AI，并主动承担起AI系统监督者与合作伙伴的角色。实际上，要管理日益智能的系统，程序员需要具备相当高的专业水平。我认为关键在于此，同时还要成为领域专家。

275:47

which one is better and that's what's off our engineering could look like it's the PR of you here's

哪个更好，这就是我们工程团队可能的样子——它就像一份PR（提案），这里有几个选项，比如一些潜在的优缺点，然后会有人来评判、评判。

275:52

a few options what are the like here's some potential pros and cons and they're going to be judges judges

我觉得我非常推荐的是，程序员们应该开始使用AI，并接受自己作为AI系统监督者和合作伙伴的角色。

275:59

I think the thing i would very much recommend is people start programmers start using AI

实际上，作为程序员，你需要相当高的专业水平才能管理越来越智能的系统。我认为就是这样，然后还要成为某个领域的专家。

276:05

and embracing that role of the supervisor of the AI system and like partner of the AI system

化学工程领域，大家都在用非常糟糕的平台、非常老旧的软件。数据科学的工作在很多情况下简直像个笑话，对吧？在很多情况下它确实很真实，但……

276:11

versus writing from scratch or not learning coding at all and just generating stuff because i think

相比从头开始写代码，或者干脆不学编程直接靠生成内容，我觉得实际上，作为程序员，你需要相当高的专业水平，才能管理越来越智能的系统。我觉得是这样，然后还要成为某个领域的专家。没错，因为说真的，你去看看航空航天、半导体或者化学工程，大家都在用很烂的平台、很老的软件。数据科学的工作在很多情况下简直是个笑话，很多时候它确实很真实，但关键是把人类能力的前沿带到你的领域里。就算这个前沿来自AI，你的领域本身，你也算站在前沿了，对吧？所以，你必须得这样。

276:17

there actually has to be a pretty high level of expertise as a programmer to be able to manage

实际上，作为程序员，你必须具备相当高的专业水平，才能管理越来越智能的系统。

276:22

increasingly intelligent systems i think it's i think it's that and then becoming a domain expert

我觉得是这样，然后还要成为某个领域的专家。

276:26

in something sure yeah because like seriously if you go look at aerospace or semiconductors or

确实，真的，你去看航空航天、半导体或者化学工程领域，大家都在用特别烂的平台、特别老的软件。数据科学的工作在很多情况下简直像个笑话，但另一方面它又非常真实——它的意义就是把人类最前沿的能力带到你的领域里。哪怕这个前沿来自AI，你的领域也就站到了前沿，对吧？所以你必须得这么做。哦对，到处都是低 hanging fruit，比如在法律系统里，那些需要自动化或数字化的繁琐工作。这就是为什么DOGE让人兴奋。是啊，我和DOGE那帮人混过一阵子，他们——我是说政府那边——

276:31

chemical engineering everyone is using really crappy platforms really old software like the job

化学工程领域，大家都在用非常糟糕的平台、非常老旧的软件。

276:37

of the data sciences is like is like a joke right in many cases in many cases it's very real but it's

数据科学的工作在很多情况下简直是个笑话，对吧？在很多情况下它确实很真实，但也很令人兴奋。

276:42

like bring what the forefront of human capabilities are to your domain and like even if the forefront is

将人类能力的前沿带到你的领域，即使这个前沿来自AI，你本身也处于前沿，对吧？所以这就像……你必须……

276:48

like from the AI your domain you're like at the forefront right so it's like it's like you have to

哦没错，到处都是唾手可得的成果，比如在司法系统里，那些需要人工操作或数字化的工作。这就是为什么DOGE让人兴奋。

276:52

be at the forefront of something and then leverage the the like rising tide that is AI for everything

站在某个领域的前沿，然后利用AI这股“涨潮”去推动其他一切事情。哦没错，到处都是唾手可得的果实，比如在法律系统里那些需要人工操作、可以自动化或数字化的环节——这就是为什么doge让人兴奋。是啊是啊，我跟doge那帮人混过一阵子，政府真的太老派了，简直在乞求软件现代化、数据整理这些事。说到底，这是有意为之的，因为官僚体系会制造并保护权力中心，而软件能打破这些壁垒，所以会伤害那些紧握权力的人，但最终对全人类有益。这样的领域还有很多。

276:57

else oh yeah there's so many low hanging fruit everywhere in terms of where soft work and like

对对对，我和DOGE那帮人混过一阵子。政府就是权力中心，但软件能打破这些壁垒，所以它会伤害那些紧握权力的人，但最终对人类有益。这类领域还有很多。

277:04

help automate a thing or digitize a thing in in the legal system i mean that's why doge is

你发布了一个新模型？对，这是Tolu。我来解释一下Tolu是什么——Tolu是一种混合骆驼模型。

277:10

exciting yeah yeah i got to hang out with a bunch of the doge folks and they i mean government is

是啊，是啊，我和那群DOGE的人待过一阵子。我的意思是，政府是权力中心之类的，但软件打破了这些壁垒，所以它伤害了那些紧握权力的人，但最终对全人类有益。所以这类领域还有很多。

277:18

like so old school it's like begging for the modernization of software of organizing the data

像老派做法那样，简直是在乞求软件现代化来整理数据。这类事情，说白了就是故意设计的，因为官僚主义会制造并保护权力中心，但软件打破了这些壁垒，所以会伤害那些紧握权力的人，但最终对人类有益。这类领域还有很多。

277:27

all this kind of stuff i mean in that case it's by design because bureaucracy create protects

你发布了一个新模型，对吧？这就是Tolu。我来解释一下Tolu是什么——Tolu是一种杂交骆驼，当你把单峰骆驼和双峰骆驼杂交时就会得到它。在ChatGPT刚出来那阵子，有一大波模型涌现，比如Alpaca、Vicuna等等，它们都以各种哺乳动物命名。所以Tolu这个品牌已经有好几年历史了，正是源自那个时期。

277:33

centers of power and so on but software breaks down those barriers so it hurts those that are

以及权力中心等等，但软件打破了这些壁垒，所以它伤害了那些依赖壁垒的人

277:41

holding onto power but ultimately benefits humanity so there's a bunch of domains of that kind

掌握权力，但最终造福人类，所以这类领域其实挺多的。

277:49

one thing we didn't fully finished talking about as open source so first of all congrats

有一件事我们上次没完全聊透，就是关于开源这块。首先，恭喜你发布了新模型。对，这个模型叫tolu，我来解释一下tolu是什么——tolu是一种杂交骆驼，是单峰骆驼和双峰骆驼杂交出来的。在ChatGPT刚出来那阵子，有一大波模型涌现，比如Alpaca、Vicuna这些，都是以各种哺乳动物命名的。所以tolu这个品牌其实有好几年历史了，就是从那个传统来的。我们一直在后训练的前沿领域探索，用的是开源代码。这次发布的第一部分是在秋天，我们基于Llama的开放模型和开放权重进行构建，然后加入了完全开放的代码和完全开放的数据。

277:57

you released a new model yeah this is the tolu i'll explain what it's tolu is a tolu is a hybrid camel

你发布了一个新模型，对，这就是Tolu。我来解释一下Tolu是什么——Tolu是一种混合骆驼。

278:02

when you breed a dromedary with a backbuckery and camel back in the early days after chat

早期在ChatGPT出现后，大家开始用单峰骆驼和双峰骆驼杂交，那时候冒出了一大波模型，像Alpaca、Vicuna这些，全都用各种哺乳动物命名。所以Tolu这个品牌已经有好几年历史了，就是从那会儿来的。这个项目的初衷，是我们从Llama和Video的Nematron模型里吸取了教训——一开始用的是基于开放权重的模型，但严格来说整个模型并不算真正的开源，因为你根本不知道Llama往里面塞了什么，这也是为什么我们后面会单独搞一个东西。但关键是要打通整个流程的各个环节，让用户能接入和定制。我听到不少创业公司在做Rewards RLVR，跟RLHF有点像，我们已经把它用到了今天的模型上。

278:08

gpt there was a big wave of models coming out like alpaca vacuna etc that were all named after

GPT当时有一波模型大爆发，像Alpaca、Vicuna这些，都是以各种哺乳动物命名的。

278:13

various mammalian species so tolu is the brand is multiple years old which comes from that and

所以Tolu这个品牌已经有好几年历史了，正是源于那个背景。

278:21

we've been playing at the frontiers of post training with open source code and

我们一直在用开源代码探索后训练的前沿，

278:26

this first part of this release was in the fall where we use we built on

这次发布的第一部分是在秋天，我们基于llama的开放模型和开放权重进行构建，

278:31

llamas open models open weight models and then we add in or fully open code or fully open data

然后加入了完全开放的代码或完全开放的数据。

278:38

there's a popular benchmark that is chatbaterina and that's generally the metric by which

有一个流行的基准测试叫chatbaterina，这通常是评估这些聊天模型的标准指标，由人类比较来自不同组织的随机模型。如果你在十一月或十二月查看排行榜，会发现来自几十个组织的排名前60的模型中，没有一个公开了仅用于后训练的代码或数据；其中更少甚至没有模型公开了预训练数据和代码。但后训练在现阶段更容易实现，成本仍然很低，你可以做到。关键在于，当人们能获取所有代码和数据时，我们能把这个数字推到多高——这基本上就是这个项目的动机。我们从llama和video中汲取经验，构建了一个nematron模型。

278:42

how these chat models are evaluated and its humans compare random models from different organizations

这些聊天模型的评估方式是让人类比较来自不同组织的随机模型，

278:48

and if you looked at the leaderboard in november or jessember among the top 60 models from

如果你看十一月或十二月的排行榜，前60个模型来自几十个组织，

278:53

tens to 20s of organizations none of them had open code or data for just post training

其中没有一个在后训练方面开放了代码或数据，

278:58

among that even fewer or none have pre-training data and code available but it's like post-training is

而其中更少甚至没有开放预训练数据和代码，但关键在于后训练

279:03

much more accessible at this time it's still pretty cheap and you can do it and the thing is like

目前更容易获取，成本仍然很低，你可以自己动手做，而且重点是——

279:06

how high can we push this number where people have access to all the code and data so that's kind

我们能把这个数字推到多高，让所有人都能访问全部代码和数据——这基本上就是项目的动机。我们从llama和video的nematron模型里吸取了经验，先从一个基于开放权重的模型开始，这种模型从技术上讲算是开源，因为你不知道llama往里面放了什么，这也是为什么我们会有另一个单独的东西，后面会讲到。但关键在于，让用户能参与并定制整个流程中的某些环节。我听到很多初创公司提到，rewards和lvr跟rlhf挺像的，我们已经把它应用到了今天的模型上，具体是去年基于llama 405b的那个模型。我们还有其他的东西，比如instruction tuning和preference tuning，但数学这块挺有意思的。

279:11

of the motivation of the project we draw in lessons from llama and video had a nematron model where

这个项目的动机是，我们从Llama和Vidéo中吸取经验，做了一个Nematron模型。

279:16

the recipe for their post training was fairly open with some data and a paper and it's putting all

他们在后训练上的方法相当透明，公开了一些数据和一篇论文，核心就是把所有这些整合起来，试图创造一套可复现的流程，让人们能针对自己的领域微调出类似GPT-4的模型。

279:22

these together to try to create a recipe that people can find two models like gpt4 to their domain

所以明确一下，在Tool这个案例里，你大概可以聊到两个版本，但具体到Tool，你们是用Llama 3 45B来做一系列后训练的配方——我们这些年已经做了多个模型。

279:27

so to be clear in the case of tool maybe you can talk about almost two but in the case of tool

然后你们把所有东西都开源了？

279:33

you're taking llama three four five b to do has been the series of recipes for post training so

对，如果你从一个开放权重的基座模型开始，严格来说整个模型并不算真正的开源，因为你不知道Llama往里面塞了什么——这也是为什么我们另外搞了一个东西，后面会讲到——但关键是让用户能接入和定制流水线的某些环节。

279:41

we've done multiple models over years okay and so you're open sourcing everything yeah if you

我知道，我从一些创业公司那里听说了。

279:47

start with an open weight based model they're like whole model technically is an open source because

一开始用的是基于开放权重的模型，但从技术上讲，整个模型并不完全是开源的，因为你不知道Llama往里面放了什么。

279:51

you don't know what llama put into it which is why we have a separate thing that we'll get to but it's

这也是为什么我们另外搞了一个独立的东西，后面会讲到。

279:56

just getting parts of the pipeline where people consume in and customize I know I hear from startups

但关键是要让用户能接入和定制整个流程中的某些环节。

280:01

and businesses they're like okay like I can take this post-training and try to apply it to my domain

企业那边会觉得，行吧，我可以拿这个post-training试着用到自己的领域里。

280:05

we talk about verifiers a lot we use this idea which is reinforced learning with verifiable

我们经常讨论verifiers，用的思路是reinforced learning with verifiable rewards，也就是我们的LVR，跟RLHF有点像。我们把它用在了现在的模型上，也就是去年基于Llama 405B的那个模型。我们还有别的东西，比如instruction tuning和preference tuning。但数学这块挺有意思的，因为数学benchmark更容易提升。有个benchmark就叫MATH，全大写，这名字起得挺硬的。这个benchmark评估的领域就是数学。我们是搞研究的，不是搞品牌策略的。这一点DeepSeek那篇论文也提到了。

280:11

rewards our lvr kind of similar to our lhf and we've applied it to map and the model today which

我听说很多创业公司都在用Rewards，它跟RLHF有点像，我们已经把它应用到了今天的模型和地图上。

280:20

we applied it to the llama 405b based model from last year and we have our other stuff we have

我们把这个方法用在了去年基于Llama 405B的模型上，另外还有我们自己的其他东西——指令微调和偏好微调。但数学这块挺有意思的，因为这里面有很多空间让人去折腾，而且他们直接把Llama官方发布的版本给碾压了，对吧？比它强太多了。嗯，所以我们的验证集指标——虽然我们多花了几个月——但我们的验证集指标，有些人可能在意模型的安全性，也可能不在意。安全性可以放在下游处理，也可以加一些门控机制，有些人可能不想要这些。这其实是因为时间推进的关系：如果我们能晚点发布模型，就有更多时间学习新技术，比如这个强化学习技术。我们去年秋天就开始搞这个了，现在它作为推理模型变得特别火。

280:25

our instruction tuning and our preference tuning but the math thing is interesting which is like

我们的指令微调和偏好微调，但数学这块挺有意思，就像

280:31

it's easier to improve this math benchmarks there's a benchmark MATH math all capitals

提升数学基准测试更容易，有个叫MATH的基准测试，全大写。

280:37

tough name on the benchmark name is the area that you're evaluating we're researchers we're not we're

这基准测试的名字就是你评估的领域，我们是研究人员，不是品牌战略师，这一点Deep Seek的论文也提到了。

280:42

not brands brand strategists and this is something that the deep seek paper talked about as well

然后他们从那个大模型蒸馏到小模型，今天我们发布的这个模型也看到了同样的现象。

280:48

is like at this bigger model it's easier to elicit powerful capabilities with this rl training

在这个更大的模型上，用RL训练更容易激发出强大的能力，然后他们把这个能力从大模型蒸馏到小模型上，就是我们今天发布的这个模型。我们也看到了同样的情况，毕竟我们是AI 2，算力有限，不可能一直训练405b的模型，所以我们只做了几轮实验，结果都挺有效的。这恰恰说明，在这些事情上大家还有很多发挥空间，而且他们直接把llama的实际发布版本给碾压了，比它强太多了。对，我们的val数值——虽然我们多花了几个月——但比他们发布的llama instruct模型好很多。然后你还说比deep seek v3也强？对，在我们的aval benchmark上，deep seek v3其实非常接近，我们有一个……

280:53

and then they distill it down from that big model to the small model and this model we released today

作为AI 2，我们没有大量算力，不能一直训练405B的模型，所以只跑了几次，结果往往有效，这说明在这些事情上还有很多空间让人发挥。

280:57

we saw the same thing is it were AI 2 we don't have a ton of compute we can't train 405b models all

他们直接碾压了Llama的实际发布版，比它强太多了。

281:03

the time so we just did a few runs and they tend to work and it's like it's just shows that there's

对，我们的验证数据——虽然我们多花了几个月——但我们的验证数据确实更好。

281:09

a lot of room for people to play in these things and they crushed llama's actual release right like

给人们留了很多发挥空间，而且他们直接碾压了Llama的实际发布版，对吧

281:15

they're way better than it yeah so our val numbers I mean we have extra months in this but our val numbers

他们比它强太多了。嗯，所以我们的验证集数据——虽然我们多花了几个月——但我们的验证集数据

281:20

are like much better than the llama instruct model that they released and then you also said

比他们发布的 llama instruct 模型好太多了，然后你还提到

281:24

better than deep seek v3 yeah on our aval benchmark the most deep seek v3 is really similar we have a

比 Deep Seek V3 更好，是的，在我们的 aval 基准测试上，Deep Seek V3 其实和我们非常接近

281:31

safety benchmark to understand if it will say harmful things and things like that and that's

safety benchmark 是用来判断它会不会说出有害内容之类的东西，这就是它的作用。

281:35

what draws down no silly way it's still like it's like an amalgamation of multiple benchmarks or

不是那种简单的单一测试，它更像是多个 benchmark 的集合，还是说……你具体指什么？

281:39

what do you mean yeah so we have a 10 evaluate this is like this is standard practice in post training

对，我们有一个叫 10 evaluate 的东西，这在 post training 里是标准做法。

281:43

is you choose your evaluations you care about in academics and smaller labs you'll have fewer

你会选择你关心的评估指标。在学术界和小型实验室里，评估项目会少一些；

281:48

evaluations in companies you'll have a really one domain that you really care about in frontier labs

在公司里，你会有一个真正在意的核心领域；而在前沿实验室里，

281:52

you'll have 10s to 20s to maybe even like 100 evaluations of specific things so we choose a

你会有十几个、二十几个，甚至可能上百个针对特定内容的评估。

281:57

representative suite of things that look like chat precise instruction following which is like

所以我们选了一套有代表性的测试，比如 chat 精准指令遵循——

282:02

respond only in emojis like does the model follow weird things like that yeah math code and you

比如“只用 emoji 回复”这种奇怪的要求，看模型能不能做到。

282:06

create a suite like this so safety would be one of 10 in that type of suite where you have like what

创建一个这样的套件，让安全成为那套东西里的十分之一，就像那种——整个AI社区更关心什么？比如跟Deep Seek比的话，我们模型平均分是80，包括安全在内，如果不算安全也差不多；而Deep Seek不算安全平均分是79%，但加上安全分反而会拉低，所以就算忽略安全你也赢了。对，这其实是我们内部的想法——我不想只靠你怎么设计那个valve benchmark来赢。因为有些人可能在意模型安全，也可能不在意，安全可以放到后面处理，比如你把模型托管成API的时候，安全可以在不同环节解决。

282:12

is the broader community of AI care about and for example in comparison to deep seek it would be

更广泛的 AI 社区关心的是什么呢，比如和 Deep Seek 相比

282:17

something like our average aval for our model would be 80 including safety and similar without and

我们模型的平均 aval 分数大概是 80，包括安全方面，如果不算安全也差不多

282:23

deep seek would be like 79% average score without safety and their safety score would bring it down

而 Deep Seek 的平均分数大概是 79%，不算安全的话，加上安全分数反而会拉低

282:31

like so you beat them even ignoring safety yeah so this is something that internally it's like I

所以就算忽略安全，你们也赢了他们，是的，这在我们内部看来，我不想只靠怎么设计 aval 基准来赢

282:35

don't want to win only by like how you shape the valve benchmark so if there's something that's

因为人们可能在意也可能不在意模型的安全，安全可以后续处理，安全是可以

282:40

like people may or may not care about safety in their model safety can come downstream safety can be

人们可能在意也可能不在意模型的安全性，安全性可以放在下游处理，安全性可以

282:44

when you host the model for an API like safety is addressed in a spectrum of locations and they

当你通过API托管模型时，安全性是在一系列不同环节中被处理的，并且它们会对某些人可能不想要的内容设置门槛。这是因为随着时间推移，如果我们能晚一点发布模型，我们就有更多时间学习新技术，比如这个强化学习技术——我们从去年秋天就开始做了，现在它作为推理模型变得非常流行。开源后训练的下一个方向是扩大验证器的规模、扩大数据规模，以复现DeepSeek的一些成果。这很棒，因为我们有论文可以参考，这让事情变得容易很多。这就是目前学术界和前沿闭源AI研究中正在发生的事情。既然你在推动开源，你觉得它的未来会怎样？

282:49

out applications that's like if you want to say that you have the best recipe you can't just

像那种应用场景，比如你想说你有最好的配方，你不能只把它锁在一些别人可能不想要的东西上。这是因为随着时间推进，如果我们能晚一点发布模型，我们就有更多时间学习新技术，比如这个RL技术，我们去年秋天就开始做了，现在它作为推理模型变得非常流行。开源后训练接下来要做的事情，就是扩大verifier的规模、扩大数据的规模，去复现一些DeepSeek的结果。这很棒，因为我们有论文可以参考，事情就简单多了。这就是目前在学术界和封闭前沿AI研究中正在发生的事情。既然你在推动开源，你觉得它的未来会怎样？

282:53

gated on these things that some people might not want and and this is because it's like the time

通过某些人们可能不想要的机制来管控，这是因为

283:00

of progression we benefit if we can release model later we have more time to learn new techniques

随着时间推进，如果我们能晚点发布模型，我们就有更多时间学习新技术

283:04

like this rl technique we had started this in the fall it's now really popular as reasoning models

比如这个强化学习技术，我们去年秋天就开始做了，现在它因为推理模型而非常流行

283:09

the next thing to do for open source post training is to scale up verifiers to scale up data to

开源后训练的下一步是扩大验证器的规模，同时扩大数据规模，以复现DeepSeek的一些成果。这很棒，因为我们有论文可以参考，这让事情变得容易多了。这正是当前学术界和封闭前沿AI研究中正在发生的事情。既然你在推动开源，你认为它的未来会怎样？R1采用友好许可证是一个重大的转折点，因为这是我们第一次拥有一个真正前沿的模型，它开放权重，并且附带商业友好的许可证，对下游用例没有任何限制。自从数据蒸馏等技术出现以来，这种情况在AI历史上从未发生过。在过去几年里，自从KGBT以来，确实有一些模型是开源的，但从未达到这种程度。

283:15

replicate some of deep seeks results and it's awesome though we have a paper to draw and then it

复现了一些DeepSeek的结果，这很棒，不过我们还有一篇论文要写，然后就是

283:19

makes it a lot easier and that's the type of things that is going on among academic and closed

这让事情变得容易多了，这也是目前在学术界和封闭的前沿AI研究中正在发生的事情。既然你在推动开源，你觉得它的未来会怎样？

283:26

frontier research in AI since you're pushing open source what do you think is the future of it

r1 搭配一个友好的许可证，是一次重大的重置。这是我们第一次拥有一个真正前沿的模型，开放权重，并且附带商业友好的许可证，对下游使用场景没有任何限制。自从data distillation之类的东西出现以来，这在AI历史上从未发生过。过去几年，自从KGBT以来，有一些模型的许可证几乎是允许的，但除了五家公司之外，还有像这样的限制——它说你不能用于特定用途。所以如果你是从开源软件背景过来的，

283:31

you think deep seek actually changes things since it's open source or open weight or it's pushing

你觉得Deep Seek真的会改变局面吗？因为它开源或者开放权重，或者它在推动开源往更开放的方向发展。这又回到了许可证的讨论上。所以Deep Seek R1采用友好的许可证，是一个重大的重置。这就像是我们第一次拥有一个真正前沿的模型，开放权重，并且附带商业友好的许可证，对下游使用场景没有任何限制，自从数据蒸馏之类的东西出现以来，这在过去几年的AI历史上从未有过。自从KGBT以来，有些模型要么不是前沿的，要么带有奇怪的许可证，你根本没法用它们。所以这不像Meta的许可证那样，基本上除了五家公司之外都允许使用，所以这就涉及到……

283:36

the open source moving into the open direction this goes very back to license discussion so deep seek

开源走向开放这个方向，其实根源要追溯到许可证的讨论。所以DeepSeek R1采用友好许可证，是一个重大的重置。这是我们第一次真正拥有一个前沿模型，不仅开放权重，而且附带商业友好的许可证，对下游使用场景没有任何限制，包括数据蒸馏等等。这在AI历史上、在过去几年里从未发生过——自从KGBT以来，要么是那些不在前沿的模型，要么是许可证很奇怪、你根本没法用的模型。比如LLaMA的许可证，基本上除了五家公司之外对其他人都是允许的，还有像这样规定你不能用于特定用途的。所以如果你有开源软件的背景，就会明白这有多不一样。

283:41

r1 with a friendly license is a major reset so it's like the first time that we've had a really

r1 采用友好许可证是一个重大转折，这算是我们第一次真正拥有一个前沿模型——开放权重、商业友好、对下游使用场景没有任何限制。自从数据蒸馏这类技术出现以来，这在过去几年的AI历史上从未发生过，从KGBT时代开始，有些模型的许可证虽然基本允许使用，但会排除五家公司，或者规定不能用于特定用途。所以如果你有开源软件背景，从应用底层和营销角度来看，这本身就挺伤人的。

283:46

clear frontier model that is open weights and with a commercially friendly license with no restrictions

一个清晰的、开放权重的前沿模型，并且带有商业友好的许可证，没有任何限制

283:51

on downstream use cases since that data distillation whatever this has never been the case at all

在下游应用场景中，因为数据蒸馏之类的说法从来就不成立

283:56

in the history of AI in the last few years since KGBT there have been models that are off the

在AI过去几年的历史里，自从KGBT以来，就有一些模型是开源许可的，基本上除了五家公司之外都可以用，还有一些模型明确说不能用于特定用途。所以如果你是从开源软件背景过来的

284:00

frontier or models with weird licenses that you can't really use them so is isn't met as a lot my

前沿模型或者那些许可证很奇怪的模型，你根本没法真正用它们。所以这其实没那么严重——很多许可证基本上都是允许的，只是对五家公司有限制。还有一些许可证会规定你不能用它做某些特定的事情。所以如果你是从开源软件背景过来的，你会发现如果你碰了Llama模型，你就必须把你的模型命名为Llama。这其实是个品牌层面的东西，写在他们的应用底部。从营销角度来看，这真的很伤人。作为研究者，我可以忍一忍，比如想着“好吧，这行字说我们所有东西都得叫Llama-xxx”。但我们不知道DeepSeek R1的数据来源。所以你的意思是，我不能搞一个廉价的Llama复制品然后假装是我自己的，但我可以用中国模型这么干？对，就是这个意思。

284:05

license like pretty much permissible except for five companies and there's also so this goes to

在他们应用的底部，从营销角度来看，这只会带来伤害

284:10

like what open source AI is which is there's also use case restrictions in the Lama license which

比如像开源AI的定义，Lama许可证里也有使用限制条款，规定你不能用它做某些特定事情。所以如果你有开源软件背景，你会说这根本不算开源许可证。具体是哪些限制呢？我现在一时想不全，比如以前有禁止军事用途，后来他们为了扩大规模去掉了这条。还有像CSAM（儿童性虐待材料）、虐待内容这类东西是明确禁止的。但仅凭这些，从开源背景来看就足以说明这不是真正的开源许可证。而且Lama许可证还有个很烦人的规定：如果你对Lama模型做了任何修改，必须把你的模型命名为Lama，这完全就是品牌捆绑。

284:15

says you can't use it for specific things so if you come from an open source software background you

我们不知道Deep Seek R1的数据，所以你的意思是，我不能做一个廉价的Llama复制品然后假装是自己的，但我可以用中国模型这么做？对，对，就是这样

284:19

would say that that is not an open source license what kind of things are those though like are they

会说那并不是一个开源许可证。那具体有哪些限制呢？比如像

284:24

like it's I at this point I can't pull them off the top my stuff like competitor it used to be

现在让我直接列举我一时想不起来，但以前有类似“禁止军事用途”这种条款，后来他们为了扩大规模去掉了。现在会禁止CSAM（儿童性虐待材料）这类内容，

284:29

military use was one they removed that for scale it'll be like like CSAM like trial abuse material

或者类似的东西。但从开源背景的角度看，这已经足够说明它不是开源许可证了。而且Llama许可证还有个很糟糕的地方：

284:36

or like that's the type of thing that is forbidden there but that's enough from an open source

如果你基于Llama模型做了修改，必须把模型命名为“Llama”开头，这就像在应用底部强行加个品牌标识。从营销角度看，这真的很伤——

284:41

background to say it's not over source license and also the Lama license has this horrible thing where

作为研究者我可以忍，比如“好吧，我们所有模型都叫Llama-xxx”，但……

284:46

you have to name your model Lama if you touch it to the Lama model so it's like the branding thing

你的模型只要碰过Llama就得叫Llama，这纯粹是品牌绑定的事。从他们应用底部的标注到营销角度来说，这简直太伤人了。作为研究员我可以忍，比如标注上写着"Llama-"，但问题是我们根本不知道Deep Seek R1的数据来源。你的意思是，我不能搞个廉价版Llama冒充自己的，但用中国模型就能这么干？没错，就是这样。不同AI公司的基础设施和投入力度，你怎么看Stargate？我们该怎么理解Stargate和Sam有钱这事？我觉得Stargate就是个不透明的东西，它绝对没有五千亿美元，连一千亿都没有。

284:52

so if a company uses Lama technically the license says that they should say built with Lama

所以如果一家公司用了Llama，按照许可协议，他们应该在应用底部写上“基于Llama构建”。但从营销角度看，这其实挺伤人的。作为研究者，我可以忍，比如“哦，这行字写着Llama，我们这次发布的所有材料上都有”，但这就是为什么我们需要真正开放的模型——因为我们不知道DeepSeek R1的数据。你是说，我不能搞个廉价的Llama复制品然后假装是自己的，但我可以用中国模型这么做？对对对，我就是这个意思。所以这就是为什么我们想要整个开放语言模型运动，也就是all-mote项目，目的是让模型保持完全开放，数据也尽可能接近开放。

284:56

at the bottom of their application and from like a marketing perspective that just that just hurts

基础设施以及不同AI公司的努力，你怎么看Stargate项目？

285:00

like I can I could suck it up as a researcher like oh this line like it says Lama dash on all of our

像我作为一个研究者，我可以忍气吞声，比如看到“Lama-3”上面写着“全部基于我们的数据”，但我们根本不知道Deep Seek R1的训练数据是什么。所以你的意思是，我不能搞个廉价的Lama复制品然后假装是自己的，但我可以用中国模型这么干？对对对，就是这么回事。不同AI公司的基础设施和投入，你怎么看Stargate？我们该怎么看待Stargate和Sam手里那笔钱？我觉得Stargate是个很模糊的东西，它肯定没有五千亿美元，连一千亿都没有。他签署的一项行政令是关于联邦土地的，基本上你可以在上面随便建数据中心和发电设施，差不多就这样，而且审批流程基本取消了。

285:05

on all of our materials for this release but this is why we need truly open models which is

在我们这次发布的所有材料里都提到了这一点，但这就是为什么我们需要真正开放模型的原因——我们不知道Deep Seek R1的数据，所以你是说，我不能搞一个廉价的Llama复制品然后假装是我自己的，但我可以用这个中国模型做到这一点？对对对，我就是这个意思。而且这也是为什么我们想要整个开放语言模型这件事，那个all-mote项目，就是为了让模型保持完全开放，数据也尽可能接近像John Shulman这样的人给我们的洞见——告诉我们用RL在输出上做训练，这样我们就能实现这些大的飞跃，但要推动开源的前沿确实需要很长时间。从根本上说，我认为这是因为开源AI没有像开源软件那样的反馈循环。

285:10

we don't know deep seek R1's data so you're saying I can't make a you know cheap copy of Lama

我们不知道Deep Seek R1的数据，所以你是说我不能做一个廉价的Llama副本

285:15

and pretend it's mine but I can do this with the Chinese model yeah yeah that's that's what

然后假装是我自己的，但我可以用这个中国模型做到这一点，对对对，就是这样

285:20

I was saying and yeah and that's why it's like we want this whole open language models thing the

我刚才说到，是的，这就是为什么我们想要搞这个开放语言模型的事情，

285:26

all-mote thing is to try to keep the model where everything is open with the data as close to the

all-mote 这个项目就是试图让模型保持完全开放，数据也尽可能透明，

285:31

frontier as possible so we're compute constrained we're personnel constrained we rely on getting

尽可能接近前沿，所以我们受限于算力，也受限于人才。我们依赖像John Shulman这样的人给我们的洞察，比如告诉我们在输出上做RL，这样我们就能实现大的跃升。但要把开源的前沿往前推，需要很长时间。从根本上说，我认为这是因为开源AI没有像开源软件那样的反馈循环。我们之前聊过开源软件在安全方面的好处，另外，你只要构建一次就能重复使用，比如你加入一家新公司，好处非常多。但如果你开源一个语言模型，你手头有这些数据，有训练代码，别人要在此基础上构建和改进并不容易，因为你得花大量算力。

285:36

insights from people like John Shulman tells us to do RL on outputs like we can make these big jumps

像 John Shulman 这样的人告诉我们，在输出上做 RL 可以带来巨大的突破，

285:41

but it just takes a long time to push the frontier of open source and fundamentally I would say that

但这需要很长时间才能推动开源的前沿，从根本上说，我认为

285:47

that's because open source AI does not have the same feedback loops as open source software we

这是因为开源 AI 没有像开源软件那样的反馈循环，

285:52

talked about open source software for security also it's just because you build something once and

聊到开源安全软件，其实是因为你只要构建一次，

285:56

you can reuse it if you go into a new company there's so many benefits but if you open source a

换到新公司就能复用，好处非常多。但如果你开源一个语言模型，

286:01

language model you have you have this data sitting around you have this training code it's not like

你手头有这些数据，有训练代码，别人想在此基础上改进并不容易，

286:06

that easy for someone to come and build on improve because you need to spend a lot on compute you

因为需要投入大量算力。

286:10

need to have expertise so until there are feedback loops of open source AI it seems like mostly an

需要专业知识，所以在开源AI形成反馈循环之前，这看起来更像是一种意识形态上的使命——就像马克·扎克伯格说的，美国需要这个，我同意他的观点。但在意识形态动机高涨的时期，我们需要抓住机会，围绕“你能从查看语言模型数据中获得什么好处”来构建这个生态系统，而关于这一点目前讨论得并不多。我们很快会尝试发布一个demo，你可以查看一个Olmo模型和一条query，然后看到哪些pre-training数据与它相似——这在法律上有风险也很复杂，但问题在于，“看到AI训练所用的数据”到底意味着什么？数据很难解析，都是些零散的字节和文件，我也不知道会在里面找到什么，但这就是我们要做的。

286:16

ideological mission like people like Mark Zuckerberg which is like America needs this and I agree

像马克·扎克伯格这样的人有意识形态上的使命，认为美国需要这个，我同意他的观点，

286:22

with him but in the time where the motivation ideologically is high we need to capitalize and build

但在意识形态驱动力很强的时候，我们需要抓住机会，围绕这个构建生态系统——

286:28

this ecosystem around what benefits do you get from seeing the language model data and there's not a

开源语言模型数据到底能带来什么好处？这方面讨论并不多。

286:33

lot about that we're going to try to launch a demo soon where you can look at an Olmo model and a

我们很快会推出一个演示，你可以对比查看 Olmo 模型和另一个模型。

286:38

query and see what pre-training data is similar to it which is like legally risky and complicated but

查询一下看看哪些预训练数据和它相似，这事儿在法律上又危险又复杂，但说白了，所谓“看到AI训练用的数据”到底是什么意思呢？很难解析，里面全是些乱七八糟的比特和文件，我也不知道进去会翻出什么来。不过这就是我们聊Stargate时的话题。我很想听听你的看法，比如新一届政府，特朗普政府，从美国这边正在做的所有事情，以及支持AI基础设施和各AI公司的努力，你怎么看Stargate？我们该怎么理解Stargate？还有Sam他们真有那么多钱吗？嗯，我觉得Stargate这事儿挺不透明的，它肯定没有五千亿美元，连一千亿都没有。

286:44

it's like what does it mean to see the data that the AI was trained on it's hard to parse it's

比如，看到 AI 训练所用的数据到底意味着什么？很难解析，

286:50

terror bites and files it's like I don't know what I'm going to find in there but that's what we

那些是海量的二进制文件和碎片，我不知道里面会找到什么，但这就是我们

286:55

need to do as an ecosystem if people want open source AI to be financially useful we didn't really

作为一个生态系统，如果大家想让开源AI在财务上变得有用，我们其实没怎么聊到Stargate。我很想听听你的看法，比如新政府、特朗普政府，以及美国这边为了支持AI基础设施、配合各家AI公司的努力，都在做些什么。你怎么看Stargate？我们该怎么理解Stargate？还有Sam他们真有那么多钱吗？嗯，我觉得Stargate这事儿挺不透明的。它肯定没有五千亿美元，连一千亿都没有，对吧？他们宣布的是那个五千亿美元的数字，Larry Ellison、Sam Altman和特朗普一起说的，他们还感谢了特朗普，而且特朗普确实签了一些行政令。

287:01

talk about Stargate I would love to get your opinion on like what the new administration the Trump

在 Stargate 里讨论的内容。我很想听听你对新一届政府——特朗普——的看法。

287:06

administration everything that's doing that's being done from the America side and supporting AI

从美国这边来看，所有支持AI基础设施以及各家AI公司努力的措施，你怎么看Stargate？我们该怎么理解Stargate，还有Sam他们到底有没有钱？嗯，我觉得Stargate这事儿挺不透明的，它肯定没有五千亿美元，连一千亿都没有。而且特朗普也说了，他们感谢特朗普，特朗普确实做了一些行政命令——其中一项就是，在联邦土地上，你基本上可以直接建数据中心和发电设施，差不多就这样，然后审批流程基本就没了，或者事后补个文件。就像我之前说的，Gizzo怎么更早拿到手的。

287:13

infrastructure in the efforts of the different AI companies what do you think about Stargate what are

不同AI公司的基础设施和努力，你怎么看Stargate，还有

287:17

we supposed to think about Stargate and the Sam have the money yeah so I think Stargate is a opaque thing

我们得聊聊星门计划，山姆他们真有那么多钱吗？我觉得星门这事儿挺模糊的。

287:26

it definitely doesn't have five hundred billion dollars doesn't even have a hundred billion dollars

它肯定没有五千亿美元，连一千亿都没有。

287:30

right so what they announced is this five hundred billion dollar number Larry Ellison Sam Altman

所以他们公布的是这个五千亿美元的数字，拉里·埃里森、山姆·奥特曼，还有特朗普一起说的，他们感谢了特朗普，而且特朗普确实签了一些行政令。其中一项行政令是关于联邦土地的，基本上你可以在上面直接建数据中心和发电设施，差不多就是这样，然后审批流程基本就没了，或者你可以事后补文件。所以就像我之前说的，另一个例子是，如果你去过旧金山的普雷西迪奥，那地方很美，现在因为这是联邦土地，以前是军事基地，你想的话可以在那儿建个发电站和数据中心。不过显然这会惹毛很多人，对吧？这事儿挺大的，但也是个好事。

287:35

and and Trump said it they thanked Trump and it's and it's used the Trump did do some executive

特朗普也说了，他们感谢了特朗普，而且特朗普确实签署了一些行政令。其中一项行政令是关于联邦土地的——基本上可以直接在上面建数据中心和发电设施，差不多就是这样，审批流程基本取消，或者事后补办。所以就像我之前说的，Gizzo 之前提到过，如果你想在那里建一个发电厂和数据中心，因为这块联邦土地以前是军事基地，但显然这会惹恼一些人，成本也是个问题。不过那边已经通过了，就是那个项目。所以这张表格大致解释了，在 Stargate 项目出现之前，Oracle 其实已经在建第一部分了。

287:41

actions that like do significantly improve the ability for this to be built faster um you know

那些行动确实显著提升了更快建设的能力，嗯，你知道的。他签署的一项行政令是关于联邦土地的，基本上可以直接建数据中心和发电设施，嗯，差不多就是这样，然后审批流程基本取消了，或者事后补交文件就行。所以就像我之前说的，Gizzo 更早是怎么做的来着——另一个 Gizzo 的做法是，如果你去过旧金山的 Presidio，那地方很美，但如果你想的话，你可以在那里建一个发电厂和数据中心，因为那是联邦土地，以前是军事基地。不过，显然这会惹恼很多人，嗯，这挺有意思的。总之，特朗普让这件事变得容易多了，对吧？基本上只有德克萨斯州能做到。

287:47

one of the executive actions he did is on federal land you can just basically build data centers

他签署的一项行政令就是，在联邦土地上你基本可以直接建数据中心和供电设施，差不多就这样，然后审批流程基本就省了。

287:51

and power you know like pretty much like that uh and then the permitting process is basically gone

我后来通过一个叫星门的奇怪合资项目才搞定的。

287:56

or you file after the fact so like one of the again like I said how does Gizzo take earlier another

或者你事后提交文件，就像我之前说的，Gizzo 之前怎么拿到的另一个例子——

288:00

Gizzo take if you've ever been to the Presidio and San Francisco beautiful area you could build

Gizzo 如果你去过旧金山的 Presidio，那地方很美，你其实可以在那儿建一个发电厂或者数据中心，因为那是联邦土地，以前是个军事基地。但你知道，这么做肯定会惹毛很多人，成本也是个问题。嗯，你刚才已经提到过了，就是那个。所以这张表大概是在解释，Oracle 其实在 Stargate 出现之前就已经在建这个项目的第一部分了，准确说他们已经建了一年。实际上他们还想把它租给 Elon，但 Elon 觉得太慢了，他需要更快，所以就跑去搞他的 Memphis 项目了。然后 OpenAI 就通过一个叫 Stargate 的奇怪合资企业拿到了这个项目，他们一开始……

288:06

a power plant in a data center there if you wanted to because of this federal land used to be

一个数据中心里的发电厂，如果你想要的话，因为这块联邦土地以前是军事基地。但你知道，这显然会惹恼很多人，这规模挺大的，关于成本嘛……嗯，你已经提过这个了，就是那个。所以这个表格大概在解释，

288:09

military base but you know obviously this would like piss people away you know this big it's a good

Oracle 其实已经在建这个项目的第一部分了，在 Stargate 出现之前。

288:15

bit anyways Trump has made it much easier to do this right generally Texas has the only

不过话说回来，Trump确实让这事儿容易多了，基本上Texas是唯一一个。

288:21

unregulated grid in the in the nation as well let's go Texas um and so you know therefore like

全国范围内电网监管也相对宽松，咱们德州就是例子。所以你看，我们的技术能让人们更快地建设。另外，联邦层面的监管也在放松。这就是为什么Stargate项目能成立——那整场秀就是这么来的。至于他们怎么算出5000亿美元这个数字，我完全想不通。但1000亿美元这个数，某种程度上还算合理。而且这里有一张很好的表格，我想展示一下，就在我写的那篇关于Stargate的文章里，是最新的那篇。总之，Stargate基本上就是这样——有一张关于成本的表格。你已经翻过去了，就是那张。这张表格大致解释了……

288:27

our cot enables people to build faster as well in addition the federal regulations are coming down

我们的cot也能帮人更快地搭建，再加上联邦法规也在放松。

288:32

and so Stargate is predicated this is why that whole show happened now how they came up with a $500

所以Stargate就是基于这个——这就是为什么那整出戏会发生。至于他们怎么得出5000亿美元这个数字，我完全搞不懂，但1000亿美元这个数字在某种程度上还算合理。

288:38

billion dollar number is beyond me how they came up with a $100 billion dollar number make sense

而且这里其实有一张很好的表格，我想展示一下。

288:43

to some extent right and there's actually a good table in here that I would like to show

在我写的那篇关于Stargate的文章里，有这张表——是最新的那篇。

288:48

in the in that Stargate piece that I had it's the it's the it's the most recent one yeah so

所以总之，Stargate，你知道的，基本上就是这样——有一张关于成本的表格。

288:56

so anyways Stargate um you know it's it's basically right like there is uh it's a it's a table

你已经翻过去了，就是那张。这张表大概是在解释……

289:02

about cost um there you passed it already it's that one so this table is kind of explaining what

当时的情况是“太慢了，我需要更快”，所以他就去搞了他的 Memphis 项目。

289:11

happens right so Stargate is in Abilene Texas the first hundred billion dollars of it uh that site

没错，Stargate 就在德克萨斯州的阿比林，第一期投入一千亿美元。那个站点有 2.2 吉瓦的电力，实际消耗大约 1.8 吉瓦。每块 GPU 的功耗……实际上，Oracle 在 Stargate 项目启动之前就已经在建设第一部分了。他们其实已经建了一年，还试图租给 Elon，但 Elon 觉得太慢了，他需要更快的速度，所以就跑去搞他的 Memphis 项目了。然后 OpenAI 通过一个叫 Stargate 的奇怪合资企业拿下了这个项目。他们最初只跟 Oracle 签了协议，针对这个集群的第一部分。这第一部分集群的服务器投入大概在五十亿到六十亿美元之间。

289:16

is 2.2 gigawatts of power in about 1.8 gigawatts of power consumed right um per GPU they they they have

每块GPU大约消耗2.2吉瓦的电力，实际功耗约1.8吉瓦。Oracle在Stargate项目启动前就已经在建设第一阶段了，准确说他们已经建了一年，实际上还试图租给Elon，但Elon觉得太慢了，他需要更快的速度，所以转头去搞了Memphis项目。于是OpenAI通过一个叫Stargate的奇怪合资企业拿到了这个资源，他们最初只跟Oracle签了第一阶段集群的协议，这个第一阶段集群的服务器投入大概在50亿到60亿美元之间。如果要把整个1.8吉瓦的容量都用上，得配上NVIDIA接下来两代芯片。

289:25

like roughly uh Oracle is already building the first part of uh this before Stargate came about

然后 OpenAI 通过一个叫 Stargate 的奇怪合资企业拿到了这个项目。

289:31

to clear they've been building it for a year they tried to rent it to Elon in fact right um but Elon

澄清一下，他们其实已经建了一年了，还试图租给Elon，但Elon觉得太慢了，他需要更快的，所以转头去搞了他的Memphis项目。然后OpenAI通过一个叫Stargate的奇怪合资企业拿到了这个集群。这个集群的服务器投入大概在五十亿到六十亿美元之间。如果要把整个1.8吉瓦的容量都用上，配上接下来两代NVIDIA的芯片，那服务器成本加上数据中心成本、维护成本、运营成本等等，加起来就是OpenAI之前宣布的一千亿美元——他们说的第一阶段就是这个。

289:35

was like it's too slow I need it faster so then he went and did his Memphis thing um and so

这个集群大概要花五十亿到六十亿美元的服务器投入。

289:40

opening I was able to get it uh with this like weird joint venture called Stargate uh they initially

这个集群大概要花五十亿到六十亿美元的服务器投入。

289:44

signed a deal with just Oracle for the first section of this cluster right this first section of

跟Oracle签了第一阶段的集群合同，这个第一阶段大概就是50亿到60亿美元的服务器支出。如果要把整个1.8吉瓦的规模都用上，配上NVIDIA接下来两代芯片，服务器成本加上数据中心成本、维护成本、运营成本，还有各种杂七杂八的，这就到了OpenAI宣布的那个1000亿美元计划——他们说的1000亿美元只是第一阶段，就是那个Abilene Texas数据中心，所谓的总拥有成本1000亿美元。所以这不是资本支出，也不是投资，而是1000亿美元的总拥有成本。

289:48

this cluster right is roughly um five billion dollars to six billion dollars of server spend

所以他们可以把这部分卖掉，再投到这里面，如果想的话也可以投到OpenAI那边。

289:56

right and then there's another billion or so of data center spend but the and then and then likewise

对，然后还有大概十亿美元的数据中心支出，但接着，同样地，如果你用接下来两代NVIDIA的芯片——GB 200、GB 300、VR 200——把整个1.8吉瓦填满，那总共大概要五百亿美元的服务器成本，对吧。再加上数据中心成本、维护成本、运营成本，还有所有这些杂项，这就到了OpenAI宣布的那一千亿美元。因为他们说过，一千亿美元只是第一阶段，就是这个Abilene德州数据中心，对吧，所谓的总拥有成本一千亿美元。嗯，所以这不是资本支出，也不是投资，这是一千亿美元的总拥有成本。

290:01

like if you fill out that entire 1.8 gigawatts with the next two generations of NVIDIA's chips

比如，如果你用接下来两代NVIDIA的芯片填满那1.8吉瓦的电力容量

290:06

GB 200 GB 300 VR 200 and you fill it out completely that ends up being roughly 50 billion dollars

GB 200、GB 300、VR 200，你全部填满的话，大概要五百亿美元。嗯，服务器成本对吧，再加上数据中心成本、维护成本、运营成本，还有所有这些杂七杂八的，这就是OpenAI那个一千亿美元公告的由来，对吧。因为他们说的那一千亿美元只是第一阶段，就是这个德克萨斯州阿比林的数据中心，对吧，所谓的总拥有成本一千亿美元。嗯，所以这不是资本支出，也不是投资，而是一千亿美元的总拥有成本。顺便说一句，这甚至比那个2.2吉瓦的项目还要大，在德克萨斯州和其他地方。嗯，所以他们也不是完全无视这个，但确实有一千亿美元这个数字。

290:13

uh server cost right plus there's data center cost plus maintenance cost plus operation cost plus

嗯，服务器成本，再加上数据中心成本，还有维护成本、运营成本

290:20

all these things and that's where open AI gets to their 100 billion dollar announcement that

所有这些加起来，就凑成了OpenAI那个1000亿美元的公告

290:24

they had right because they talked about a hundred billion dollars is phase one that's this

他们当时说的1000亿美元只是第一阶段，这你也知道

290:28

abilene Texas data center right hundred billion dollars of total cost of ownership quote unquote

abiline Texas 的数据中心，总拥有成本号称一千亿美元

290:32

right uh so it's not capex it's not investment it's a hundred billion dollars of total cost of

对，所以这不是资本支出，也不是投资，而是一千亿美元的总拥有成本

290:37

ownership and then and then there will be future phases they're looking at other sites that are

所有权，然后，然后还会有后续阶段。他们正在考察其他站点，顺便说一句，这些站点比这个2.2 gigawatts还要大，在德克萨斯州和其他地方。所以他们并没有完全忽视这一点，但他们提到的一千亿美元是用于第一阶段的，我确实认为这会发生，但他们甚至没有这笔钱。而且，这也不是一千亿美元，实际上是五百亿美元的支出，对吧，然后还有五百亿美元的运营成本、电力等等，还有租赁定价等等。因为他们是在为OpenAI从Stargate合资企业租赁GPU，对吧。他们实际上有多少钱呢？软银，软银会投资，Oracle也会。

290:41

even bigger than this 2.2 gigawatts by the way uh in Texas and elsewhere um and so they're

顺便说一句，这比2.2吉瓦还要大，呃，在德州和其他地方也有。所以他们也不是完全无视这一点，但确实有一百这个数字。他们有那个钱。而且，这也不是一千亿美元，而是五百亿美元的支出，对吧。然后还有大概五百亿美元的运营成本，包括电力等等，呃，还有租赁定价之类的。因为他们——OpenAI是从Stargate合资企业那里租用GPU的，对吧。那他们实际上有多少钱呢？软银，软银会投资，Oracle知道他们上一轮只有60亿，还有40亿的债务。但也有一些消息说，软银可能会向OpenAI投资250亿美元，所以就是这样。

290:46

they're not you know completely ignoring that but there's there is the number of a hundred

他们也不是完全无视这个数字，但确实有一千亿这个说法

290:52

billion dollars that they say is for phase one uh which I do think will happen they don't even

他们说的那个十亿美元，只是第一阶段，我觉得确实会推进，但他们连这笔钱都没有。而且，这根本不是一千亿美元，实际支出是五百亿美元，另外还有五百亿美元的运营成本，比如电力等等，还有租赁定价之类的。因为OpenAI是从星际之门合资企业那里租用GPU的，对吧？他们到底有多少钱呢？软银，软银打算投资，甲骨文知道他们上一轮只融了60亿，还有40亿是债务。不过也有消息说，软银可能会向OpenAI投资250亿美元，所以这也是其中的一部分，对吧？那190亿可以从这里来。但OpenAI根本就没那么多钱。

290:55

have the money for that um furthermore it's not a hundred billion dollars it's fifty billion dollars

他们拿得出这笔钱吗？而且，这也不是一千亿美元，而是五百亿美元的支出

290:59

of spend right and then like fifty billion dollars of operational cost power etc um rental pricing

对，然后还有五百亿美元的运营成本，比如电费、租金等等

291:05

etc um because they're renting it for open AI is renting the GPUs from the stargate joint venture

因为他们是在租用——OpenAI 是从 Stargate 合资企业租用 GPU

291:11

right what money do they actually have right soft bank soft bank is going to invest oracles

那他们实际有多少钱呢？软银，软银会投资，Oracle 也知道他们上一轮只融了 60 亿，还有 40 亿的债务，但问题是

291:15

going to invest open AI is going to invest open AI is on the line for 19 billion dollars everyone

Open AI 要投钱了，Open AI 要为这个项目出190亿美元，这大家都知道。他们上一轮只融了60亿，还欠了40亿的债。不过有消息说软银可能要投250亿进Open AI，对吧？所以那也算一部分，190亿可以从那里出。所以Open AI其实根本没钱，说清楚一点，现在什么都还没定下来。Open AI在这个500亿的项目里，目前一分钱都没有，但他们法律上必须出190亿的capex进这个合资公司，剩下的钱他们打算通过从合资公司租GPU来支付。然后还有Oracle，Oracle很有钱，他们正在建第一个完全由他们负责的部分。

291:19

knows that they've only got 6 billion in their last round and 4 billion in debt so but there is

他们上一轮融资只拿了60亿，还有40亿是债务

291:24

there's like news of like soft bank maybe investing 25 billion into open AI right so that's that's

有消息说软银可能要投250亿美金给OpenAI，对吧，但这事儿还没签合同。不过软银确实可能拿出几百亿美金。我不确定这笔钱到底有多靠谱，而且软银那边合同也没签。软银是CPU领域的领头羊，他们刚IPO了，这显然是他们一直想做的事，只是之前不知道资金该往哪儿投。减持Arm的股份完全说得通，这样他们就能套现，想投的话可以投到这儿，想投OpenAI也行。至于资金到位情况，首批十万块GB200集群的投入是能保障的，但之后的一切都还没定数。不过我相信钱会来的。

291:29

that's part of it right so 19 billion can come from there so open AI does not have the money at all

这部分确实是这样，所以190亿可以从那里来。OpenAI现在根本没钱。

291:33

right to be clear um ink is not dried on anything open AI is zero dollars for this 50 billion

对，说清楚一点，这事儿还没板上钉钉。OpenAI 在这500亿里一分钱不出。对，他们法律上必须往合资公司投190亿的 capex，剩下的钱他们打算通过从合资公司租 GPU 来付。然后还有 Oracle，Oracle 钱很多，他们完全自掏腰包建第一个 section 的 TCO。对，第一个 section 他们出钱建。至于剩下的 section，我不知道 Larry 到底想投多少，他随时可以撤，对吧？这完全是自愿的，随时都可能，合同还没签呢。但他有可能投个几百亿进去。

291:39

right in which they're legally obligated to put 19 billion of capex are into the joint venture

对，他们法律上有义务把190亿的资本支出投入这个合资项目。

291:43

and then the rest they're going to pay via renting the GPUs from the joint venture and then there's

剩下的部分，他们打算通过从合资公司租用GPU来支付，然后还有——

291:47

um then there's oracle oracle has a lot of money they're building the first section completely

嗯，还有Oracle。Oracle资金非常充裕，他们正在完全自费建设第一阶段，按总拥有成本来算。

291:53

they were spending for themselves right this is six billion dollars of capex 10 billion dollars

他们是在为自己花钱，对吧。这是六十亿美元的资本支出，一百亿美元的总拥有成本。但他们打算先做第一阶段，这部分他们自己出钱。至于后面的阶段，我不知道Larry到底想花多少。他随时可以退出，对吧。这完全是自愿的，任何时候都没有签过任何协议。但他理论上可以投入几百亿美元。说清楚点，他有钱，Oracle也有钱。然后还有MGX，就是那个阿联酋基金，理论上有一万五千亿美元用于投资AI。但说实话，我不确定那笔钱到底有多真实。而软银这边，同样没有任何协议签过。

291:57

of tco um but they and they were going to do that first section they're paying for that right um

而且他们打算先建好第一阶段，这部分钱是他们出的，对吧。

292:02

as far as the rest of the section I don't know how much Larry wants to spend right at any point

至于剩下的阶段，我不清楚Larry愿意投入多少。他随时可以退出，对吧？这完全是自愿的，任何时候都没有签过字。

292:06

he can pull out right like this is again it's like completely voluntary so at any point there's

但他有可能投入数百亿美元。

292:09

no signed ink on this right but he potentially could contribute tens of billions of dollars right

但这笔钱目前还没正式签约，对吧

292:14

to be clear he's got the money oracle's got the money um and then there's like mgx which is the south

说清楚点，他有钱，Oracle也有钱，然后还有个MGX，这是南边那个。UA Fund名义上有1.5万亿美元用于AI投资，但说实话，我不确定那笔钱到底有多实在。而软银这边，连墨水都没签过。他们一直是GPU领域的领头羊，也IPO了，这显然是他们一直想做的事，只是之前不知道资本该往哪投。减持Arm的股份完全说得通，这样他们就能套现，想的话可以投进这个项目，也可以投OpenAI。至于资金到位情况，第一个十万块GB200集群是能融到资的，但之后的一切都悬而未决。钱会来的，我相信。

292:19

the ua fun which technically has one point five trillion dollars for investing in AI but again like

UA那个基金，技术上号称有1.5万亿美元投AI，但说实话，我不确定这钱到底有多真，毕竟软银那边连墨水都没签。他们一直想干的就是这个——领导层和CPU业务都IPO了，这显然是他们的夙愿，只是之前不知道资本该往哪儿投。减持Arm的股份套现非常合理，这样他们就能卖掉一部分，把钱投到这儿，想投OpenAI也行。至于资金到位情况，第一个十万块GB 200集群的钱是能凑出来的，但之后的一切都悬而未决。钱会来的，我相信更好的模型能融到更多钱，对吧？但现实是……

292:24

I don't know how real that money is and like whereas there is no ink signed for this soft bank

不过他可能能贡献几百亿美元

292:31

does not have 25 billion dollars of cash they have to sell down their stake in arm uh which is you

他们没有250亿美元的现金，必须减持Arm的股份——你知道，Arm是CPU领域的领导者，而且已经IPO了，这显然是他们一直想做的事，只是之前不知道资金会重新部署到哪里。减持Arm的股份非常合理，这样他们就可以套现，如果愿意的话，可以投资到这边，也可以投资OpenAI。至于资金保障，前十万块GB200集群的资金是能搞定的，但之后的一切都悬而未决。资金会来的，我个人相信资金会来——好吧，这是一种信念。相信他们会发布更好的模型，然后能融到更多钱，对吧？但实际情况是……

292:36

know the leader and CPUs and they they IPOed it this is obviously what they've always wanted to do

我不清楚那笔钱到底有多靠谱

292:39

they just didn't know where they'd redeploy the capital selling down the stake in arm makes a ton

他们只是不知道要把资本重新部署到哪里，卖掉Arm的股份其实很合理，这样他们就能套现，然后投到这边来，如果想的话，也可以投到OpenAI。至于资金到位的问题，第一批十万块GB200集群的资金是能搞定的，但之后的一切都悬而未决，钱还在路上。我相信他正在放松监管，这样他们就能建得更快，对吧，而且他也在允许他们这么做。因为像这种规模的投资，肯定会涉及反垄断之类的问题，对吧？所以显然他会允许他们去做，他会让监管真正允许这个项目落地。嗯，我不认为这里面有任何美国政府资金在投入。

292:43

of sense so they can sell that down and invest in in this if they want to and invest in open air if

至于已经到位的资金，第一个十万块GB200集群的钱是有的。

292:48

they want to um as far as like money secured the first hundred thousand gb 200 cluster is like

他们想要，嗯，在资金方面，第一个十万GB 200集群已经搞定了，等等等等。所以我觉得你说得对，嗯，从那个意义上说，OpenAI他们——他们确实擅长长期的风险信用分配，但当风险变得……

292:54

can fund be funded everything else after that up in the air is up in the air money's coming I believe

资金可以到位，之后的一切都悬而未决，钱确实在进来，我相信这一点。

293:00

the money will come I personally do it's a belief okay it's a belief that they are going to release

钱会来的，我个人相信——这是一种信念，相信他们会发布更好的模型，然后能融到更多钱，对吧？对，但实际情况是，这跟特朗普有什么关系？他就是个搞气氛的。特朗普在减少监管，这样他们能建得更快，嗯，而且他允许他们这么干。你知道，任何这种规模的投资都会涉及反垄断之类的问题，对吧？所以他显然会允许他们去做，他会推动监管政策，让项目真正能建起来。不过我不认为这里面有美国政府资金投入。对，所以我觉得他也是在营造一种整体氛围，让人觉得监管会放松。

293:05

better models and be able to raise more yeah right yeah but like the actual reality is is that

更好的模型，然后能融更多钱，对吧？对，但实际情况是，他在放松监管，这样他们就能建得更快，嗯，而且他允许他们这么做，对吧？因为像这种规模的投资，肯定会涉及反垄断之类的问题，对吧？所以显然他会允许他们去做，他会让监管真正允许它被建起来。呃，不过我不认为这里面有任何美国政府的资金投入。对，所以我觉得他也在营造一种整体氛围，就是监管会放松。也许高管们看到5000亿、1000亿美元，然后每个人都在问他们，这可能会引发另一场更快的军备竞赛，对吧？因为本来就已经有了。

293:09

Elon's right there is there the money does not exist right what is the US government have to do

马斯克说得对，钱根本不存在，美国政府跟这事儿有什么关系？特朗普又跟这一切有什么关系？他就是个搞气氛的。特朗普在减少监管，这样他们就能建得更快，对吧，而且他允许他们这么做。你知道，因为像这种规模的投资肯定会涉及反垄断之类的问题，所以他显然会允许他们去做，他会让监管真正允许它建起来。嗯，我不认为这里面有任何美国政府资金被花掉。对，所以我觉得他也是在营造一种整体氛围，就是监管会减少，这是建设的时代。所以如果你是个建设者，你想创造东西，你想——

293:13

with it anything what what is trump have to do with everything he's just the hype man trump is

跟这事儿有啥关系？特朗普就是个气氛组。他在减少监管，这样他们就能更快地建起来，对吧，而且他允许他们这么干。你知道，因为像这种规模的投资肯定会涉及反垄断之类的问题，对吧？所以他显然会允许他们去做，他会推动监管政策，让这事儿真能建起来。不过我不认为这里面有美国政府出的钱。对，所以我觉得他也是在营造一种整体氛围，让人觉得监管会放松。也许高管们看到5000亿、1000亿美元，然后所有人都在问他们，这可能会刺激一场更快的军备竞赛，对吧，因为本来就已经在跑了。

293:18

he's reducing the regulation so they can build a faster right um and he's allowing them to do it

他在减少监管，这样他们就能更快地建设，对吧，而且他允许他们这么做。

293:23

right you know because like any investment of this side is gonna involve like anti-trust stuff

你知道，因为像这种规模的投资肯定会涉及反垄断之类的问题。

293:26

right like so obviously he's gonna he's gonna allow them to do it he's gonna enable the regulations

所以显然他会允许他们去做，他会让监管真正允许它被建设。

293:31

to actually allow it to be built uh I don't believe there's any US government dollars being spent on

我不认为有任何美国政府资金被投入其中。

293:35

this though yeah so I think he's also just creating a general vibe that this is regulation will go

不过呢，我觉得他也是在营造一种整体氛围，让人觉得这些监管措施会推进。可能高管们看到五千亿、一千亿美元的数字，然后所有人都在问他们，这会不会引发一场更快的军备竞赛？因为本来就已经有等等等等的情况了。所以我觉得你说得对，从那个意义上来说，OpenAI 在集群建设、AI 突破方面即将到来的进展——未来两三年、三四年你能想象到的最好的局面是什么样的？可能是一些非常具体的技术突破，比如后训练阶段之后的进一步突破，也可能就是规模大、规模大。是啊，那些集群确实令人印象深刻，我真的很喜欢。

293:41

down and this is the era of building so if you're a builder you want to create stuff you want to

down，这就是建设的时代。所以如果你是个builder，想创造东西，想——

293:48

launch stuff this is the time to do it and so like we've had this 1.8 gigawatt data center in our

现在就是发布产品的最佳时机。我们手头有一个1.8 gigawatt的数据中心，这个数据我们已经保存了一年多，并且一直在发给所有客户，包括那些正在建设multi gigawatt级别的公司。但这个规模可能还没到让高管们直接看到5000亿、1000亿美元的程度——然后所有人都会问他们，这会不会引发更快的军备竞赛？因为本来就已经在军备竞赛了，但Trump在电视上提到1000亿、5000亿美元这个数字，可能会让军备竞赛加速，更多投资者涌入，等等等等。所以我觉得你说得对，从那个意义上讲，OpenAI确实……

293:52

data for over a year now and we've been like sort of sending it to all of our clients including

我们收集数据已经超过一年了，一直在发给所有客户，包括那些正在建设多吉瓦级项目的公司。但这可能还没到那种级别——

293:56

many of these companies that are building the multi gigawatts but that is like at a level that's not

也许高管们看到的是5000亿美元、1000亿美元，然后每个人都在问他们：这会不会引发一场更快的军备竞赛？因为本来就已经有军备竞赛了，但像这个1000亿、5000亿美元的数字，Trump在电视上谈论它，可能会让军备竞赛加速，更多投资者涌入，等等等等。所以我觉得你说得对，在这个意义上，OpenAI——

294:01

quite maybe executives like seeing 500 billion dollars 100 billion dollars and then everyone's asking

也许高管们看到5000亿美元、1000亿美元，然后每个人都在问他们，这可能会引发一场更快的军备竞赛，因为已经有等等等等。

294:05

them like so it could spur like another like an even faster arms race right because there's already

所以我认为你说得对，在那种意义上，OpenAI……

294:10

an arms race but like this this like 100 billion 500 billion dollar number trump talking about it

这就像一场军备竞赛，但特朗普在电视上提到的那些千亿、五千亿的数字，可能会让这场竞赛加速得更快，吸引更多投资者涌入，等等等等。所以我觉得你说得对，从那个角度来看，OpenAI 在集群建设、AI 突破方面即将到来的进展——未来两三年、三四年你能想象到的最好局面是什么样的？可能是一些非常具体的技术突破，比如后训练之后的阶段，也可能就是单纯地做大。我是说，那些集群确实令人印象深刻。我真的很喜欢追踪供应链，看谁参与了什么，真的很有意思。

294:15

on TV like it could spur the arm race to be even faster um and more investors to flood in and

在电视上看起来，它可能会进一步加速这场军备竞赛，吸引更多投资者涌入，等等等等。所以我觉得你说得对，从这个意义上讲，OpenAI 在集群建设方面、在 AI 突破方面即将到来的进展——未来两三年、三四年你能想象到的最好的局面是什么样的？可能是一些非常具体的技术突破，比如后训练阶段的进展，也可能只是规模够大。是啊，那些集群确实令人印象深刻。我真的很喜欢追踪供应链，了解谁参与了什么。真的很有意思，又让人兴奋起来。你能给我讲讲关于速度的事情吗？就是速度方面。

294:20

et cetera et cetera so I think I think your right is that uh in that uh sense that open AI uh

等等等等，所以我认为你说得对，在某种意义上，OpenAI

294:25

our sort of trump is sort of like championing people are gonna build more and his actions are gonna

我们的Trump有点像在支持大家建更多东西，他的行动也会让大家能建更多。那你对未来这几年，在集群建设、AI突破这些方面，有什么特别兴奋的点吗？比如未来两三年、三四年，你能想象到的最好的情况是什么样的？可以是特别具体的技术突破，比如后训练阶段的进展，也可以是单纯规模上的大跨越。是啊，我是说那些集群真的很震撼。我真的很喜欢追踪供应链，比如谁参与了什么项目。确实，看到那些数字、成本、谁在建什么、建多大容量，帮他们算清楚需要多少容量，真的很有意思。

294:29

let people build more what are you uh what are you excited about about these uh several years

让大家能搭建更多——嗯，你对于未来这几年在集群建设、AI突破方面最期待什么？比如你能想象到的最好未来，未来两三年、三四年会是什么样？可以是特别具体的技术突破，比如后训练阶段的进展，或者就是规模大。对，我是说那些令人印象深刻的集群。我真的很喜欢追踪供应链，看谁参与了什么。确实，看到那些数字、成本、谁在建什么、帮他们估算多少容量，真的很有意思。网络方面尤其让我兴奋，特别是光学和电子技术。

294:36

that are upcoming in terms of cluster buildouts in terms of breakthroughs in AI like the best possible

关于集群建设以及AI领域的突破，比如未来两三年、三四年内你能想象到的最好的可能性，那会是什么样子？

294:44

future you can imagine in the next couple of years two three four years what does that look like

可能是一些非常具体的技术突破，比如后训练阶段的创新，

294:49

just it could be a very specific technical things like breakthroughs on post post training

也可能只是规模变得巨大。是啊，我是说那些集群确实令人印象深刻，我真的很享受这种兴奋感。

294:55

or it could be just size big yeah I mean it's impressive clusters I really I really enjoyed

嗯，你能给我讲讲事情发展的速度吗？就是那个速度。

295:03

tracking supply chain and like who's involved in what yeah I really do it's really fun to see

追踪供应链，看看谁在参与什么，嗯，我确实觉得这很有意思，又让人兴奋起来。你能给我讲讲事情发展的速度吗？比如，未来会有更多人能对AI有发言权、能理解它，这很好。我们会做到的。你觉得人类能再存在一千年吗？一千年后人类肯定还在。他们未必会消失，我们人类其实挺擅长长期风险归因的，但当风险变得迫在眉睫时，我们往往能想出解决办法。正因为这个，加上物理限制的存在，以及人类过去应对挑战的方式，我对AI接管这件事并不太担心。我们正试图放大这种能力，但时间很紧迫。我的意思是，如果你把人类看作一个整体来看。

295:07

like the numbers the cost who's building what capacity helping them figure out how much capacity

像那些数字、成本、谁在建设什么、多少容量，这些都能帮他们搞清楚到底需要多少容量。

295:11

should build winning deals strategic stuff that's really cool I think technologically uh there's

应该构建那些能赢的deal和战略层面的东西，这真的很酷。从技术角度看，networking方面有很多让我特别兴奋的点，比如optics和electronics，它们越来越接近了，无论是co-package optics还是某种新型的switching方式，这些都是cluster内部的。还有multi data center training，人们在这些data center之间铺设了大量fiber，用极高的带宽点亮它们，这方面有很多有趣的事情在发生。而telecom自从5G以来一直很无聊，现在又变得非常令人兴奋了。你能给我讲讲关于速度方面的事情吗？

295:16

a lot around the networking side that really excites me uh with optics and electron electronics

很多关于网络方面的东西真的让我很兴奋，比如光学和电子技术。

295:22

right like kind of getting closer and closer whether it be co-package optics or some sort of like

对，就像越来越接近了，不管是co-package optics还是某种新型的switching方式，这些都是集群内部的。嗯，还有多数据中心训练，对吧？就是人们在这些数据中心之间铺设了大量光纤，用超高的带宽把它们点亮，这方面有很多有趣的事情在发生。对，电信行业自从5G以来一直挺无聊的，现在又变得特别令人兴奋了。你能给我讲讲这些东西的速度吗？就是这些数量级的差异，我们有没有可能在某一天趋近于一个状态，让这一切感觉就像一台电脑？哦不，我觉得那不可能。好吧，嗯，这将会是……

295:26

forms of new forms of switching this is internal to a cluster yeah um also multi data center training

还有新型的交换方式，这是集群内部的，嗯，也包括多数据中心训练。

295:33

right like there's uh people are putting so much fiber between these data centers and lighting it

对，就像有人在这些数据中心之间铺设了大量光纤，用各种不同的带宽把它们点亮，这里面有很多有趣的事情在发生。

295:37

up with so many different you know with so much bandwidth that there's a lot of interesting stuff

而且，电信行业自从5G以来一直很无聊，现在又变得非常令人兴奋了。

295:41

happening on that and right telecom has been really boring since 5G and now it's like really

嗯，你能给我讲讲速度方面的事情吗？这些速度的差异有好几个数量级，我们有没有可能在某一天趋近于一个统一的方向？

295:45

exciting again um can you educate can you educate me a little bit about the speed of things so the speed

一个未来，更多人对AI是什么有发言权，并且能够理解它，这就是——

295:50

of memory versus the speed of interconnect versus the speed of fiber between data centers are

内存的速度、互连的速度，以及数据中心之间光纤的速度——这些差距是不是有几个数量级？我们有没有可能在某一天趋近于一个状态，让这一切感觉就像一台计算机？哦不，我觉得那不可能。好吧，嗯，编程只会越来越难，不会更容易。没错，嗯，只会变得更复杂、更繁琐，而且层数更多。对吧，人们通常喜欢想象一个内存层级结构：芯片上的内存非常近，是局部化的，就在芯片内部。你知道，有寄存器，它们在一些计算单元之间共享；然后有缓存，在更多计算单元之间共享；再然后就是内存，对吧。

295:56

these like orders of magnitude different is can we at some point converge towards the place where

这些数量级的差异在于，我们能否在某个点上趋近于那个状态。

296:01

it all just feels like one computer oh no I don't think that's possible all right um it's gonna

这整个感觉就像一台电脑。哦不，我觉得那不可能。好吧，嗯，它会越来越复杂，层次也越来越多。嗯，大家喜欢想象的那种通用图景是，有一个内存的层级结构：在芯片上，是非常靠近、局域化的，就在芯片内部。你知道，有寄存器，这些是在某些计算单元之间共享的；然后有缓存，在更多计算单元之间共享；再然后就是内存，对吧；接着你还可以有内存池，在多个芯片之间共享；嗯，然后是存储。而且你会一直走神，对吧。跨数据中心的访问延迟，在数据中心内部、在芯片内部，都是不一样的。所以显然你总是——

296:06

it's only going to get harder to program not easier okay um it's only going to get more difficult

只会越来越难编程，不会变简单，嗯，只会越来越复杂，层次越来越多。对吧，大家喜欢想象的那种通用图景是这种内存层级结构：片上内存非常靠近芯片内部，对吧，你知道有寄存器，这些是在一些计算单元之间共享的，然后有缓存，是在更多计算单元之间共享的，然后有内存，对吧，然后还有可以在许多芯片之间共享的内存池，嗯，然后是存储，而且你不断往外扩展，对吧。跨数据中心的访问延迟、数据中心内部、芯片内部都是不同的，所以你显然总是——

296:10

and complicated and more layers right uh the the general image that people like to have is like

而且更复杂、更多层，对吧——人们喜欢的那种通用图景是，

296:15

this hierarchy of memory so on chip is really close localized within the chip right you know

这种内存层级结构：芯片上的内存非常靠近、局限在芯片内部，对吧。

296:20

you have registers right those are shared between some compute elements and then you'll have

你有寄存器，它们在某些计算单元之间共享，然后你有缓存，

296:23

caches which are shared between more compute elements then you have like memory right like

在更多计算单元之间共享，然后你有内存，对吧，

296:27

hbm or dram like ddr memory or whatever it is and that's shared between the whole chip um

HBM 或者 DRAM 比如 DDR 内存之类的，整个芯片共享这部分资源。然后你可以有多个芯片之间共享的内存池，对吧。再往下是存储，然后你就会不断走神——跨数据中心的访问延迟，数据中心内部、芯片内部的延迟都不一样。所以显然你永远需要不同的编程范式来处理这个，这玩意儿编程不会容易，会很难。也许我可以帮忙写代码，但思考方式是这样的：你给一个任务加的元素越多，并不会获得强扩展性——比如我把芯片数量翻倍，并不会...

296:32

and then you can have you know pools of memory that are shared between many chips right um

然后你还可以有内存池，在许多芯片之间共享，对吧，

296:36

and then storage and it keeps you keep zoning out right the access latency across data centers

然后是存储，而且你不断往外扩展，对吧——跨数据中心的访问延迟，

296:41

across within the data center within a chip is different so like you're obviously always you're

在数据中心内部、在芯片内部，都是不同的，所以你显然总是……

296:45

always going to have different um programming paradigms for this it's not going to be easy programming

对于这类问题，总会存在不同的编程范式，编程本身并不容易。

296:51

this stuff is going to be hard maybe I can help right um you know with programming this but the the

这些东西会很难，也许我能在编程方面帮上忙，但思考方式是这样的：你给任务添加的元素越多，并不会获得强扩展性——如果我把芯片数量翻倍，并不会得到线性提升。

296:56

way to think about it is that like there is there there's sort of like the more elements you add to

大家在这方面都做了很多工作，模型、工作负载和创新方面非常令人兴奋。硬件方面，固态变压器很有意思。

297:06

a task you you don't gain you don't get strong scaling right if I double the number of chips I don't

无处不在的电源监控、供应链追踪，所有这些集群的信息收集——你在semi-analysis做的分析工作真的非常出色。

297:11

get to exit performance right this is just like a reality of computing uh because there's inefficiencies

要达到退出性能，这其实就是计算的一个现实问题，因为存在各种低效。

297:16

um and there's a lot of interesting work being done to make it not you know uh to make it more

嗯，现在有很多有趣的研究在努力让它不再这样，让它更线性——无论是让芯片之间更紧密地联网，还是用一些很酷的编程模型，或者在模型层面做一些巧妙的算法创新。

297:21

linear whether it's making the chips more networked together more tightly or uh you know cool programming

比如DeepSeek就做了一些非常酷的创新，因为他们受限于互联带宽，但仍然需要并行化。

297:26

models or cool algorithmic things that you can do on the model side right deep seek did some of

其实所有人都在不断做这方面的工作，Google也有一堆成果，大家都有不少进展。

297:31

these really cool innovations because they were limited on interconnect but they still need to parallelize

这些在模型、工作负载和创新层面上的东西非常令人兴奋。

297:35

right like all sorts of you know all everyone's always doing stuff google's got a bunch of work and

硬件方面，固态变压器（solid-state transformers）在功耗上很有意思。

297:38

everyone's got a bunch of work about this um that stuff is super exciting on the model and workload

大家手头都有不少相关的工作，嗯，那些关于模型、工作负载和创新方面的东西，真的特别令人兴奋。硬件方面嘛，固态变压器也挺有意思的，尤其是对电力系统来说。屏幕上到处都是供应链监控信息，所有那些集群的数据——你收集的这些信息，说真的，你在SemiAnalysis做的那些工作相当了不起。而且有意思的是，显然还有更多的进步空间。我做这件事的真正动力，就是想找个地方分享这些内容，因为我不信任那些搞AI的人，但你可以信任我们。我们就是要让AI全面普及，而我更希望未来能有更多人参与讨论AI是什么、能理解它，就是这样。

297:43

and innovation side right hardware uh solid state transformers are interesting right for the power

在创新和硬件方面，固态变压器挺有意思的，尤其是用在电力系统上。

297:48

side there's all sorts of stuff on batteries and there's all sorts of stuff on you know I think I think

一边是各种电池相关的东西，另一边还有各种关于——你知道，我觉得，我觉得

297:53

when you look at if you look at every layer of the compute stack right whether it goes from lithography

当你去看计算堆栈的每一层，对吧，从光刻和蚀刻

297:57

and etch all the way to like fabrication to like optics to networking to power to transformers to

一路到制造、光学、网络、电力、变压器

298:02

cooling to you know a networking and you just go on up and up and up and up and up the stack you know

冷却，还有网络，你就这么一层一层往上走，你知道

298:07

even air conditioners for data centers are like innovating right like it's like there's like

就连数据中心的空调都在创新，对吧，就像

298:11

copper cables are innovating right like you wouldn't think it but copper cables like

铜缆也在创新，对吧，你可能想不到，但铜缆

298:14

are there some innovations happening there with like the density of how you can pack them and like

在密度上确实有一些创新，比如怎么把它们更紧密地打包

298:18

it's like all of these layers of the stack all the way up to the models human progress is at a

所有这些堆栈的层，一直到模型层面，人类的进步正处于一个

298:23

pace that's never been seen before I mean just imagine you sitting back in a layer somewhere with

这种速度前所未有。想象一下，你坐在某个地方，周围全是屏幕，监控着整个供应链，所有集群的信息都在你眼前。你做的 semi-analysis 工作真的很了不起，简直是在数字世界里时刻把握人类文明的脉搏，挺酷的。就像那种掌控全局的感觉。是啊，谢谢。我觉得我们所有人都在做很牛的事，从 meme 变成现实。Nathan，你有哪些特别期待的突破？我刚才听 Dylan 那段精彩的发言时想了一会儿，我知道这个问题会来，所以……

298:27

screens everywhere just monitoring the supply chain where all these clusters like all the information

到处都是监控供应链的屏幕，所有集群的信息都一目了然。

298:32

you're gathering I mean you do quite incredible work with semi-analysis I mean just

你做的那些半导体分析工作确实非常出色。

298:44

keeping your finger on the pulse of human civilization in the digital world it's pretty cool

时刻关注着数字世界里人类文明的脉搏，这感觉挺酷的。

298:49

like just the watch to feel that yeah thank you I guess feel feel all of us like doing shit

就像戴着这块表去感受那种脉动，嗯，谢谢吧，感觉我们所有人都在搞事情。

298:56

epic shit I mean from meme to like reality what Nathan is there like breakthroughs that you're

搞大事，我是说从梗图变成现实。Nathan，有没有什么你特别期待的突破？

299:05

like looking forward to potentially I had a while to think about this while listening to

我听了Dylan那块漂亮手表的播客后，想了一会儿——他确实听了我的，所以我知道，我知道这个问题要来，而这也让我的工作变得有趣。

299:08

Dylan's beautiful watch he did listen to me so I knew no I knew this was coming and it's like

我训练模型，也读过关于模型现状的分析。

299:15

realistically training models is very fun because there's so much low hanging fruit and the thing

说实话训练模型真的很有意思，因为现在有太多唾手可得的改进空间。让我工作充满乐趣的是——我亲手训练模型，也读过各种关于模型行为的分析报告。显然还有巨大的进步空间，而真正驱使我做这件事、愿意分享经验的原因在于：我实在无法信任那些说"兄弟信我，我们能让AI变好"的人。就好像他们宣称"我们要做这件事，你们可以信任我们，所有AI都将由我们掌控"。我更向往的未来是，更多人能对AI的发展有发言权，能真正理解它。虽然现在这种"不是所有人都能参与"的现状让人有点扫兴，但说到底，这一切真的非常有趣。

299:20

that makes my job entertaining I train models I've read analysis about what's happening with models

这很有意思，因为显然还有太多进步空间，而我做这件事的真正动力——能有个地方分享这些——是因为我就是不信任那些人。

299:26

and it's fun because there is obviously so much more progress to be had and the real motivation

而且有趣的是，显然还有巨大的进步空间，我真正做这件事的动力——找一个能分享的地方——是因为我就是不信任那些搞AI的人。

299:32

why I do this for somewhere where I can share things is that there's just I don't trust people that

你可以信任我们，我们会把AI都掌控好。我只是希望未来能有更多人参与决定AI的发展方向，并且能理解它。

299:37

are like trust me bro we're gonna make AI good it's like we're the ones that it's like we're gonna

“就像‘信我老铁，我们肯定能把AI做好’——好像我们就是天选之人，我们来做这事，你们信我们就行，然后所有AI就都归我们管了。但我更希望未来能有更多人参与决定AI的方向，能理解它。现在这种‘这不是什么正面的事’的感觉，其实没那么有趣。我觉得这明明是我这辈子最强大的技术，本该很好玩才对。我们需要让很多人参与进来，而开源有助于实现这一点——尽可能成功，尽可能开放。对，在我看来，过去几年的事实表明，更多开放能帮助AI生态系统，让更多人——包括非AI领域的研究者和政府——理解到底发生了什么。”

299:41

do it and you can trust us and we're just gonna have all the AI and it's just like I would like

我们会做到的。你觉得人类能再存在一千年吗？一千年后人类肯定还在。

299:46

a future where more people have a say in what AI is and can understand it and that's it's a

我们会做到的。你觉得我们还有一千年吗？人类一千年后肯定还会存在吧？

299:52

little bit less fun that it's not a like positive thing I feel like this is just all really fun

没那么有意思的是，这并不完全是件好事，但我觉得这一切其实都挺有趣的。

299:56

like training models is fun and bringing people in is fun but it's really like AI if it is going

训练模型很有趣，把更多人带进来也很有趣，但如果AI真的要成为我这辈子最强大的技术，那我们需要很多人参与其中，而保持开放有助于实现这一点——尽可能成功，尽可能开放。是的，根据我对过去几年的观察，更多的开放性会帮助AI生态系统，让更多人理解正在发生的事情，无论是来自非AI领域的研究人员，还是政府，还是其他方方面面。这并不意味着开放永远是答案，我认为我们需要重新评估AI面临的最大问题是什么，并从不同的角度来应对我们正在经历的这场狂野旅程。对我来说，单从用户体验来看，就像Apathy说的那样，任何时候你遇到那种……

300:01

to be the most powerful technology of my lifetime it's like we need to have a lot of people involved

作为我这一生中最强大的技术，我们需要很多人参与其中。

300:06

in making that and making it open helps with that as successful as possible as open as possible yeah

让这件事开放化有助于让它尽可能成功、尽可能开放，没错。

300:14

in my read of the last few years is that more openness would help the AI ecosystem in terms of having

根据我对过去几年的观察，更多的开放性会帮助AI生态系统，让更多人理解正在发生的事情——无论是来自非AI领域的研究人员，还是政府。

300:20

more people understand what's going on rather that's researchers from non AI fields to governments

我们得为此做一些奇怪的事情，但你可以把这点带到我们关于机器人的对话里。

300:24

to everything it doesn't mean that openness will always be the answer I think that it will reassess

对于所有事情，这并不意味着开放性永远是答案，我认为它会重新评估

300:29

of like what is the biggest problem facing AI and tack on a different angle to the wild ride that

比如，当前AI面临的最大问题是什么，然后从另一个角度切入我们正在经历的这场狂野旅程

300:34

we're on and for me just from even the user experience anytime you have the like Apathy said the

对我来说，哪怕只是从用户体验来看，就像Apathy说的那样，当年甚至想象不到这是可能的

300:43

aha moments like the magic like seeing the reasoning the chain of thought

那种“啊哈”时刻，就像魔法一样——看到推理过程、看到思维链的时候。

300:50

it's like there's something really just fundamentally beautiful about that it's a putting a

这背后有一种特别本质的美感，它就像一面镜子照着我们自己，然后发现：“靠，它真的在解决智能问题”——就像那些公司老掉牙的口号一样。

300:55

mirror to ourselves and seeing like oh shit it is solving intelligence as the cliche like goal of

你还能借此理解，我们人类到底特别在哪里，我们内在的智能特别在哪里。

301:01

these companies is and you get to understand to what why we humans are special the intelligence

而且就目前而言，我们特别的地方还在于，我们似乎有意识，而AI系统还没有。

301:07

within us is special and for now also why we are special in terms of we seem to be conscious

我们有机会去解开、去探索这个谜团。

301:13

in the AI systems for now aren't and we get to solve we get to explore that mystery so that's

所以能去探索这些问题真的很酷，我当年根本想象不到这些事居然有可能成真。

301:20

it's just really cool to get to explore these questions that I don't think I would have never

就像当年看深蓝一样，满怀激动地注视着这一切。

301:26

imagined would be even possible back when uh so just watching with excitement deep blue

所以，看着Deep Blue时满怀激动

301:35

be casserole like I wouldn't have ever thought this kind of AI would be possible in my lifetime

就像砂锅菜一样，我从没想过有生之年能看到这种AI成为现实。这感觉真的像AI了，太不可思议了。我最早接触AI是学飞四轴飞行器，就是那种学飞行的过程——它会撞到天花板然后停住再调整。当时觉得这跟现在比起来简直蠢爆了。现在你大概用自然语言告诉它学飞行，它就能生成所需的控制算法来实现。虽然底层还有些障碍，比如得做些奇怪的操作才能实现，但确实能做到。这又回到我们聊的机器人话题了——当你要和真实物理世界交互时，确实很难。那么，是什么让你对未来抱有希望呢？

301:41

it's like this is really feels like AI yeah it's incredible I started with AI of learning to fly a

这真的感觉像是AI，太不可思议了

301:47

cilia quadruder it's like learn to fly and it's just like it learned to fly up it would hit the

我最初接触AI是学习如何操控一个四旋翼飞行器

301:52

ceiling and stop and catch it it's like okay that's like really stupid compared to what's going on

就像学习飞行，它真的学会了飞起来，然后撞到天花板，停住，再抓住它

301:56

now and now you could probably with natural language tell it to learn to fly and it's going to

感觉就是，好吧，跟现在比起来这真的很蠢

302:01

generate the control algorithm required to do that all the way there's low level blockers like

生成所需的控制算法来实现这一点，一路上会有一些底层障碍，比如我们得做些奇怪的操作才能搞定，但你可以把那些用到我们的机器人对话里。没错，当你必须和真实的物理世界互动时，这很难。那是什么让你对未来抱有希望？我们会做到的。你觉得我们还有一千年？人类肯定能再存在一千年。我认为确实有一些方式可能导致非常糟糕的事情发生，会有办法对付你们人类，但人类非常擅长生存。确实有很多事情证明了这一点，但我不认为我们一定擅长长期的风险信用分配，不过当风险变得迫在眉睫时，我们往往能想出解决办法。正因如此，我觉得物理约束是存在的。

302:06

we have to do some weird stuff for that but you can do that to our robotics conversation yeah

当你必须与真实的物理世界互动时，这很难。那是什么让你对未来抱有希望？

302:11

when you have to interact an actual physical world it's hard what gives you hope about the future

我们会做到的。你觉得人类能撑一千年吗？一千年后人类肯定还在。

302:16

a human civilization looking into the next 10 years 100 years 1000 years how long do you think

人类文明展望未来10年、100年、1000年，你觉得我们能撑多久？你觉得人类一千年后还在吗？我觉得确实有一些方式可能导致非常糟糕的事情发生，会有办法让人类遭殃，但人类非常擅长生存。很多历史事实也证明了这一点。我不认为我们特别擅长对长期风险进行信用分配，但当风险变得迫在眉睫时，我们往往能想出解决办法。正因为如此，我觉得像AGI、递归自我改进这类东西要毁灭我们所有人，存在物理上的限制。基于物理原因，以及人类过去应对危机的经验，我对AI接管这件事并不太担心。

302:23

we'll make it you think we got a thousand years humans will definitely be around in a thousand years

他们未必。我们擅长对风险的长期信用分配，但当风险变得……

302:30

I think there's there's ways that very bad things could happen there'll be way to your humans but

我觉得确实存在一些方式可能导致非常糟糕的事情发生，人类也会面临威胁，但人类非常擅长生存——历史上很多事实都证明了这一点。不过我不认为我们天生擅长对风险进行长期信用分配，但当风险变得迫在眉睫时，我们往往能想出解决办法。基于这个原因，加上物理限制因素以及人类过去应对危机的经验，我对AI接管这件事并不太担心。试图放大这种担忧的话，其实我们正处在一个脆弱的时期。我的意思是，纵观人类整体历史，有过倒退的阶段，也有过停滞不前的时期，而我们现在正处在一个本应非常积极的上升轨道上。没错，进步确实在发生。

302:35

humans are very good at surviving there's been a lot of things that that is true I don't think

人类在生存方面非常擅长，这一点在很多事情上都得到了验证。我不认为我们特别擅长对长期风险进行归因，但当风险变得迫在眉睫时，我们通常能想出办法。正因如此，考虑到物理限制和人类过去解决问题的经验，我对AI接管这件事并不太担心。试图放大这种担忧的话，其实我们正处在一个微妙的时期。我的意思是，纵观整个人类历史，有过倒退的时候，也有过停滞不前的时候，而我们现在正处在一个本应非常积极的轨道上。没错，进步确实在发生。尽量减少那些剧烈波动，总体上人类遭受的痛苦会少很多。我非常认同。

302:41

they're necessarily we're good at long-term credit assignment of risk but when the risk becomes

他们必然擅长长期风险归因，但当风险变得

302:46

immediate we tend to figure things out and for that reason I'm like there's physical constraints

我们通常能很快把事情想明白，所以我觉得存在物理限制。

302:53

to things like AGI hyper like recursive improvement to kill us all type stuff I'm for the physical

像AGI那种超级递归自我改进、要毁灭全人类之类的论调，我基于物理层面的原因，以及人类过去解决问题的经验，其实并不太担心AI接管。而有些人试图放大这种焦虑，好像我们正处在岌岌可危的时刻。我的意思是，纵观整个人类历史，有过倒退的时期，也有过停滞不前的阶段，而我们现在正处在一个本该非常积极的轨道上。没错，进步确实存在，但就像权力一样，人类苦难也会出现峰值。我们想要尽量减少这些峰值的出现。总体而言，人类未来遭受的苦难会少得多——对此我非常乐观。但我确实担心，随着AI越来越强大，可能会出现类似技术法西斯主义的东西。

303:00

reasons and for how humans have figured things out before I'm not too worried about it AI takeover

从人类过去解决问题的经验来看，我并不太担心AI接管。

303:05

there are other international things that are worrying but there's just fundamental human goodness

当然还有其他国际上的事情让人担忧，但人性中存在着根本的善良。我们正试图放大这种善良——我们处在一个微妙的时代，如果你把人类看作一个整体，历史上既有倒退的时刻，也有停滞不前的阶段。而我们现在正处在一个本应非常积极的轨道上，是的，进步似乎确实存在。但就像权力一样，人类的苦难也会出现峰值，我们想要尽量减少这些峰值的出现。总的来说，人类未来的苦难会少得多——对此我非常乐观。我确实担心随着AI变得越来越普遍和强大，技术法西斯主义之类的东西会抬头，那些控制AI的人能做的事情越来越多——也许它不会直接杀人，但……

303:12

and trying to amplify that like we're on a tenuous time and I mean if you look at humanity as a whole

而且我想强调的是，我们正处在一个微妙的时期——纵观整个人类历史，

303:20

there's been times where things go backwards there's times when things don't happen at all

有时候事情会倒退，有时候根本毫无进展

303:24

and we're on a what should be very positive trajectory right now yeah there seems to be progress

而我们现在正处在一个本该非常积极的轨道上——没错，确实能看到进展

303:30

but just like with with with power there's like spikes of human suffering and we want to try to

但就像电力一样，人类痛苦也会出现高峰，我们总体上希望尽量减少这些高峰。人类整体上会遭受更少的痛苦，对吧？我对此非常乐观。我确实担心随着AI的发展，可能会出现技术法西斯主义之类的东西——他们能以更多方式与AGI互动并利用其所有优势，将思维与AGI融合，借助其能力或让某人的能力更高效地利用这些优势，远超其他人。因此，虽然不会出现“一人统治所有人”，但我担心的是，可能会是少数人——几百、几千、几万甚至几百万人——统治剩下的所有人，对吧？经济也是如此。

303:36

minimize the amount of spikes generally humanity is going to suffer a lot less right I'm very

尽量减少那些剧烈波动，总体上人类会少受很多苦，我非常认同

303:41

optimistic about that I do worry of like techno fascism type stuff arising as AI becomes more

我对这一点持乐观态度，但我确实担心随着AI的发展，会出现类似技术法西斯主义的东西，让人们能够以更多方式与AGI互动并享受其所有优势，甚至将他们的思维与AGI融合，利用其能力——或者说那个人的能力可以比其他人更好地利用这些优势，因此不会是一个人统治所有人，但我担心的是，可能会是少数人——比如几百、几千、几万甚至几百万人——统治剩下的所有人，对吧？而经济方面，人机融合体让个体人类能够对世界产生更大的影响。至于AGI，至少按照实验室的定义，它并不是一种失控的、有感知能力的东西，而更像是……

303:49

and more prevalent and powerful and those who control it can do more and more maybe it doesn't kill

并且越来越普遍、越来越强大，那些掌控它的人能做的事情也越来越多——也许它不会直接杀人，但他们可以与AGI互动，以更多方式利用它所有的优势，并将自己的思维与之融合。就像，它的能力或者那个人的能力，可以比其他人更好地利用这些优势，因此，虽然不会出现“一人统治所有人”的局面，但我担心的是，可能会变成少数人——你知道，几百、几千、几万甚至几百万人——统治剩下的所有人，对吧？还有围绕它的经济体系。我认为，这可能是更令人担忧的事情，比如人机融合，这让单个个体能够对世界产生更大的影响。

303:54

us all but at some point every very powerful human is going to want to brain computer interface so

我们所有人，但到了某个节点，每个非常强大的人类都会想要脑机接口，这样他们就能与AGI交互，以更多方式利用其所有优势，并将自己的思维与AGI的能力融合，或者说让那个人的能力能比其他人更好地利用这些优势，因此不会是一个人统治所有人，但我担心的是，可能会是少数人——几百、几千、几万，甚至几百万人——统治剩下的所有人，对吧？以及围绕它的经济体系。我认为更令人担忧的可能是这种人机融合，它让单个人类对世界产生更大的影响。

304:00

that they can interact with the AGI and all of its advantages in many more way and merge its mind

他们能以更多方式与AGI互动，享受它所有的优势，并将自己的思维与之融合

304:05

with you know sort of like and its capabilities or that person's capabilities can leverage those

就像，嗯，借助它的能力，或者说那个人的能力可以比其他人更好地利用这些优势

304:10

much better than anyone else and therefore be you know won't be one person rule them all but it will

因此，不会是一个人统治所有人，但会——

304:15

be you know the thing I worry about is it will be like few people you know you know hundreds

我担心的是，会变成少数人——你知道，几百、几千、几万，甚至几百万人——统治剩下的所有人，对吧？而经济也会如此

304:20

thousands tens of thousands maybe millions of people rule whoever's left right and the economy

几千、几万甚至几百万人统治着剩下的人，对吧？还有经济。

304:26

around it right and I think it'll that's like the the thing that's probably more worrisome is like

围绕这一点，我觉得更让人担忧的其实是人机融合——这让单个个体对世界产生更大的影响力。而AGI，至少按实验室的定义来说，并不是那种失控的、有自我意识的东西，而是能高效处理大量任务的系统，它会放大某个人的能力，从而造成极端破坏。但大多数情况下，我觉得它会被用于逐利动机，这反而会增加资源的丰裕度和供给，从而减少苦难。对吧，这就是目标。而scrolling和那条不断滚动的时间线，维持着世界的现状——这本身就是一个积极的结果。

304:30

human machine amalgamations this enables an individual human to have more impact on the world

人机融合使得个体人类能够对世界产生更大的影响。而AGI——至少在我看来，实验室对其的定义并非某种失控的、有感知能力的东西——而是维持现状、保持世界平稳运行的状态，这其实是一个积极的结果，对吧？

304:37

and that impact can be both positive and negative right generally humans have positive impacts

这种影响既可能是正面的，也可能是负面的。一般来说，人类对世界——至少对社会层面——有正面影响，但个别人类也可能造成极其负面的影响。而AGI，至少按实验室的定义来说，并不是那种失控的、有自我意识的东西，而是能高效完成大量任务的工具。它会放大使用者的能力，可能导致极端破坏。不过大多数情况下，我觉得它会被用于追求利润的动机，这反而会增加物资的丰富度和供应量，从而减少苦难。对吧？这就是目标。而Scrolling以及那条时间线，维持着现状的Stasis，这本身就是一种正面结果。

304:42

on the world at least societally but it's possible for individual humans to have such negative impacts

从社会层面来看，至少对世界而言是这样，但个别人类确实可能造成如此负面的影响。而AGI——至少按照实验室的定义，它并不是那种失控的有意识的东西——而是能高效完成大量任务的工具，它会放大那些造成极端破坏的人的能力。但大多数情况下，我觉得它会被用于追求利润的动机，这反而会增加物质的丰富度和供应量，从而减少痛苦，对吧？没错，这就是目标。而scrolling和timeline的滚动，维持着世界的现状，这本身就是一个积极的结果。同时向宇宙扩张——嗯，活在这个时代真有意思，谢谢你。

304:47

and AGI at least as I think the labs define it which is not a runaway sentient thing but rather

而AGI，至少按实验室的定义来说，并不是那种失控的、有自我意识的东西，

304:53

just something that can do a lot of tasks really efficiently um amplifies the capabilities of someone

就是那种能高效处理大量任务的东西，嗯，能放大一个人的能力。

304:59

causing extreme damage but but for the most part I think it'll be used for you know profit seeking

虽然可能造成严重破坏，但大多数情况下，我觉得它会被用于追求利润的动机，

305:05

motives which will then reduce which will increase the abundance and supply of things and therefore

这反而会提高资源的丰富度和供应量，从而减少苦难，对吧？没错，这就是目标。

305:09

reduce suffering right yeah that's the goal scrolling and uh the timeline just rolling the

滚动着时间线，那种停滞状态维持着世界的现状，这本身就是一个积极的结果，对吧？

305:16

stasis that is holding scrolling holds the status quo of the world that is a positive outcome right

而是一种维持现状、让世界保持稳定的状态——这其实是个正面的结果，对吧？

305:22

like it's like if I have food tubes and leftover scrolling and I'm happy that's a positive outcome

就像说，如果我有食物管和无限刷视频的快乐，那也算是个好结果。而向宇宙扩张嘛……嗯，活在这个时代真有意思。感谢你始终推动人类探索的前沿，也谢谢你跟我聊这些，真的很开心。感谢邀请，感谢收听这期与Dylan Patel和Nathan Lambert的对话。要支持本播客，请查看简介中的赞助商信息。最后，用Richard Feynman的一句话送给大家：技术要成功，现实必须优先于公关，因为大自然不会被欺骗。感谢收听，下次再见。

305:29

while expanding out into the cosmos uh well this is a fun time to be alive and thank you for

在向外探索宇宙的同时，嗯，活在这个时代真是件有趣的事，感谢你的陪伴。

305:36

pushing the forefront always possible in humans and thank you for talking to this is fun

推动人类前沿始终是可能的，感谢你参与这场对话，这很有趣。

305:41

thanks for having thanks for having thanks for listening to this conversation with Dylan Patel

感谢邀请，感谢收听这场与Dylan Patel和Nathan Lambert的对话。

305:46

and Nathan Lambert to support this podcast please check out our sponsors in the description

要支持本播客，请查看简介中的赞助商信息。

305:52

and now let me leave you some words from Richard Feynman for a successful technology reality

现在，让我用Richard Feynman的话作为结尾：成功的科技现实必须优先于公关，因为大自然无法被欺骗。感谢收听，期待下次再见。

306:00

must take precedence over public relations for nature cannot be fooled thank you for listening

必须优先于公关，因为大自然不会被欺骗，感谢你的收听。

306:07

and hope to see you next time

希望下次还能见到你。

Play Queue