GPT-5, AI Agents, and the Path to AGI

00:00

I think compute is going to be the currency of the future I think it

我觉得算力会成为未来的货币，可能是世界上最珍贵的商品。我预计到本十年末，甚至可能更早一些，我们就会拥有相当强大的系统，看着它们会说"哇，这真的太了不起了"。通往AGI的道路应该是一场巨大的权力斗争，我预计情况会是这样——谁先造出AGI，谁就会获得巨大的权力。你相信自己能驾驭那么多权力吗？以下是Sam Altman的对话，这是他第二次来播客。他是OpenAI

00:06

will be maybe the most precious commodity in the world I expect that by the

的CEO，这家公司做出了GPT-4、ChatGPT、Sora，也许有一天还会是那个造出AGI的公司。这里是Alex Freedman的播客，想支持我们的话，请查看描述里的赞助商。好了，亲爱的朋友们，有请Sam Altman。带我回顾一下OpenAI董事会那场风波吧，从11月16日星期四开始，对你来说可能是11月17日星期五。那绝对是我职业生涯中最痛苦的一次经

00:12

end of this decade and possibly somewhat sooner than that we will have quite capable

历，混乱、丢脸、让人心烦，还有一堆其他负面情绪。不过也有好的地方，我希望当时不是处在那种肾上腺素飙升的状态，没能停下来好好感受那些时刻。但我翻到了我当时发的一条旧推文，就像是去参加自己的葬礼，看着人们说关于你的各种好话，还有来自我关心和在乎的人那种难以置信的支持，那真的很暖心。那个周末，除了一个很大的例外，我感受到的是大量的爱和非常少的恨。尽管当时感觉完全

00:18

systems that we look at and say wow that's really remarkable the road to AGI

不知道发生了什么，也不知道接下来会怎样，感觉真的很糟糕。而且有好几次，我觉得这可能会成为AI安全领域最糟糕的事情之一。不过我也觉得，这件事发生得相对较早是件好事。我原本以为，在OpenAI成立到我们造出AGI之间的某个时候，会发生一些疯狂和爆炸性的事情，但可能还会有更多疯狂和爆炸性的事情发生。它还是帮我们建立了一些韧性，为未来的更多挑战做好准备。但你当时有种

00:24

should be a giant power struggle I expect that to be

预感，你会经历某种权力斗争？通往AGI的道路应该是一场巨大的权力斗争，世界应该——好吧，不是"应该"，是我预计情况会是这样。所以你必须经历这些，就像你说的，尽可能多地迭代，搞清楚如何构建董事会结构、如何组织、如何选择共事的人、如何沟通所有这一切，才能最终实现目标。

00:28

the case whoever builds AGI first gets a lot of power do you trust yourself

谁先造出AGI，谁就能获得巨大的权力——你相信自己能驾驭那么大的权力吗？以下是与Sam Altman的对话，这是他第二次做客本播客。他是OpenAI的CEO，这家公司推出了GPT-4、ChatGPT、Sora，或许有一天还会成为那个真正造出AGI的公司。这里是Alex Freedman的播客。如果想支持我们，请查看描述里的赞助商信息。好了，亲爱的朋友们，有请Sam Altman。带我回顾一下OpenAI董事会那场风波

00:35

with that much power the following is a conversation with Sam Altman his second time

吧——从你那边算，大概是11月16日周四或11月17日周五开始的。那绝对是我职业生涯中最痛苦的经历，混乱、羞耻、令人沮丧，还有一堆其他负面情绪。不过其中也有好的部分，只是当时肾上腺素飙升，我没能停下来好好感受。我翻到了自己当时发的一条旧推文，感觉就像在参加自己的葬礼，看着人们说尽好话，还有来自我深爱和在乎的人难以置信的支持——那真的很暖心。那个周末，除了一个很大的例外，我感受到的是满满的爱，几乎没有恨意。尽管当时我完

00:42

in the podcast he is the CEO of open AI the company behind GPT 4

全不知道发生了什么、接下来会怎样，感觉糟透了，而且有好几次我觉得这可能会成为AI安全领域最糟糕的事件之一。不过我也庆幸这事发生得相对较早。我原本以为，从OpenAI成立到我们造出AGI之间，总会发生一些疯狂又爆炸性的事——当然，后面可能还有更疯狂的事等着我们。但这次经历确实帮我们增强了韧性，为未来更多挑战做好了准备。你当时是不是有种预感，会经历某种权力斗争？通往AGI的道路本来就该是一场巨大的权力斗争——世界应该，或

00:49

Chad GPT Sora and perhaps one day the very company that

者说，我预期会是这样。所以你只能像你说的那样，尽可能多地迭代，去摸索董事会结构、组织架构、合作对象、沟通方式，所有这些都得不断调整。那之后的一段时间，大概一个月，甚至四十五天里，我整个人像在梦游，浑浑噩噩地过日子，完全不在状态。心理上特别低落，真的很痛苦。而且还得在那样的状态下继续运营OpenAI，太难了。

00:54

will build AGI this is Alex Freedman podcast to support it please check out our

会构建AGI，这里是Alex Freedman的播客。要支持我们，请查看简介里的赞助商。好了，亲爱的朋友们，接下来有请Sam Altman带我们回顾OpenAI董事会风波——这件事从11月16号周四开始，对你来说可能是11月17号周五。那绝对是我人生中最痛苦的职业经历，混乱、丢脸、糟心，还有一堆其他负面情绪。不过也有好的地方，我多希望当时不是处于那种肾上腺素飙升的状态，没能停下来好好感受那些时刻。但我翻到了我当时发的一

01:01

sponsors in the the description and now dear friends here's Sam Alman take me through

条老推文，那种感觉就像……就像去参加自己的葬礼，看着大家说你的好话，还有来自我关心和在乎的人那种难以置信的支持，真的特别温暖。那个周末，除了一个很大的例外，我感受到的是满满的爱，几乎没什么恨意。尽管当时我完全不知道发生了什么，也不知道接下来会怎样，感觉糟透了，而且有好几次我都觉得这可能会成为AI安全领域最糟糕的事件之一。不过我也觉得，这件事发生得相对早是件好事。我原本以为，在OpenAI创立到我们创造出AGI之间的某个时

01:07

the open AI board Saga that started on Thursday November 16th maybe Friday November 17th

间点，肯定会发生一些疯狂又爆炸性的事情，但可能后面还会有更疯狂更爆炸的事。这件事还是帮我们建立了一些韧性，为未来更多的挑战做好了准备。但你当时有种预感，你会经历某种权力斗争。通往AGI的道路应该是一场巨大的权力斗争，世界应该——好吧，不是“应该”，而是我预期会是这样。所以你必须要经历这些，就像你说的，尽可能多地迭代，搞清楚如何设计董事会结构、如何组织架构、如何选择共事的人、如何沟通所有这一切，以便在未来……那之后有一段时

01:14

for you that was definitely the most painful professional experience of my life

间，大概一个月，可能45天，我整个人就像在梦游一样，浑浑噩噩地过日子，完全不在状态。心理上特别低落，真的很痛苦。而且还得在那种情况下继续运营OpenAI，处理开发、资金之类的事情。所以，为了让那些有极高潜力构建AGI的人，未来能以一种稍微更有条理、不那么戏剧化的方式去做这件事，这里面是有价值的。这既关乎你作为领导者的个人心理层面，也关乎董事会结构这些乱七八糟的东西。

01:20

and chaotic and shameful and upsetting and a bunch of other negative things uh there

混乱、可耻、令人沮丧，还有一堆其他负面的事情——当然也有很棒的地方，我真希望当时不是处在那种肾上腺素飙升的状态，没能停下来好好感受它们。但我翻到了我当时的一条旧推文，或者说是那个时期的一条推文，内容大概是：就像去参加自己的葬礼，看着别人说你的好话，还有来自我关心和在乎的人难以置信的支持，那真的很美好。那个周末，除了一个很大的例外，我感受到的是大量的爱和非常少的恨。

01:27

were great things about it too and I wish I wish it had not been

尽管当时我觉得自己完全不知道发生了什么，也不知道接下来会怎样，感觉真的很糟糕，而且有好几次我以为这会是AI安全领域有史以来最糟糕的事情之一。不过我也觉得，这件事发生得相对较早是件好事。我本来以为，从OpenAI成立到我们创造出AGI之间，会发生一些疯狂和爆炸性的事情，但未来可能还会有更多疯狂和爆炸性的事情发生。它还是帮助我们建立了一些韧性，为未来的更多挑战做好了准

01:34

in such an adrenaline rush that I wasn't able to stop and appreciate them at

备。但你当时有种预感，你会经历某种权力斗争。通往AGI的道路应该是一场巨大的权力斗争——世界应该，或者说我预期会是这样。所以你必须经历这些，就像你说的，尽可能多地迭代，去弄清楚如何构建董事会结构、如何组织架构、如何选择与你共事的人、如何沟通所有这些，以便在之后的时间里……那之后有一个类似“失神状态”的阶段，大概持续了一个月，也许45天，我就是浑浑噩噩地过日子，完全

01:40

the time but um I came across this old tweet of mine or this tweet

不在状态，情绪非常低落，从个人心理层面来说，真的很痛苦，而且很难在那种情况下还得继续运营OpenAI。为了让你——一个非常有潜力构建AGI的人——在未来能以稍微更有条理、更不戏剧化的方式去做这件事，所以这其中是有价值的，既包括你作为领导者的个人心理层面，也包括董事会结构和所有那些乱七八糟的事情。当人们感受到时间压力或其他压力时，他们情有可原地会做出次优决策。我认为

01:47

of mine from that time

OpenAI面临的挑战之一就是，我们需要一个能在压力下良好运作的董事会和团队。你觉得董事会权力太大了吗？我认为董事会是……

01:50

period which was like it was like you know kind of going to your own

那段经历就像……就像你参加自己的追悼会，看着大家说尽你的好话，还有来自我爱的人和在乎的人那种难以置信的支持，真的很美好。整个周末，除了一个很大的例外，我感受到的是满满的爱，几乎没有恨意。尽管当时感觉完全不知道发生了什么、接下来会怎样，那种感觉很糟糕，而且确实有几次我以为这会是AI safety领域最糟糕的事情之一。不过我也庆

01:55

eulogy watching people say all these great things about you and uh just like unbelievable

幸这事发生得相对较早。我原以为在OpenAI成立到我们创造出AGI之间的某个时间点，会发生某种疯狂而爆炸性的事件，但未来可能还会有更疯狂、更爆炸的事情发生。它还是帮我们建立了一些韧性，为未来更多挑战做好准备。但你当时有种预感，你会经历某种权力斗争。通往AGI的道路应该是一场巨大的权力斗争——世界应该……好吧，不是“应该”，而

02:01

support from people I love and care about uh that was really nice um that

是我预料到会是这样。所以你必须像你说的那样，尽可能多地迭代，搞清楚如何设计董事会结构、如何组织架构、如何选择共事的人、如何沟通这一切，以便在事后……之后有大概一个月，可能45天的时间，我处于一种恍惚状态，就是浑浑噩噩地过日子，完全不在状态。心理上非常低落，真的很痛苦，而且还得在那种情况下继续运营OpenAI，处理开发、资金之

02:07

whole weekend I I kind of like felt with one big exception I I felt

类的事情。这样未来那些有极高潜力构建AGI的人，就能以更有序、更少戏剧性的方式去做。所以这既有你作为领导者的个人心理层面的价值，也有董事会结构这类混乱问题的价值。当人们感受到时间压力时，自然会做出次优决策。我认为OpenAI面临的挑战之一，就是必须有一个能在压力下良好运作的董事会和团队。你觉得董事会权力过大吗？我认为董事会…

02:13

like a great deal of love and very little

…虽然我们后来决定——我很感激Adam愿意留下——但我们考虑过各种配置，最终决定将董事会缩减到三人，并且需要在短时间内找到两名新成员。说实话，这些决定是在战场上做出的，根本没有时间设计严谨的流程。

02:17

hate um even though it felt like I just I have no idea what's happening

嗯，虽然当时感觉就像——我完全不知道现在在发生什么，也不知道接下来会发生什么，这种感觉真的很糟糕。而且确实有几次，我觉得这可能会成为AI safety历史上最糟糕的事情之一。但另一方面，我也觉得这件事发生得相对早一些是件好事。我本来以为，从OpenAI成立到我们创造出AGI之间，一定会发生某种疯狂而爆炸性的事件，但可能更疯狂、更爆炸的事情

02:22

and what's going to happen here and this feels really bad and there were definitely

还在后面。它还是帮我们建立了一些韧性，让我们为未来的更多挑战做好了准备。但你当时有种预感，你会经历某种权力斗争。通往AGI的道路应该是一场巨大的权力斗争，世界应该——好吧，不是“应该”，我是预期会是这样。所以你必须经历这个过程，就像你说的，尽可能多地迭代，搞清楚如何设计董事会结构、如何组织、如何选择合作伙伴、如何沟通所有这一切，以便在未来，

02:27

times I thought it was going to be like one of the worst things to

当你有极高潜力构建AGI的时候，能以一种稍微更有条理、不那么戏剧化的方式去做。在那之后，大概有一个月、也许45天的时间，我处于一种类似“失神状态”，就是浑浑噩噩地过日子，整个人完全不在状态，情绪非常低落，从个人心理层面来说真的很痛苦，而且还要在那种状态下继续运营OpenAI，处理开发、资金之类的事情。所以这里面有双重价值，既包括你作为领导者

02:32

ever happen for AI safety well I also think I'm happy that it happened relatively

的个人心理层面，也包括董事会结构这些乱七八糟的东西。当人们感受到时间压力之类的东西时，他们很容易做出次优决策。我认为OpenAI未来的一个挑战是，我们必须有一个能够在压力下运作的董事会和团队。你觉得董事会权力太大了吗？我认为董事会——不过我们后来决定，而且我很感激Adam愿意留下来，但我们考虑过各种配置，最终决定把董事会缩减到三人，并且需要

02:37

early I thought at some point between when opening I started and when we created

在短时间内找到两名新成员。说实话，这些决定是在战场上做的，你没有时间去设计一个严格的流程。那种与人类之间迭代往复的互动很神奇。对我来说很管用。你指的是什么？迭代往复。人类能更频繁地得到反馈，当模型可以独立完成一个十步问题的时候，这种互动就不太奏效了。有时候是在多个抽象层次上，还是你只是指顺序性的？两者都有吧，就是拆解问题，然后在不同抽象层次

02:42

AGI there

上处理，再组合起来。听着，我不想贬低这个成就。

02:42

was going to be something crazy and explosive that happened but there may be more

原本以为会发生什么疯狂又爆炸性的事情，但可能还有更疯狂更爆炸的事在后面等着。嗯，我觉得这确实帮我们建立了一些

02:49

crazy and explosive things still to happen um it still I think helped us build

韧性，为未来更多的挑战做好了准备。但你当时有种预感，会经历某种权力斗争。通往AGI的道路应该是一场巨大的权力

02:57

up some resilience and be ready for more challenges in the future but the thing

斗争，世界应该——嗯，不是“应该”，而是我预期会是这样。所以你必须要经历这些，就像你说的，尽可能多地迭代，去

03:04

you had a sense that you would experience is some kind of power

搞清楚董事会结构怎么设计、组织怎么搭建、和什么样的人共事、怎么沟通所有这些事情，以便在之后……

03:10

struggle the road to AGI should be a giant power struggle like the world should

通往AGI的道路应该是一场巨大的权力斗争，世界应该——好吧，不是“应该”，

03:15

I like well not should I expect that to be the case and so you

而是我预期会是这样。所以你得像你说的那样，尽可能频繁地迭代，搞清楚董事会结构

03:20

have to go through that like you said iterate as often as possible uh in

怎么设、组织怎么建、跟什么样的人合作、怎么沟通这些事，才能让那些有很高潜力

03:25

figuring out how to have a board structure how to have organization how to have

造出AGI的人，以一种更有条理、更少戏剧性的方式去做这件事。嗯，未来会是这样

03:30

um the kind of people that you're working with how to communicate all that in

。所以这里面有价值，既包括你作为领导者的个人心理层面，也包括董事会结构这些

03:36

order to uh

乱七八糟的东西。

03:37

deescalate the power struggle as much as possible yeah pacify it but at this point

尽量平息这场权力斗争吧，对，安抚它，但到了现在这个点，感觉就像——你知道的——像是过去一段非常不愉快、非常艰难痛苦的事，但我们又回到工作中了，事情又忙又紧张，所以我没花太多时间去想它。那之后有一段时间，呃，大概有一个月吧，或者之后45天左右，我整个人就像在梦游一样，日子就那么飘着过，我完全不在状态，心情特别低落，从个人心理层面来说，真的很痛苦，而且还得在那种情况下继续运营Ope

03:43

it feels you know like something that was in the past that was really unpleasant

nAI，真的很难。我当时只想找个山洞躲起来，恢复一阵子，但现在呢，我们又回到使命上来了。不过回过头去反思董事会结构、权力动态、公司如何运营、研究与产品开发以及资金之间的张力，所有这些事，还是很有价值的。这样，无论谁将来要打造AGI，都能以更有条理、更少戏剧化的方式去做。所以，无论是作为领导者的个人心理层面，还是董事会结构这些乱七八糟的东西，都值得去探讨。在结构和激励机制方面，以

03:50

and really difficult and painful but we're back to work and things are so busy

及我们对董事会需要什么，我确实学到了很多。而且我觉得，从某种意义上说，这件事现在发生是有价值的。这大概不会是OpenAI最后一个高压时刻，但那确实是个高压时刻——公司差点就毁了。我们花了很多心思去想AGI需要做对的很多其他事，但思考如何打造一个有韧性的组织，如何构建一个能承受世界上巨大压力的结构——我预计随着我们越来越接近AGI，这种压力会越来越大——我觉得这超级重要。你觉得董

03:56

and so intense that I don't spend a lot of time thinking about it there

事会的审议过程有多深入和严谨？你能透露一下这种情况中涉及的人际动态吗？是不是就聊了几次，然后突然就升级了，然后就说“我们为什么不炒掉Sam”？我觉得，董事会成员总体上都是善意的人。而且我相信，在压力大的情况下，当人们感到时间紧迫或其他什么原因时，他们情有可原地会做出次优决策。我认为OpenAI面临的挑战之一就是，我们必须有一个能在压力下良好运作的董事会和团队。你觉得董事会权力太

04:03

was

大了吗？我觉得董事会是——

04:03

a time after uh there was like this Fugue State um for kind of like

在那之后有一段时间，大概一个月吧，也许45天，我整个人就像在梦游一样，每天浑浑噩噩的

04:09

the month after maybe 45 days after that was I was just sort of like

，完全不在状态。情绪特别低落，从个人心理层面来说，真的很痛苦。而且还得在那种情况下继续

04:14

drifting through the days I was so out of it um I was feeling so

运营OpenAI，处理开发、资金这些乱七八糟的事。所以，为了让那些有极高潜力建造AGI

04:19

down uh just on a personal psychological level yeah really painful um and hard to

的人，未来能以一种更有条理、更少戏剧性的方式去做这件事，这里面是有价值的。这既关乎你

04:25

like have to keep running open a ey in the middle of that

作为领导者的个人心理层面，也关乎董事会结构以及所有那些 messy 的事情。

04:29

I just wanted to like crawl into to a cave and kind of recover for

我当时真想找个山洞躲起来，好好恢复一阵子。但你知道，现在又回到使命上继续工作了。不过，回去

04:36

a while but you know now it's like we're just back to working on the

反思一下董事会结构、权力动态、公司如何运作，以及研究与产品开发、资金之间的张力，还是挺有用的

04:43

mission well it's still useful to go back there and reflect on board structures on

。这样，那些未来极有可能构建AGI的人，就能以更有序、更少戏剧化的方式去做。是的，未来是有

04:50

power dynamics on how companies are run the tension between research and product

价值的。这既涉及你作为领导者的个人心理层面，也涉及董事会结构这些乱七八糟的东西。

04:56

development and money and all this kind of stuff so that you whoever a very

开发、资金这类事情，所以那个有极高潜力打造

05:01

high potential of building AGI would do so in a slightly more organized less dramatic

AGI的人，会以一种更有条理、没那么戏剧化的

05:07

way yeah in the future so there's value there to go both the personal psychological

方式去做，嗯，未来是有这个价值的。这既关乎你

05:13

aspects of you as a leader and also just the the board structure and all

作为领导者的个人心理层面，也关乎董事会结构这

05:19

this kind of messy stuff

些乱七八糟的事。

05:21

definitely learned a lot about um structure and incentives and um what we need out

确实学到了很多关于结构和激励机制的东西，以及我们对董事会需要什么。我觉得这件事现在

05:26

of a a board um and I think that is it is valuable that this

发生，在某种意义上是有价值的。这可能不是OpenAI最后一个高压时刻，但这确实是个

05:32

happened now in some sense um I think this is probably not like the last

高压时刻——公司差点就完蛋了。我们花了很多心思去考虑AGI的其他方面，但思考如何建

05:37

high stress moment of opening eye but it was quite a high stress moment like

立一个有韧性的组织，如何构建一个能承受世界上巨大压力的结构——我预计随着我们越来越接

05:43

company very nearly got destroyed and we think a

近AGI，这种压力会越来越大——我觉得这超级重要。

05:46

lot about many of the other things we've got to get right for AGI but

关于AGI还有很多其他方面需要做对，但思考

05:51

thinking about uh how to build a resilient org and how to build a structure

如何建立一个有韧性的组织，如何构建一个能承受

05:55

that will stand up to like a lot of pressure in the world which I

外界巨大压力的结构——我预计随着我们越来越接

06:00

expect more and more as we get closer I think that's super important do you

近目标，这种压力会越来越大——我觉得这超级重

06:04

have a sense of how deep and rigorous the deliberation process by the board was

要。你觉得董事会的审议过程有多深入和严谨？能

06:09

like can you shine some light on just human dynamics involved in situations like this

不能透露一下这种情况背后的人际动态？是不是只

06:13

was it just a few

是少数几个人……

06:15

conversations and all of a sudden it escalates and why don't we fire Sam kind

你觉得董事会的审议过程有多深入和严谨？你能透露一下这种

06:25

of thing I think I think the board members were are well meaning people on

情况下的人际动态吗？是不是就几次对话，然后突然就升级了，

06:35

the whole um and I believe that in stressful situations

然后就“我们为什么不炒掉Sam”这种？

06:42

um where people feel time pressure or whatever uh people understandingly make suboptimal decisions and

当人们感受到时间压力之类的东西时，很容易做出次优

06:49

I think one of the challenges for open AI will be we're going to have

决策，这可以理解。我认为OpenAI面临的挑战之

06:55

to have a board and a team uh that are good at operating under Under

一就是，我们需要一个能在压力下良好运作的董事会和团

07:01

Pressure do you think the board had too much power I think boards are

队。你觉得董事会权力太大了吗？我觉得董事会……

07:07

supposed to have a lot of power um but one of the things that we

按理说董事会权力很大，但我们在大多数公司结构里看到的是，董事会通常要对股东负责，你知道有时候有人有超级投票权之类的。但在这种情况下，我觉得我们结构里可能没想太多的一点是，非营利组织的董事会除非你设了其他规则，否则权力相当大，他们基本上只对自己负责。这有好的一面，但我们真正希望

07:11

did see is in in most corporate structures boards are usually answerable to shareholders you

的是OpenAI的董事会能尽可能对全世界负责，只要这事可行。所以新董事会宣布了，是的，一开始是个较小的董事会，现在有了新的最终董事会——还不是最终，我们还会加人。已经加了一些。好的，那新董事会解决了之前可能存在的什么问题？旧董事会大概在一年内逐渐变小，从九人减到六人，然后我们

07:16

know there's sometimes people have like super voting shares or whatever um in this case

在加谁的问题上无法达成一致。而且董事会里我觉得没什么有经验的成员。OpenAI的新董事会成员大多有更丰富的董事会经验，我觉得这会有帮助。但有人批评新加入的成员，比如我听到很多人批评拉里·萨默斯的加入。那选董事会的过程是怎样的？具体涉及什么？布雷特和拉里基本上是在那个非常紧张的

07:21

and I think one of the things with our structure that we maybe should have

周末临时决定的。那个周末真是过山车一样，起起伏伏很多。我们当时试图达成一致，找到新旧董事会都觉得合理的新成员。拉里其实是旧董事会提的建议之一。布雷特呢，我觉得在那周末之前我就提过，但他很忙不想干，后来我们真的需要帮助。我们还聊过很多人，但我觉得如果我回来，我需要新董事会成员。我

07:25

thought about more than we did is that the board of a nonprofit has unless

不认为我能和旧董事会以同样的配置继续合作。虽然我们后来决定——我很感激亚当愿意留下——但我们考虑过各种配置，最终决定要一个三人董事会，然后在短时间内找到两个新成员。所以那些决定说实话是在战场上做的，没时间设计严谨的流程。至于之后的新成员和未来要加的成员，我们有一些标准，认为董

07:30

you put other their rules in place like

事会需要不同的专业知识，我们希望董事会具备这些。不像招高管需要他们做好一个角色，董事会需要做好治理和深思熟虑这一整套角色。布雷特有句话我特别喜欢……

07:32

quite a quite a lot of power they don't really answer to anyone but themselves

我觉得董事会成员总体上都是善意的人。

07:37

and there's ways in which that's good but what we'd really like is for the

我相信在压力大的情况下，当人们感到时

07:42

board of open a to like answer to the world as a whole as much

间紧迫或其他什么，人们很自然会做出次

07:46

as that's a practical thing so there's a new board announced yeah there's I guess

优决策。我认为OpenAI面临的挑战

07:51

uh a new smaller board at first and now there's a new Final board not

之一就是，我们需要一个能在压力下良好

07:55

a final board yet we've added some We'll

运作的董事会和团队。

07:58

add more added some okay what is fixed in the new one that was perhaps

在时间压力下，人们难免会做出次优决策

08:03

broken in the previous one the old board sort of got smaller uh over the

。我觉得OpenAI面临的挑战之一就

08:09

course of about a year it was nine and then it went down to six

是，我们需要一个能在压力下良好运作的董

08:14

and then we couldn't agree on who to add and the board also uh I

事会和团队。你觉得董事会权力太大吗？

08:20

think didn't have a lot of

我认为董事会……

08:22

experienced board members and a lot of the new board members at open have just

经验丰富的董事会成员，以及OpenAI很多新任董事会成员，他们在担任董事这件事上更有经验了，我觉得这会有帮助。之前有人批评说，加入董事会的一些人不太合适，比如我听到很多人批评拉里·萨默斯的加入。那董事会成员是怎么选出来的？流程是什么样的？其实布雷特和拉里是在那个非常紧张的周末，在那种紧急情况下临时决定的。那个周末真的像坐过山车一样，起

08:27

have more experience as board members um I think that'll help it's been criticized some

起伏伏。我们当时试图在现有高管团队和原董事会成员之间，找到双方都觉得合理的董事会人选。拉里其实是原董事会那边提的建议之一。布雷特呢，我印象中在那个周末之前就有人提过他，但他当时很忙，不想接。后来我们确实急需帮手。我们也聊过很多其他人选，但我觉得，如果我要回来，就需要新的董事会成员。我没办法再和原班人马以同样的方式合作了。虽然后来我们决定

08:32

of the people that added to the board I heard a lot of people criticizing

——而且我很感激——让亚当留下来，但我们考虑了各种组合，最终决定把董事会缩减到三个人，而且必须在短时间内找到两名新董事。所以这些人选，说实话，是在那种情况下决定的——就像在战场上做决策一样，根本没时间设计一套严谨的流程。至于之后的新董事会成员，以及未来会加入的人，我们确实有一些标准，我们认为董事会需要具备不同的专业能力。和招聘高管不同，

08:37

the addition of Larry Summers for example what what's the process of selecting the board

高管只需要把某一个角色做好，而董事会需要把治理和深思熟虑这一整套角色都做好。布雷特有句话我特别喜欢，他说：OpenAI当然不是那种关注运营细节的公司，但当你考虑到董事会，考虑到那些戏剧性事件时，你会想：如果你实现了AGI，或者做出了那些影响力巨大的产品，并且把它们部署出去，那你和董事会的对话会是什么样的？你会想，在这种情境下，什么样的团

08:41

like what's involved in that so Brett and Larry were kind of uh decided In

队才适合进行深思熟虑的讨论？我觉得你肯定需要一些技术专家，同时也需要一些能思考“我们怎么部署这个东西，才能最大程度地帮助全世界的人”的人，以及那些持有非常不同视角的人。你知道，你或我可能会犯的一个错误，就是觉得只有技术理解才重要。那确实是董事会讨论的一部分，但还有更多关于这项技术将如何影响社会、影响人们生活的问题，你也需要有人在董事会

08:46

the Heat of the Moment over this like very

里代表这些声音。那你主要是看人的过往履历，还是通过交谈来判断？履历当然很重要，你肯定也会进行很多交谈。但有些角色，我基本上不看履历，只看斜率——忽略Y轴截距。谢谢你，谢谢你把这个问题数学化，方便观众理解。

08:49

tense weekend and that was that mean that weekend was like a real roller coaster

那个周末真的很紧张，简直像坐过山车一样，起起伏伏特别多。我们当时在努力达成一致，选出新的董事会成

08:55

it's like a lot of a lot of ups and downs um and we were

员，既要让这边的执行团队觉得合理，也要让原来的董事会成员觉得可以接受。Larry 其实是原来董事会

09:01

trying to agree on new board members that both sort of the executive team here

那边提的建议之一。虽然后来我们决定——而且我很感激——Adam 愿意留下来，但我们考虑了好几种组合

09:07

and the old board members felt would be reasonable um Larry was actually one of

，最后决定把董事会缩减到三个人，所以不得不在很短的时间内找到两位新的董事会成员。这些决定说实话是在

09:13

their suggestions the old board members um

战场上做的，根本没有时间去设计一个严谨的流程。

09:16

Brett I think I had even previous to that weekend suggested but he was you

加了一些人。好的，新结构里修复了

09:21

know busy and didn't want to do it and then we really needed help in

之前哪些问题？旧董事会大概在一年

09:26

Wood um we talked about a lot of other people too uh but that was

内逐渐缩小，从九个人减到六个人，

09:31

I felt like if I was going to come back uh I needed new board

然后我们就无法就新增人选达成一致

09:36

members um I didn't think I could work with the old board again in the

了。而且我觉得董事会当时也没有太

09:41

same configuration

多……

09:41

although we then decided uh and I'm grateful that Adam would stay um but we

虽然我们后来决定——我很感激Ada

09:46

wanted to get to uh we considered various configurations decided we wanted to get to

m愿意留下——但我们考虑过各种配置，

09:51

a board of three and uh had to find two new board members over the

最终决定把董事会缩减到三个人，并且

09:55

course of sort of a short period of time so those were decided honestly without

得在短时间内找到两个新成员。这些决定

10:00

uh you know that's like you kind of do that on the battlefield you don't

说实话是在战场上做的，你根本没时间

10:05

have time to design a rigorous process then

设计一个严谨的流程。

10:07

um for new board members since and new board members will add going forward um

那个紧张的周末，简直像坐过山车一样

10:12

we have some criteria uh that we think are important for the board to have

，起起伏伏很多。我们当时试图就新董

10:17

different expertise that we want the board to have um unlike hiring an executive where

事会成员达成一致，既要让这里的执行团

10:22

you need them to do one role well the Board needs to do a whole

队觉得合理，也要让旧董事会成员觉得

10:27

role of kind of governance and thoughtfulness uh well and so one thing that Brett

合理。Larry其实是旧董事会成员提

10:31

says which I really like is

出的建议之一。

10:33

that you know we want to hire board members in slates not as individuals one

你知道，我们想一次性选出一整批董事会成员，而不是一个一个地单独选。而且，我们在考虑一群能带来非营利组织经验、公司运营经验，以及良好的法律和治理经验的人——这大概就是我们努力优化的方向。那么，技术敏锐度对单个董事会成员重要吗？不是每个成员都需要，但肯定有一部分人需要，因为这是董事会职责的一部分。我觉得有意思的是，人们其实不

10:38

at a time and uh you know thinking about a group of people that will

了解——尤其是OpenAI的人——运营一家公司的各种细节。当他们想到董事会，考虑到那些戏剧性事件，他们想到的是：如果你实现了AGI，或者做出了某些影响力巨大的产品，然后构建并部署它们，你和董事会的对话会是什么样？他们大概在想，好吧，在这种情境下，什么样的团队才适合进行深思熟虑的讨论？我觉得你肯定需要一些技术专家在那里，然后

10:42

bring nonprofit expertise expertise at running companies sort of good legal and governance expertise uh

还需要一些能思考“我们怎么用这种方式部署它，才能最大程度地帮助世界上的人”的人，以及一些持有非常不同视角的人。你或我可能会犯的一个错误，就是认为只有技术理解才重要，那确实是董事会需要讨论的一部分，但还有更多关于它如何影响社会、影响人们生活的内容，你也真的希望这些能在董事会里得到体现。你是在看人们的过往记录，还是只是通过对话

10:47

that's kind of what we've tried to optimize for so is technical Savvy important for

来了解？过往记录很重要，你当然也会进行很多对话。但有些角色，我基本上完全忽略过往记录，只看斜率——忽略Y轴截距。谢谢你，谢谢你用数学方式给观众解释。对于董事会成员，我确实更关心Y轴截距。我觉得关于过往记录和经验，有些深层次的东西很难被替代。你是试着用多项式函数还是指数函数来拟合那个过往记录？这个类比其实没那么深入。好吧，

10:51

the individual board members not for every board member but for certainly some you need

你提到了那个周末的一些低谷。对你来说，心理上的低谷有哪些？你有没有想过跑到亚马逊丛林里，直接消失，再也不回来？或者，我的意思是，那段时间非常糟糕，但也有很棒的高光时刻——比如我的手机不停地收到来自每天一起工作的人、甚至十年没联系的人的暖心消息。我没能像应该做的那样去好好感受这些，因为我当时正处在火线之中，但那真的很美好。但

10:56

that that's part of what the Board needs to do so I mean the interesting

整体来说，那是一个非常痛苦的周末，而且也是一场公开到惊人程度的战斗，这让我极度疲惫，远超我的预期。我觉得战斗通常都很累人，但这次尤其如此。你知道，董事会周五下午做了这件事，我真的得不到什么答案。但我也在想，好吧，董事会有权这么做，所以我要花点时间想想我想做什么，但我试着从中找到塞翁失马焉知非福的地方。我想，嗯，我在Open

11:00

thing that people don't understand about

AI的当前工作——或者说之前的工作——就是运营一家规模不小的公司，而我一直以来最喜欢的事情就是能和研究人员一起工作，我就想，是啊。

11:02

open a I certainly don't is like all the details of running the business when

OpenAI 当然不是这样——当人们想到董事会的时候，他们想到

11:07

they think about the board given the drama they think about you they think about

的是那些经营企业的细节，但考虑到之前那些戏剧性的事件，他们想到的

11:11

like if you reach AGI or you reach some of these incredibly impactful products and

是你，想到的是如果你实现了 AGI，或者做出了那些影响力巨大的产

11:16

you build them and deploy them what's the conversation with the board like and they

品，然后你把它构建出来、部署出去，那时候和董事会的对话会是什么样

11:21

kind of think all right what's the right Squad to have in that kind of

子。他们就会想：好吧，在这种需要深思熟虑的情况下，什么样的团队才

11:26

situation to deliberate look I think you definitely need some technical

是对的？我觉得你肯定需要一些技术背景的人在里面。

11:29

experts there and then you need some people who are like what can how can

那里的专家，然后你需要一些人来思考：我们怎

11:33

we deploy this in a way that will help people in the world the most

么才能以最能帮助世界上人们的方式来部署这个东

11:38

and people who have a very different perspective you know I think a mistake that

西？还需要一些有非常不同视角的人。我觉得你或

11:42

you or I might make is to think that only the technical understanding matters and

我可能会犯的一个错误，就是认为只有技术理解才

11:46

that's definitely part of the conversation you want that board to have but there's a

重要，那确实是董事会讨论的一部分，但还有更多

11:51

lot more about how that's going to just like impact society and people's lives that

关于它如何影响社会和人们生活的内容，你也需要

11:55

you really want represented in

这些被充分代表。

11:56

there too and you're just kind of are you looking at the track record of

那里也是，你是在看别人的过往业绩，

12:02

people or you're just having conversations track record is a big deal you of course

还是只是在聊天？过往业绩很重要，当

12:07

have a lot of conversations but I um you know there's some roles where I

然你也会有很多对话，但有些角色我基

12:12

kind of totally ignore track record and just look at slope kind of ignore the

本不看过往业绩，只看斜率，忽略Y轴

12:18

Y intercept thank you thank you for making it mathematical for the for the audience

截距——谢谢你帮观众把这个数学化了。

12:23

for a board member like I do care much more about the Y intercept like

作为一个董事会成员，我更关心的是Y轴截距—

12:28

I think there is something deep to say about track record there and experiences sometimes

—我觉得在过往记录和经验方面，有些东西是深刻

12:33

very hard to replace do you try to fit a polinomial function or exponential one

且难以替代的。你是想用多项式函数还是指数函

12:38

to the to the track record that's not that it analogy doesn't carry that far

数去拟合那个过往记录？这个类比其实没那么远。

12:42

all right you mentioned some of the low points uh that weekend what were some

好吧，你提到了那个周末的一些低谷。对你来说

12:47

of the low points psychologically for you

，心理上的低谷是什么？

12:49

uh did you consider going um to the Amazon jungle and just taking IA and

而且你基本上是在看人们的过

12:54

disappearing forever or I mean there's so many like it was that was a very

往记录，还是只是在聊天？过往

12:58

bad period of time there were great High points too like uh my phone was

记录很重要，你当然会进行很多

13:02

just like sort of non-stop blowing up with nice messages from people I work with

对话，但有些角色我基本完全忽

13:06

every day people I hadn't talked to in a decade I didn't get to like

略过往记录，只看斜率——基本

13:10

appreciate that as much as I should have because I was just like in the

忽略Y轴截距。谢谢你，谢谢你

13:14

middle of this firefight but that was really nice but

为观众把这个数学化。

13:17

on the whole it was like a very painful weekend and also just like a

你有没有想过，干脆去亚马逊丛林，然后消失得无影无

13:22

very it was like a battle thought in public to a surprising degree and that's

踪？我是说，那段时间真的很糟糕。但也有很棒的高光时

13:28

that was extremely exhausting to me much more more than I expected um I think

刻——比如我的手机不停地收到暖心的消息，来自每天一

13:33

fights are generally exhausting but this one really was you know board did this uh

起工作的同事，还有十年没联系过的人。我当时没能好好

13:39

Friday afternoon I really couldn't get much in the way of answers but I

珍惜这些，因为我正处在火线之中，但那确实很美好。

13:44

also was just like well the board gets to do this and so I'm going

你是在看别人的过往记录，还是

13:48

to think for a little bit about what I want to do but I'll try

直接聊天？过往记录当然很重要，

13:52

to find the the blessing in disguise here and I was like well I you

你当然也会聊很多。但对我来说

13:56

know my current job at opening eye is or it was like to like run

，有些角色我完全忽略过往记录，

14:00

a you know decently sized company at this point and the thing I had always

只看斜率，忽略 Y 轴截距。

14:04

liked the most was just getting to like work on work with the researchers and

谢谢你，谢谢你用数学的方式讲给

14:08

I was like yeah

听众听。

14:09

I can just go do like a very focused AI research effort and I got

我可以直接去搞一个非常聚焦的AI研究项目，我当时还挺兴奋的，完全没想过这一切可能会被推翻。那是个周五下午，所以你已经接受了这个“死亡”很快会发生——我是说，我经历了一小段困惑和愤怒的时期，但很快就过去了。到了周五晚上，我已经在跟人聊下一步要做什么，而且我对那个还挺兴奋的。嗯，我想是周五晚上我第一次听到这里的执行团队说：“嘿，我们要反击这个，

14:14

excited about that didn't even occur to me at the time to like possibly that

我们觉得不管怎样……”然后我就去睡觉了，心里还是想着“好，兴奋，继续前进”。你睡得着吗？没怎么睡。奇怪的是，那段时间大概四天半，我几乎没怎么睡也没怎么吃，但居然还有惊人的精力。你学到了关于肾上腺素的一个奇怪道理，在更长的时间里。所以你接受了这个“死亡”——这个你一手带大的孩子——但我对新事物感到兴奋，我就想“好吧，这很疯狂，但无所谓”。这是一

14:19

this was all going to get undone this was like Friday afternoon so you've accepted

个非常好的应对机制。然后周六早上，两位董事会成员打电话说：“嘿，我们搞得不稳定了，我们不是故意要搞得不稳定，我们不想毁掉这么多价值，你能谈谈回来吗？”我立刻不想那么做，但我想了想，觉得“嗯，我其实不在乎这里的人、合作伙伴、股东——所有这些——我爱这家公司”。所以我想了想，就说“好吧，但这是我需要的东西”。然后最痛苦的时间是那个周末的过程中，嗯

14:23

your the death of very quickly like within you know I mean I went through

，我一直在想，也一直被告知——不只是我，整个团队都在想——我们试图保持稳定，而全世界都在试图拆散它，人们在挖人什么的。我们一直被告知“好了，我们快搞定了，快搞定了，只需要再多一点时间”。那是一个非常混乱的状态。然后周日晚上，又一次——每隔几小时我就以为我们要搞定了，会找到办法让我回去，让一切恢复原样——嗯，董事会随后任命了一位新的临时CEO，

14:28

like a little period of confusion and rage but very quickly and by Friday night

然后我就觉得“嗯，这感觉真的很糟糕”。那是整件事的最低点。你知道吗，我告诉你一件事，那个周末我感觉非常痛苦，但我感受到了很多爱。除了周日晚上那一刻，我不会把我的情绪描述为愤怒或仇恨。嗯，我真的只是感受到了来自人们的很多爱，也向人们表达了爱。虽然痛苦，但那个周末的主导情绪是爱，不是恨。你高度评价了Mira Murati，说她帮助很大，尤其是在一

14:33

I was like talking to people about what was going

条推文中提到“在安静的时刻，当它真正重要的时候”。也许我们可以稍微跑个题，你欣赏她什么？嗯，她在那个周末的混乱中做得很好。但人们通常看到的是领导者在危机时刻的表现，无论好坏。但我真正看重领导者的一点是，他们在无聊的时候是怎么做的。

14:36

to be next and I was excited about that um I think it was Friday

但总的来说，那是一个非常痛苦的周末，而且某种程度上，这是一场公开的战斗，程度惊人。这

14:40

night evening for the first time that I heard from the exec team here which

让我筋疲力尽，远超我的预期。我觉得战斗本身就很累人，但这次真的特别累。董事会周五下午

14:45

is like Hey we're going to like fight this and you know we think whatever

做了这个决定，我几乎得不到什么答案，但我也在想：好吧，董事会有权这么做，那我就花点时

14:49

and then I went to bed just still being like okay excited like onward were

间想想我想做什么。我试着从中找到一些隐藏的 blessing，我想，我在OpenAI

14:53

you able to sleep not a lot it was one of one of the weird

的当前工作，或者说当时的工作，就是运营一家规模不小的公司，而我一直最喜欢的就是和研究

14:58

things was it was this like period of four four

人员一起工作。我想，好吧，接下来我要做这个，我挺兴奋的。

15:01

and a half days days where sort of didn't sleep much didn't eat much and

你有没有考虑过去亚马逊丛林，直接消

15:04

still kind of had like a surprising amount of energy it was you learned like

失，再也不回来？我是说，那段时间真的

15:08

a weird thing about adrenaline in more time so you kind of accepted the death

很糟糕，但也有很棒的高光时刻，比如我

15:12

of a you know this baby opening I was excited for the new thing I

的手机不停地收到来自每天一起工作的人

15:16

was just like okay this was crazy but whatever it's a very good coping mechanism

、十年没联系过的人的暖心消息。我当

15:19

and then Saturday morning uh two of the board members called and said hey we

时没能好好珍惜这些，因为我正处在那种

15:23

you know destabilize we didn't mean to destabilize things we don't want to

“火线战斗”中，但那真的很美好。

15:27

destroy a lot of value here you know can we talk about you coming back

我想是周五晚上，我第一次听到高管团队说：“嘿，我们要抗争这件事，我们认为

15:31

and I immediately didn't want to do that but I thought a little more and

不管怎样。”然后我就去睡觉了，心里还是想着：“好吧，兴奋，继续前进。”你

15:35

I was like well I you don't really care about the people here the partners

睡得着吗？睡得不多。奇怪的是，在那四天半的时间里，我几乎没怎么睡，也没怎

15:39

shareholders like all of the I love this company and so I thought about it

么吃，却还是有一种惊人的精力。你会在肾上腺素的作用下学到一些奇怪的东西。所

15:43

and I was like well okay but like here's here's the stuff I would need

以你接受了这个“孩子”——OpenAI——的死亡，我对新的事情感到兴奋。

15:47

and and then the most painful time of all was over the course

我只是想：“好吧，这很疯狂，但无所谓。”这是一个很好的应对机制。

15:51

of that weekend um I kept thinking and being told and we all kept not

那个周末，我一直在想，也一直被告诉，

15:55

just me like the whole team here kept thinking while we were trying to like

不只是我，整个团队都在想，我们试图稳住

15:59

keep and I stabilized while the whole world was trying to break it apart people

局面，而全世界都在试图拆散它，有人想

16:03

trying to recruit whatever um we kept being told like all right we're almost done

挖人什么的。我们一直被告知：快好了，快

16:07

we're almost done we just need like a little bit more time um and it

好了，只需要再多一点时间。那是一个非

16:11

was this like very confusing State and then Sunday evening when again like every few

常混乱的状态。然后周日晚上，每隔几个小

16:15

hours I expected that we were going to

时我就以为我们要……

16:17

be done and we're going to like figure out a way for me to return

做完之后，我们会想办法让我回来，让一切恢复原样。然后董事会任命了一位新的临时CEO，我当时就觉得，这感觉真的很糟糕，那是整件事的最低谷。你知道吗，我跟你说，那确实很痛苦，但我那个周末感受到了很多爱。除了周日晚上那一刻之外，我的情绪并不是愤怒或仇恨，而是真的从人们那里感受到了很多爱，也向人们付出了爱。虽然痛苦，但那个周末的主导情绪是爱，而不是恨。你

16:23

and things to go back to how they were um the board then uh appointed

之前高度评价过Mera Moradi，说她帮了忙，尤其是在一条推文里提到“在安静的时刻，当真正重要的时候”。或许我们可以稍微岔开一下话题，你欣赏她什么？嗯，那个周末她在混乱中做得很好。但人们往往在危机时刻看到领导者的表现，无论好坏。而我真正看重领导者的一点是，他们在平淡无奇的日子里如何行事。你看，你本来想花最后20分钟聊这个，我理解，就是那个非常

16:28

a new interim CEO and then I was like I mean that is that is

戏剧化的周末。但OpenAI真正关注的不是这个，OpenAI真正关注的是其他七年。是啊，人类文明也不只是纳粹德国入侵苏联，但人们还是会聚焦在那上面，因为完全可以理解，这让我们洞察人性、人性的极端，也许还有一些破坏性的东西。你和他现在关系怎么样？我爱Ilya，我非常尊重Ilya。我现在没法说他的计划是什么，那是该问他本人的问题。但我真的希望我们能在

16:34

that feels really bad that was the low point of the whole thing you know

我的职业生涯里继续合作。他比我年轻一点，也许他能干得更久。你知道有个梗，他非常认真对待AGI和安全问题，包括这会对社会产生的影响。随着我们不断取得重大进展，过去几年里，Ilya是我花最多时间讨论这到底意味着什么、我们需要做什么的人。他总是在做这种长期思考，他不是想一年后会怎样，他在想十年后会怎样。对，就是从第一性原理出发，比如，如果规模扩大，这里

16:39

I'll tell you something I it felt very painful but I felt a lot of

的基本原理是什么？这会走向何方？这是他思考所有其他安全问题的基础，这让他成为一个非常迷人的人。对，是的，他也懂得沉默的力量。我还听说他可以很傻气，但我从没见过那一面。那种时候很可爱，我从未见过傻气的Ilya，但我也期待看到那一面。我最近和他一起参加了一个晚宴，他在和一只小狗玩，情绪非常傻气，很讨人喜欢。我当时想，天啊，这可不是我平时看到的那个他。

16:44

love that whole weekend it was not other than that one moment Sunday night I

但我也在想，好吧，董事会能做这个决定，所以我会花点时间想

16:50

would not characterize my emotions as anger or hate um but I really just like

想自己想做什么，但我试着从中找到一些“因祸得福”的地方。

16:55

I felt a lot of love from people towards people it was like painful but

我想，我在OpenAI的当前工作——或者说曾经的工作——

17:01

it would like the dominant emotion of the weekend was love not hate you've spoken

是管理一家规模不小的公司，而我一直最喜欢的事情就是能和研

17:06

highly of uh Mera moradi that she helped

究人员一起工作，我就想，是啊。

17:09

especially as he put in a tweet in The Quiet Moments When it counts perhaps

当时我就在想，好吧，董事会能做这个决定，那我就稍微想想

17:15

we could take a bit of a tangent what do you admire about well she

自己接下来想做什么，但我尽量从中找到一些隐藏的机遇。我

17:20

did a great job during that weekend in a lot of chaos but but people

当时想的是，我在 OpenAI 现在的工作——或者说当时

17:25

often see leaders in the moment in like the crisis moments good or bad um

的工作——就是管理一家规模不小的公司，而我一直最喜欢的

17:31

but a thing I really value and leaders is how people act on a boring

事情就是和研究人员一起工作。所以我就想，嗯，那也挺好的。

17:36

Tuesday at 9:46 in the morning and in in just sort of the the the

周二早上9点46分，就是那种日常的琐碎工作

17:41

normal drudgery of the day-to-day how someone shows up in a meeting the quality of

里，一个人怎么在会议上表现、做的决定质量如

17:46

the decisions they make that was what I meant about the Quiet Moments meaning like

何——这才是我说的“安静时刻”的意思。大部分

17:51

most of the work is done on a day by day in the meeting by

工作都是日复一日、会议接会议完成的，只要专

17:56

meeting just just be present and and make great decisions yeah I me

注当下，做出好决定就行。对，我是说——

18:00

mean look what you wanted to have wanted to spend the last 20 minutes about

你看，你想花二十分钟聊的就是这个，我理解，确实

18:05

and I understand is like this one very dramatic weekend yeah but that's not really

是个很戏剧性的周末，对吧？但OpenAI真正要

18:09

what opening eye is about opening eye is really about the other seven years well

说的不是这个，OpenAI真正要说的其实是那另

18:14

yeah human civilization is not about the invasion of the Soviet Union by Nazi Germany

外的七年。嗯，人类文明也不是关于纳粹德国入侵苏联

18:18

but still that's something people focus on because very understandable it gives us an insight

，但大家还是会关注那件事，因为很能理解，它让我

18:23

into human nature the extremes of human nature and perhaps some of the damage

们看到了人性、人性的极端，也许还有一些伤害。

18:27

and some of the triumphs of human civilization can happen in those moments it's like

你看，你想花过去20分钟聊那个很戏剧性的周末，我理解。

18:32

illustrative let me ask you about Ilia is he being held hostage in a secret

但OpenAI真正关注的不是那个，它真正关注的是其他那七

18:37

nuclear facility no what about a regular secret facility no what about a nuclear non

年。嗯，人类文明不是靠纳粹德国入侵苏联定义的，但人们还是

18:41

secret facility neither not that either I mean this becoming a meme at some point

会聚焦在那上面，因为很能理解——它让我们看到人性，人性的

18:46

you've known Ilia for for a long time he was obviously in part part of

极端，也许还有一些伤害和人类文明的胜利，确实会在那些时

18:51

this drama with the board and

刻发生。它就像一种例证。

18:53

all that kind of stuff what's your relationship with him now I love Ilia I

所有这些事。你现在和他关系怎么样？我

18:58

have tremendous respect for Ilia I uh I don't have anything I can like say

爱Ilia，我非常尊重Ilia。我现在

19:03

about his plans right now that's that's a question for him um but I really

没法说他的计划，那是他的问题。但我真的

19:08

hope we work together for you know certainly the rest of my career he's a

希望我们能继续合作，至少在我的职业生涯

19:14

little bit younger than me maybe he works a little bit longer you know there's

里。他比我年轻一点，可能干得更久。你知

19:19

a there's a meme

道有个梗……

19:20

that he saw something like he maybe saw AGI and that gave him a lot

让我问你关于Ilia的事：他是不是被关在一个秘密核设施里当人

19:27

of worry internally uh what did ilas see uh oh has not seen AGI none

质？不是。那普通秘密设施呢？也不是。那非秘密的核设施呢？也不是

19:34

of us have seen AGI we've not built AGI uh I do think uh one

，都不是。我是说，这都快成梗了。你认识Ilia很久了，他显然是

19:41

of the many things that I really love about Ilia is he

董事会那场戏的一部分，等等。你现在跟他关系怎么样？

19:46

takes AGI and the safety concerns broadly speaking you know including things like the impact

所有这些事，你现在跟他关系怎么样？我爱Ilya，我对

19:51

this is going to have on society very seriously and we as we continue to

他有极大的尊重。我……我现在没什么能说的关于他的计划，

19:57

make significant progress um Ilia is one of the people that I've spent the most

那是他的问题。但我真的希望我们能继续合作，至少在我职业

20:02

time over the last couple of years talking about what this is going to mean

生涯剩下的时间里。他比我年轻一点，也许他能干得更久。你

20:07

what we need to do to

知道，有个梗是这样的。

20:09

ensure we get it right to ensure that we succeed at the mission um so

我爱Ilia，我对他有极大的尊重。我没什么能说的关于他现在的

20:15

Ilia did not see AGI um but Ilia is a credit to humanity in terms

计划，那是他的问题。但我真心希望我们能继续合作，至少在我职业

20:22

of how much he thinks and worries about making sure we get this right I've

生涯剩下的时间里。他比我年轻一点，可能还能干更久。你知道有个

20:29

had a bunch of conversation with him in the past I think when he talks

梗，说他好像看到了AGI，然后内心非常担忧。Ilia到底看到

20:35

about technology

了什么？

20:36

he's always like doing this long-term thinking type of thing so he's not thinking about

他一直在做这种长期思考的事情，所以他想的不是

20:41

what this is going to be in a year he's thinking about in 10 years

一年后会怎样，而是十年后的方向。对，就是从第一

20:46

yeah just thinking from first principles like okay if the scales what are the fundamentals

性原理出发，比如如果规模扩大，这里的基本要素是

20:52

here where is this going and so that that's a foundation for them thinking about

什么，趋势会走向哪里——这成了他们思考所有其他

20:57

like all the other safety concerns and all that kind of stuff um which makes

安全问题和类似事情的基础。嗯，这让他成为一个非

21:02

him really fascinating human

常有意思的人。

21:03

uh to talk with do you have any idea why he's been kind of quiet

呃，想聊聊的话，你知道他最近为什么比较安静吗？他是不是又在做那种自我探索？我不想替他说话。哦对，我觉得你应该直接问他。他确实是个深思熟虑的人。我觉得ailia其实一直在做一种很好的自我探索。是啊，他也懂得沉默的力量。而且我听说他其实挺搞笑的，但我从来没见过那一面。那种时候还挺可爱的。我还没见过搞笑的Ilia，不过我也挺期待的。我最近跟他一起参加了个晚宴，他在跟一只小狗玩，整个人特别傻乎乎的，特别讨人喜欢。我当时就

21:09

is it he's just doing some soul searching again I don't want to like speak

想，天啊，这可不是世界通常看到的那个ILO。所以总结一下整个事件，你对董事会结构、对这一切的走向感觉好吗？我对新董事会感觉很好。至于OpenI的结构，你知道，董事会的任务之一就是审视这个，看看怎么让它更稳健。我们想先找好新董事会成员。但显然，我们在整个过程中学到了关于结构的一课。我没有特别深刻的话要说。那是一次疯狂、非常痛苦的经历。我觉得那是一场完美的怪异风暴。对我来说，它像是一个预演，随着风险越来越高，我们需要

21:15

for oh yeah I think that you should ask him that um he's definitely a

稳健的治理结构和流程，以及合适的人。我其实有点庆幸它发生在那时候，但经历它真的痛苦得令人震惊。这件事有没有让你在信任别人方面变得更犹豫？有的，至少在个人层面。我一直是个极其信任别人的人。我的人生哲学就是，别管那些偏执，别管那些极端情况。你偶尔吃点亏，换来的是不用时刻提防。但这件事对我冲击太大了，我完全措手不及，它确实改变了我。我真的很不喜欢这样。它确实改变了我对默认信任别人、以及对坏情况做预案的看法。你得小心这个。

21:21

thoughtful guy uh I think I kind of think ailia is like always on a

你担心自己变得太愤世嫉俗吗？我不担心变得太愤世嫉俗。我觉得自己是愤世嫉俗的极端反面。但我担心的是，变成一个不那么默认信任别人的人。我其实不确定，对于一个正在开发AGI的人来说，哪种模式最好——信任还是不信任。你走的路挺有意思的。但就结构而言，我更关心人的层面。你怎么让自己身边既有做酷事情的人，又有能做出明智决策的人？因为钱越多，东西越强大，人就越奇怪。我觉得你可以对董事会成员、对我应该对他们有多少信任、或者我本该

21:27

soul search in a really good

如何做得不同发表各种评论。但就这里的团队而言，我觉得你得给我打个很高的分数。而且，我对我每天一起工作的人充满了巨大的感激、信任和尊重。我觉得身边有这样的人，就是最好的。

21:30

way yes yeah also he appreciates the power of Silence also I'm told he can

他对AGI和安全问题，广义

21:34

be a silly guy which I've never I've never seen that side of it's very

上来说，包括对社会的影响，

21:38

sweet when that happens I've never witnessed a silly Ilia but um I look forward

非常认真。随着我们不断取得重

21:42

to to that as well I was at a dinner party with him recently and

大进展，嗯，Ilya是过去

21:46

he was playing with a puppy and I and he was like in a very

几年里我花最多时间讨论这到

21:50

silly moood very endearing and I was thinking like oh man this is like not

底意味着什么、我们需要做什么

21:54

the side of

的人。

21:55

the ILO that the world sees the most so just to wrap up this whole

ILO 是全世界看到最多的那个，所以为了给这整件事收个尾，你对董事会结构、对这一切的走向感觉好吗？我对新董事会感觉很好，至于 OpenAI 的结构，你知道董事会的一个任务就是审视这个，看看哪里能做得更稳健。我们想先让新董事会成员到位，但显然我们在这个过程中学到了关于结构的一课。我没有特别深的东西要说，这是一次疯狂又非常痛苦的经历。我觉得这就像

22:00

Saga are you feeling good about the board structure about all of this and like

一场怪异的完美风暴，对我来说，这就像一次预演，让我看到随着赌注越来越高，我们多么需要稳健的治理结构和流程，以及合适的人。我其实有点庆幸它发生在那个时候，但经历这个过程真的痛苦得令人震惊。这件事有没有让你在信任别人时变得更犹豫？是的，在个人层面上。我一直是个极其信任别人的人，我的人生哲学从来就是别担心那些偏执，别担心那些边缘情况，你吃点小亏，换

22:04

where it's moving I feel great about the new board in terms of the structure

来的是可以放下戒备地生活。这件事对我冲击太大了，我完全措手不及，它确实改变了我，我真的很不喜欢这样。它彻底改变了我对默认信任别人以及为坏情况做计划的看法。你得小心这个。你担心自己变得太愤世嫉俗吗？我不担心变得太愤世嫉俗，我觉得我绝对是愤世嫉俗的反面极端。但我担心的是变得不那么默认信任别人。我其实不确定对于一个正在开发 AGI 的人来说，哪种模式

22:08

of openi I you know one of the board's tasks is to look at that

最好——信任还是不信任。你正在经历一段有趣的旅程。但就结构而言，我更关心人的层面，你怎么让自己身边围绕着那些既能做酷东西又能做出明智决定的人，因为随着你赚的钱越来越多，这个东西的权力越来越大，人们会变得越来越奇怪。我觉得你可以对董事会成员以及我本该对他们有多少信任、或者我本该怎么做不同的事发表各种评论，但就这里的团队而言，我觉得你得给我打个很

22:13

and see where we can make it more robust um we wanted to get new

高的分。而且我对每天一起工作的同事们充满了巨大的感激、信任和尊重，我觉得被这样的人包围着……这项技术会怎么发展，这很难说，因为那只是七八年前的事，很难回去真正记得当时是什么样子。那是在语言模型成为大事之前，是在我们对 API 或卖聊天机器人访问权有任何概念之前，是在我们完全没想到会把它产品化之前。所以我们就像，我们只是要试着做研究，我们真的不

22:17

board members in place first uh but you know we clearly learned a lesson about

知道要拿它做什么。我觉得就像很多全新的事物一样，你开始在黑暗中摸索，然后……至少可以说，我们是逐步走到这里的，每一步都做了我认为合理的决定。这不意味着如果现在能带着一个先知回到过去，我不会完全换一种做法，但当时你并没有那个先知。总之，至于 Elon 的真实动机是什么，我不知道。你还记得 OpenAI 在博客文章里是怎么回应的吗？你能概括一下吗？

22:21

structure throughout this process I don't have I think super deep things to say it

整个过程中，我没有特别深刻的话要说。那是一次

22:26

was a crazy very painful experience I think it was like a perfect storm of

疯狂、非常痛苦的经历。我觉得那是一场完美的诡异

22:31

weirdness it was like a preview for me of what's going to happen as the

风暴，对我来说是一个预演，让我看到当 stak

22:35

stakes get higher and higher in the need that we have like robust governance structures

es 越来越高时会发生什么，我们需要健全的治

22:40

and process as in people um I am kind of happy it happened when it

理结构和流程，以及人。我有点庆幸它发生在那个时

22:45

did but it

候，但……

22:46

was a shockingly painful thing to go through did it make you be more hesitant

他总是在做这种长期思考，他不是想一年

22:50

and trusting people yes just in a personal level I think I'm like an extremely

后会怎样，他想的是十年后。对，就是从

22:55

trusting person I have always had a life philosophy of you know like don't worry

头开始想，比如如果规模继续扩大，这里

22:59

about all of the paranoia don't worry about the edge cases you know you get

的基本原理是什么，这到底会走向哪里。

23:04

a little bit screwed in exchange for getting to live with your guard down and

所以这是他思考所有其他安全问题的基础

23:08

this was so shocking to me I was so caught off guard that it has

，嗯，这让他成为一个非常有意思的人。

23:12

definitely changed and I really don't like this it's definitely changed how I think about

在整个过程中，我觉得我没有什么特别深刻的话要说。这是

23:17

just like default Trust of people and planning for the bad scenarios you got to

一次疯狂、非常痛苦的经历，我觉得就像一场完美风暴般的

23:22

be careful with that are you worried about becoming a little too cynical um I'm

诡异事件。对我来说，这就像一次预演，预演了当 stak

23:26

not worried about becoming too cynical I think I'm like the extreme opposite of a

es 越来越高时会发生什么，以及我们需要像 robu

23:31

cynical person but I'm I'm I'm worried about just becoming like less of a default

st governance structures 和流

23:36

trusting person I'm actually not sure which mode is best to operate in for a

程——也就是人——这样的东西。我有点庆幸它发生在那时

23:40

person who's

候，但它

23:41

developing AGI trusting or untrusting it's an interesting Journey you're on but in terms of

开发AGI，信任还是不信任，这是一段有趣的旅程。但从结

23:48

structure see I'm more interested on the human level like how do you surround yourself

构上看，我更关心人的层面——比如你怎么围绕自己组建一个团

23:54

with humans that're building cool but also are making wise decisions because the more money

队，里面的人既在做很酷的事，又在做明智的决定。因为当你赚

24:01

you start making the more power the thing has the weirder people get you

的钱越多，这个东西拥有的权力越大，人就会变得越奇怪。

24:07

know I think you could like you can make all kinds of comments about the

我知道你可以对董事会成员、我本

24:12

board members and the level of trust I should have had there or how I

应有多少信任、或者我本应如何做

24:17

should have done things differently but in terms of the team here I think you'd

得不同发表各种评论，但就这里的团

24:21

have to like give me a very good grade on that one um and I

队而言，我觉得你得分会很高。我

24:26

have uh just like enormous gratitude and trust and respect for the people that I

对每天一起工作的人充满感激、信

24:31

work with every day and I think being surrounded with people like that

任和尊重，身边有这样的人……

24:35

is is really important our mutual friend Elon sued open AI m is the essence

我们的共同朋友Elon起诉OpenAI这件事确实很重要，他批评的核心是什么？他在多大程度上是对的，又在多大程度上是错的？我不知道这到底是怎么回事。我们一开始只是想着要做一个研究实验室，完全不知道这项技术会走向何方。这很难，因为那只是七八年前的事，很难回去真正记得当时是什么

24:42

of what he's criticizing to what degree does he have a point to what degree

样子。那是在language models成为大事之前，在我们对API或出售chatbot访问权限有任何概念之前，甚至在我们想到要把这一切产品化之前。所以我们当时就想，我们只是要做研究，也不知道会拿它做什么。我觉得就像很多全新的根本性事物一样，你开始在黑暗中摸索，做出一些

24:49

is he wrong I don't know what it's really about we started off just thinking

假设，大部分后来证明是错的。然后事情变得清楚，我们需要做不同的事，还需要大量的资本。所以我们就说，好吧，这个结构不太适合这个，我们怎么修补这个结构？然后你修了一次又一次，最后搞出来的东西看起来确实有点让人皱眉，至少可以说。但我们是逐步走到这一步的，每一步都做了我认为合理的

24:56

we're going to be a research lab and having no idea about

决定。这并不意味着如果现在能带着一个oracle回去，我不会完全换种方式做，但当时你得不到那个oracle。不过，至于Elon真正的动机是什么，我不知道。你还记得OpenAI在博客文章里是怎么回应的吗？你能总结一下吗？

25:02

how this technology was going to go it's hard to because it was only you

我觉得你可以对董事会成员、对

25:05

know seven or eight years ago it's hard to go back and really remember what

我当时应该有多少信任、或者我本

25:09

it was like then but this before language models were a big deal this was

该如何做得不同发表各种评论，

25:13

before we had any idea about an API or selling access to a chatbot is

但就这个团队而言，我觉得你得给

25:16

before we had any idea we were going to productize it all so we're like

我打一个很高的分数。而且，我对

25:20

we're just like going to try to do research and you know we don't really

我每天一起工作的那些人，充满

25:23

know what we're going to do with that I think with like many new fundamentally

了感激、信任和尊重。被这样的人

25:27

new things you start fumbling through the dark and you make

包围着，我觉得很重要。

25:30

some assumptions most of which turn out to be wrong and then it became clear

哦，我们只是说，Elon说了这一堆东西，这是我们的描述，或者不是我们的描述，这是事情经过的描述。我们尽量不

25:35

that we were going to need to do different things and also have huge amounts

情绪化，只是陈述历史。我确实觉得Elon在这里有些地方描述不准确，关于他刚提的一点，就是当时的不确定性有多大

25:41

more Capital so we said okay well the structure doesn't quite work for that how

。你们当时是一小群研究人员，疯狂地谈论AGI，而所有人都在嘲笑这个想法。那并不久远，Elon当时疯狂地谈论发

25:46

do we patch the structure um and then you patch it again and Patch it

射火箭，人们也在嘲笑这个想法。所以我觉得他应该对此更有同理心。我是说，我确实认为这里面有个人因素，OpenA

25:52

again and you end up with something that does look kind of eyebrow raising

I和这里很多优秀的人选择了与Elon分道扬镳。所以有个人因素，Elon选择了离开。你能具体描述一下吗？

25:57

to say the least but we got here gradually with I think reasonable decisions at

确实改变了我，而且我真的很不喜欢这样。它确实改变了我对 defaul

26:02

each point along the way and doesn't mean I wouldn't do it totally differently if

t trust 在别人身上的看法，以及如何为坏情况做规划。你得小心这

26:07

we could go back now with an oracle but you don't get the Oracle at

一点。你担心自己变得太 cynical 吗？我不担心变得太 cyni

26:12

the time but anyway in terms of what elon's real motivations here are I don't

cal，我觉得自己是 cynical 的极端反面。但我担心的是，我变得

26:16

know to the degree you remember what was the response that open AI gave in

不那么容易 default trusting 了。我其实不确定对于一

26:21

the blog post can you summarize

个人来说，哪种模式是最好的。

26:23

it oh we just said like you know Elon said this set of things here's

这个分道扬镳的过程是，他认为OpenAI会失败，他想要完全控制来扭转局面，而我们想继续

26:30

our character ation or here's the sort of not our characterization here's like the characterization

沿着现在成为OpenAI的方向走。他还想让Tesla能够建立AGI项目，在不同时期他想把

26:36

of how this went down um we tried to like not make it emotional and

OpenAI变成一个他能控制的for-profit公司，或者让它与Tesla合并。我们

26:42

just sort of say like here's the history I do

不想那样做，他决定离开，这也没问题。所以你是说，那是其中一个

26:46

think there's a degree of mischaracterization from Elon here about one of the points he

我觉得伊隆刚才说的有一点其实不太准确，就是关

26:53

just made which is the degree of uncertainty has at the time you guys are

于不确定性的程度。你们当时就是一小群研究人员

26:59

a bunch of like a small group of researchers craz talking about AGI when everybody's

，疯狂地讨论AGI，所有人都在嘲笑这个想法。

27:06

laughing at that thought wasn't that long ago Elon was crazily talking about launching Rockets

那也没过多久啊，伊隆自己当年疯狂地说要造火箭

27:12

yeah when people were laughing at that

，大家不也在嘲笑他吗。

27:15

thought uh so I think he'd have more empathy for this I mean I I

这项技术会怎么发展，很难说，因为那只是七八年前的事，很难回去真正记得当时是什么样子

27:22

do think that there's personal stuff here that there was a split that open Ai

。那时候语言模型还不是什么大事，我们完全不知道会有API或者卖聊天机器人的访问权限

27:29

and a lot of amazing people here chose the part ways of Elon so there's

，也完全没想到我们会把它产品化。所以我们当时就想，我们就试着做研究吧，也不知道到底

27:36

a personal Elon chose the part ways can you describe that exactly the

要拿它干嘛。我觉得很多全新的东西，一开始都是在黑暗中摸索，然后你做出……

27:42

the the choosing to part ways he thought open ey was going to fail um

所以我觉得他应该对这种事更有同理

27:46

he wanted total control to sort of turn it around we wanted to keep going

心才对。不过我也觉得这里面有个人恩

27:50

in the direction that now has become open AI he also wanted Tesla to be

怨的成分，毕竟Open AI分裂了

27:54

able to build an AGI effort at various times he wanted to make open AI

，很多优秀的人选择了和伊隆分道扬镳

27:59

into a for-profit company that he could have control of or have it merge with

。所以这里面有个人因素——是伊隆选

28:03

Tesla um we didn't want to do that and he decided to leave which that's

择了离开。你能具体讲讲这个“选择离

28:07

fine so you're saying and that's one of

开”是怎么回事吗？

28:09

the things that the blog post says is that he wanted open AI to be

那篇博客文章说的是，他希望Open AI基本上被Tesla收购，对，就像那样，或者可能类似，或者比跟Microsoft的合作更戏剧化一点。我记得那个提议就是，嗯，被Tesla收购，然后Tesla完全掌控它。我挺确定就是那样的。所以，对当时的Elon来说，“Open AI”里的“Open”到底是什么意思？Ilia在邮件里聊过这个，还有各种类似的事情。对你来说，当时它意味着什么？现在又意味着什么？我肯

28:15

basically acquired by Tesla yeah in the same way that or maybe something similar or

定会选一个不同的名字——说到回到过去找个先知的话——我会换个名字。嗯，我觉得Open AI做的最重要的一件事，就是把强大的技术免费交到人们手里，作为公共福利。我们不在免费版上放广告，也不通过其他方式变现，我们只是说，这是使命的一部分。我们想把越来越强大的工具免费给人们用，让他们去用。我觉得这种“开放”对我们的使命真的很重要。如果你给人们好工具，教他们怎么用——甚至不用教——他们自己就能搞明白，然后去

28:20

maybe something more dramatic than the partnership with Microsoft my memory as the proposal was

为彼此创造一个不可思议的未来。这很了不起。所以，如果我们能继续把免费或低成本的强大AI工具推向世界，那对我们实现使命来说意义重大。至于开源还是不开源？对，我觉得有些东西应该开源，有些则不应该。这已经变成了一场宗教式的争论，很难保持细腻的思考，但我认为细腻才是正确答案。所以他说“改名叫Closed AI，我就撤诉”——我是说，这会不会成为meme界的一个战场？我觉得这恰恰说明了Elon对这个诉讼的认

28:26

just like yeah like get acquired by Tesla and have Tesla have full control over

真程度。嗯，这真是个惊人的说法。我觉得——可能我说得不对，但我觉得这个诉讼在法律上并不严肃，它更多是为了表达对AGI未来以及目前领先公司的立场。你看，Grok之前什么都没开源，直到有人指出这有点虚伪，然后他这周就宣布Grok要开源了。我觉得对他来说，开源与否并不是真正的重点。好吧，我们会聊开源和不开源的事。我确实觉得批评竞争对手挺好的，聊聊也不错，但友好竞争和——我个人讨厌诉讼。嗯，我觉得整件事对一

28:31

it I'm pretty sure that's what it was so what is the word

个建设者来说很不体面。我尊重Elon，他是我们这个时代最伟大的建设者之一，而且我知道他知道被黑子攻击是什么感觉，这让我更难过他这么做。对，他是史上最伟大的建设者之一，甚至可能是最伟大的。这让我难过，也让很多人难过。有很多人一直很崇拜他。我曾在某个采访里说过“我想念以前的Elon”，然后收到了无数条消息说“那完全就是我的感受”。我觉得他应该直接赢。

28:36

open in open AI mean to Elon at the time Ilia has talked about this

Open AI 对当时的Elon意味着什

28:40

in the email exchanges and all this kind of stuff what does it mean to

么？Ilia在邮件交流里提到过这些。当时

28:45

you at the time what does it mean to you now I would definitely pick

对你意味着什么？现在对你意味着什么？如果

28:49

a diff speaking of going back with an oracle I'd pick a different name um

让我回到过去选个名字，我肯定会选个不一样

28:53

one of the things that I think opening eye is doing that is the most

的。我认为Open AI在做的最重要的事

28:58

important of everything that we're doing is putting powerful technology in the

情之一，就是把强大的技术交到……

29:01

hands of people for free as a public good not we're not you know we

他觉得Open AI会失败，想要完全控制

29:06

don't run ads on our free version we don't monetize it in other ways we

权来扭转局面。我们想继续沿着现在Open

29:10

just say it's part of our mission we want to put increasingly powerful tools in

AI走的方向前进。他还想让特斯拉能够搞A

29:14

the hands of people for free and get them to use them and I think

GI项目，有几次他想把Open AI变成他

29:18

that kind of open is really important to our mission I think if you give

能控制的营利公司，或者跟特斯拉合并。我们

29:23

people great tools and teach them to use them or don't even teach them

不想这么做，他就决定离开了，这也没什么。

29:27

they'll figure it out and let them go build an incredible future for each other

至少可以这么说，但我们是一步一步走到今天的，每

29:31

with that uh that's a big deal so if we can keep putting like free

一步都做了在当时看来合理的决定。这不代表如果现在

29:36

or lowcost or free and low cost powerful AI tools out in the world uh

能带着一个预言机回去，我不会完全换一种做法，但

29:41

I it's a huge deal for how we fulfill the mission um open source or

当时你并没有预言机。不过，至于Elon真正的动机

29:45

not yeah I think we should open source some stuff and not other stuff uh

是什么，我不知道。你还记得OpenAI在博客文

29:50

the it does become this like religious battle line where Nuance

章里是怎么回应的吗？你能总结一下吗？

29:53

is hard to have but I think Nuance is the right answer so he said

所以你是说，Open AI对当时的伊隆意味着什么？Ilia在邮件里也聊过这些事。那对你来说，当时意味着什么，现在又意味着什么？如果让我回到过去，有个先知告诉我，我会换个名字。我觉得Op

30:00

change your name to closed Ai and I'll drop the lawsuit I mean is it

en AI现在做的最重要的一件事，就是把强大的技术免费交到人们手里，作为一种公共产品。我们不在免费版上放广告，也不通过其他方式变现。我们就说这是使命的一部分——我们想把越来越强大的工具免

30:07

going to become this Battleground in in the land of memes above I think that

费给人们用，让他们去使用。我觉得这种“开放”对我们的使命真的很重要。如果你给人们好工具，教他们用，甚至不用教，他们自己就能搞明白，然后让他们用这些工具去为彼此创造一个不可思议的未来。这很

30:13

speaks to the seriousness with which Elon means the lawsuit and uh yeah I mean

重要。所以如果我们能继续把免费或低成本的强大AI工具推向世界，这对我们实现使命来说意义重大。开源还是不开源？我觉得有些东西应该开源，有些不应该。这已经变成了一种宗教式的战线，很难谈什么细

30:20

that's like an

微差别，但我认为细微差别才是正确答案。

30:21

astonishing thing to say I think like well I don't think the lawsuit may maybe

我知道你可以对董事会成员以及我本应拥有

30:26

correct me if I'm wrong but I don't think the lawsuit is legally serious it's

的信任程度，或者我本应如何做得不同发表

30:30

more to make a point about the future of AGI and the company that's currently

各种评论，但就这里的团队而言，我觉得你得

30:35

leading the way so look I mean grock had not open sourced anything until people

给我打一个很高的分数。嗯，我对每天一起

30:40

pointed out it was a little bit hypocritical and then he announced that Gro will

工作的人怀有巨大的感激、信任和尊重，我

30:45

open source things this week I don't think

觉得被这样的人包围着，

30:47

open source versus not is what this is really about for him well we'll talk

开源与否对他来说才是关键，那我们就聊聊开源和不开源的事。我觉得批评竞争对手没问题，稍微说两句挺好的

30:53

about open source and not I do think maybe criticizing the competition is great just

，但良性竞争和——我个人真的很讨厌诉讼。是啊，我觉得整件事对一个创造者来说不太体面。我尊重Elon，

30:58

talking a little that's great but friendly competition versus like I personally hate lawsuits yeah

他是我们这个时代最伟大的创造者之一，而且我知道他清楚被黑子攻击是什么滋味，这让我更难过他会这么做。是

31:03

look I think this whole thing is like Unbecoming of a builder and I respect

啊，他是有史以来最伟大的创造者之一，甚至可能是有史以来最伟大的创造者。这让我难过，也让很多人难过——

31:09

Elon as one of the great Builders of our time and um I know he

有很多人长期以来一直很崇拜他。我在某个采访里说过，我想念以前的Elon，然后收到了无数条消息说“这完

31:14

knows what it's like to

全就是我的感受”。我觉得他就该赢。

31:16

have like haters attack him and it makes me extra sad he's doing it toss

有人攻击他，这让我特别难过，他可是有

31:20

yeah he's one of the greatest Builders of all time potentially the greatest builder of

史以来最伟大的构建者之一，甚至可能是

31:24

all time it makes me sad and I think it makes a lot of people

最伟大的。这让我难过，我想也让很多人

31:28

sad like there's a lot of people who've really looked up to him for a

难过，有很多人长期以来一直很崇拜他。

31:32

long time and said this I said you know in some interview or something that

我在某次采访里说过“我怀念以前的Elo

31:36

I missed the old Elon and the number of messages I got being like that

n”，结果收到好多消息说“这完全就是

31:40

exactly encapsulates how I feel I think he should just win he

我的感受”。我觉得他就应该赢。

31:43

should just make X grock beat GPT and then GPT beats Croc and it's just

就让X把GPT打得满地找牙，然后GPT再反杀Grok，这就是一场竞赛，对所有人都很美好。但说到开源这个问题，你觉得有很多公司在琢磨这个想法吗？挺有意思的，我得说Meta在这件事上出人意料地走在了前面，或者说至少是在这盘棋里迈出了第一步——真正把模型开源了。当然不是最先进的模型，但开源了Llama。而Google也在试探开源一个小版本的想法。

31:48

a competition and it's it's beautiful for everybody but on the question of Open Source

你考虑过开源的利弊吗？有没有玩过这个主意？嗯，我觉得开源模型肯定有它的位置，特别是那些可以在本地运行的小模型。我认为需求很大。会有一些开源模型，也会有一些闭源模型，这一点和其他生态系统没什么两样。我听了All-In播客聊这个Lwuit之类的东西，他们更担心从非营利转向这种利润上限模式会开什么先例。这对其他初创公司意味着什么？我会强烈建议任何打

31:54

do you think there's a lot of companies playing with this idea it's quite interesting

算先做非营利、后来再搞个营利分支的初创公司别这么干。我觉得这不会开什么先例。所以大多数初创公司就应该直接走营利路线。再说，如果我们早知道会发生什么，我们也会那么做。理论上，如果你操作得漂亮，可能会有一些税收优惠之类的，但我不觉得大多数人会这么想问题。对初创公司来说，用这种方式省不了多少钱。不，我觉得有法律会让这变得挺难的。你希望这事和Elon

31:59

I would say surprisingly has led the way on this or like uh at least

怎么发展？这种紧张关系、这种博弈，你希望未来一两年或三年后，你们在个人层面是什么关系？友谊、友好竞争，还是别的什么？嗯，我真的很尊重Elon。我希望多年以后，我们能保持一种友好的关系。我也希望你们能友好相处，就互相竞争、一起赢，然后一起探索这些想法。我觉得人才竞争什么的肯定有，但应该是友好的竞争，就一起造酷东西。Elon很擅长造酷东西，你也是

32:04

took the first step in the game of chess of like really open

。说到酷，Sora——我可以问一百万个问题。首先，它太棒了，从产品层面看确实惊人，但从哲学层面看也是。那我来个技术哲学层面的问题：你觉得它对世界的理解，比GPT-4多还是少？比如，当你用这些patch而不是语言token来训练时，它的世界模型是什么样的？我觉得所有这些模型都对某些东西有更深的理解。

32:08

sourcing the model of course it's not the state-ofthe-art model but open sourcing llama and

开源这个模型，当然它不是最先进的模型，但开源llama，而Google也在考虑开源一个小版本。你考虑过开源的利弊吗？你有没有琢磨过这个想法？我觉

32:13

you Google is flirting with the idea of open sourcing a smaller version have you

得开源模型肯定有它的位置，特别是那些可以在本地运行的小模型。我认为需求非常大。会有一些开源模型，也会有一些闭源模型，这和其他的生态系统没什么两样。

32:18

what are the pros and cons of open sourcing have you played around this idea

我听了all-in播客讨论这个lwuit之类的东西，他们更担心的是从非营利转向这种 capped for-profit 的先例。这对其他初创公司

32:23

yeah I think there there is definitely a place for open source models particularly smaller

意味着什么？我会强烈建议任何考虑先做非营利、之后再增加营利部门的初创公司不要这么做。我不认为我们会在这里开一个先例。所以大多数初创公司就该直接走营

32:28

models that people can run locally I think there's huge demand for um I think

利路线。再说，如果我们早知道会发生什么，我们也会那么做。理论上如果你操作得当，可能会有一些税收优惠之类的，但我不觉得大多数人会这么想问题。对初创公

32:33

there will be some open source models

司来说，靠这种方式省不了多少钱。不，我觉得有法律会让这变得非常困难。

32:35

there will be some close Source models uh this it won't be unlike other ecosystems

会有一些闭源的模型，这和其他生态系统没什么不

32:41

in that way I listened to uh all-in podcast talking about this this lwuit and

同。我听了All-In播客讨论这个Lwuit之

32:46

all that kind of stuff and they were more concerned about the precedent of going

类的东西，他们更担心从非营利转向 cappe

32:51

from nonprofit to this cap for profit what president ass says for other startups is

d profit 的先例，这对其他初创公司意味

32:56

that I don't I would heavily discourage any startup that was thinking about starting as

着什么。我会强烈建议任何初创公司不要考虑先做

33:02

a nonprofit and adding

非营利再加……

33:03

like a for-profit arm later I'd heavily discourage them from doing that I don't think

你希望和Elon之间走向何方？这种紧张关系，这种你来我往。你希望

33:07

we'll set a precedent here okay so most most startups should go just for sure

一两年、三年后，你们在个人层面上的关系是什么样的？是友谊、良性竞争

33:11

and again if we knew what was going to happen we would have done that

，还是所有这些？我真的很尊重Elon，我希望未来几年我们能保持友

33:15

too well like in theory if you like dance beautifully here you could there's like

好的关系。是啊，希望你们能有友好的关系。就这个月，互相竞争、赢，然

33:19

some tax incentives or whatever but I I don't think that's like how most people

后一起探索这些想法。我觉得人才竞争是有的，但应该是良性竞争，只管

33:22

think about these things just not possible to save a lot of money for a

做出酷的东西。Elon很擅长做出酷的东西，但你也是。说到酷的东西，

33:26

startup if you do it this way no I think there's like laws that would

Sora，我可以问一百万个问题。首先，它太棒了，从产品角度看真的

33:30

make that

令人惊叹。

33:31

pretty difficult where do you hope this goes with Elon what this this tension this

会有一些闭源模型，这和其他生态系统没什么不同。我听了All-In播

33:36

dance what do you hope this like if we go one two 3 years from

客聊这个和Lwuit之类的东西，他们更担心从非营利转向这种封顶盈利的

33:42

now your relationship with him on a personal level too like friendship friendly competition just

先例。这对其他初创公司意味着什么？我会强烈劝阻任何想先以非营利起步再

33:48

all this kind of

添加什么的初创公司。

33:50

stuff yeah I mean I really respect Elon um and I hope that years in

是啊，我真的很尊重Elon，也希望未来我们能

33:59

the future we have an amicable relationship yeah I hope you guys have an amicable

保持友好的关系。对，我希望你们这个月就能有那

34:08

relationship like this month and just compete and win and uh and explore these ideas

种友好的关系，一边竞争一边赢，一起探索这些想法

34:16

together um I do

。我确实……

34:19

suppose there's competition for talent or whatever but it should be friendly competition just build

很难。你希望Elon这边怎么发展？这种

34:26

build cool and Elon is pretty good at building cool but so are you so

紧张、这种博弈，你希望怎样？如果一两年

34:33

speaking of cool uh Sora there's like a million questions I could ask first of

、三年后，你和他在个人层面上的关系——友

34:40

all it's amazing it truly is amazing on a product

谊、良性竞争，所有这些——

34:45

level but also just on a philosophical level so let me just a technical philosophical

不仅在技术层面，在哲学层面也是如此。所以让我问一个技术哲学的问

34:52

ask what do you think it understands about the world more or less than GPT

题：你觉得它对世界的理解，比GPT-4多还是少？比如，当你在这

34:59

4 for example like the world model when you train on these patches versus language

些patch上训练，而不是语言token上训练时，世界模型是怎

35:05

tokens I think all of these models understand something more about the

样的？我认为所有这些模型都对某些东西有更深的理解。

35:11

world model than most of us give them credit for and because they're also very

世界模型比大多数人以为的要强得多，但也正因为有些东西它们确实不理解或搞不对，我们很容易盯着弱点看穿那层表象，然后说“啊，这全是假的”。但并不是全假，只是一部分管用，一部分不管用。我记得刚开始看Sora视频的时候，看到一个人走到某样东西前面几秒钟把它挡住，然后走开，那东西还在原地，我就想“哦

35:15

clear things they just don't understand or don't get right it's easy to like look

，还挺不错的”。或者有些例子，底层物理看起来在很长一段序列里都表现得很好，我就觉得“哦，这还挺让人印象深刻的”。但本质上，这些模型只是在变得更好，而且会一直变好。你看看从Dolly 1到2到3再到Sora的轨迹，每个版本都有很多人吐槽说“这个做不到”、“那个做不好”，但现在再看看它们。所以

35:19

at the weaknesses see through the veil and say ah this is just this is

你说的那个遮挡问题，其实就是把世界的三维物理建模得足够好，才能捕捉到这些现象。或者，嗯，也许你可以告诉我，为了处理遮挡，世界模型需要具备什么能力？我觉得它在处理遮挡方面做得很好，但这不代表它内部有一个完美的三维世界模型，这么说有点牵强。但通过这种二维训练数据的方法，能不能达到那个程度呢？看起

35:23

all fake but it's not all fake it's just some of it works and some

来这种方法会走得比想象中远得多。我不想过度猜测它能突破哪些限制、不能突破哪些，但你见过这个系统有哪些有趣的局限吗？你发过一些好玩的例子，比如猫在视频里随机长出一条多余的腿，随便挑一个吧。但还有很多问题、很多弱点。你觉得这是方法本身的根本缺陷，还是说更大的模型、更好的技术细节、更好的数据、更

35:27

of it doesn't work like I remember when I started first watching Sora videos and

多的数据就能解决？猫长腿这个问题，我觉得两者都有。一方面，这种方法本身似乎跟我们人类的思考和学习方式不太一样，另一方面，随着规模扩大它也会变好。就像我提到的，LLM有文本token，Sora有视觉patch，它把所有视觉数据——各种类型的视频和图像——都转换成patch。训练过程可以说是完

35:31

I would see like a person walk in front of something for a few seconds

全自监督的吗？有没有人工标注？人类参与了多少？在不透露Sora具体方法的前提下，我们在工作中用了大量人类数据，但不是互联网规模的数据。所以“大量”人类数据。“大量”这个词很复杂，Sam。我觉得“大量”在这里是合理的词，但对我来说，我是个内向的人，跟三个人待在一起就觉得人很多了，四个人那就更多

35:35

and include it and then walk away and the same thing

了。不过我猜你意思是超过三个人在给这些模型标注数据？好吧，行。但本质上，这里面有大量的自监督学习，因为你在技术报告里提到的“互联网规模的数据”——这又是一个很美的词，像诗一样——所以那是大量没有经过人工标注的数据。

35:38

was still there I was like oh it's pretty good or there's examples where like

还在的时候，我想“哦，还不错”，或者有些例

35:42

the underlying physics looks so well represented over you know a lot of steps in

子中底层物理看起来在很长序列步骤中表现得很好

35:47

a sequence it's like oh this is this is like quite impressive but like fundamentally

，就像“哦，这挺令人印象深刻的”。但这些模

35:51

these models are just getting better and that will keep happening if you look at

型本质上只是在变得更好，而且会持续发生。如果

35:56

the trajectory from Dolly 1 to 2 to 3 Sora you know there were a

你看从Dolly 1到2到3再到Sora的

36:00

lot of people that were dunked on each version saying

轨迹，每个版本都有很多人唱衰。

36:03

it can't do this it can't do that and like look at it now so

当时我还在想，“哦，这还挺不错的”。或者有些例子，比如

36:08

well the thing you just mentioned is kind of with the occlusions is basically modeling

底层物理看起来在很长一段序列中表现得非常好，你会觉得“

36:12

the physics of the threedimensional physics of the world sufficiently well to capture those kinds

哦，这真的挺令人印象深刻的”。但本质上，这些模型只是在

36:17

of things well or like under or yeah maybe you can tell me in order

变得更好，而且这种情况会持续下去。如果你看看从DALL

36:21

to deal with occlusions what does the world model need to yeah so what I

-E 1到2到3再到Sora的轨迹，每一版都有很多人吐

36:25

would say is it's doing something to deal with occlusions really well what

槽说“这个做不到，那个做不到”，但现在看看它们。

36:29

I represent that it has like a great underlying 3D model of the world it's

嗯，我真的尊重Elon，我希望多年后我们能保持

36:33

a little bit more of a stretch but can you get there through just these

友好的关系。是的，希望你们有友好的关系，就这个月

36:37

kinds of two-dimensional training data approaches uh it looks like this approach is going to

，互相竞争、一起赢，一起探索这些想法。我确实认为

36:42

go surprisingly far I don't want to speculate too much about what limits it will

存在人才竞争之类的事，但应该是良性竞争，只管构

36:46

surmount and which it won't but what are some interesting limitations of the system that

建酷的东西。Elon很擅长构建酷的东西，但你也是

36:50

you've seen I mean there's been some fun ones you've posted there's all kinds of

。说到酷，Sora，我能问的问题有一百万个。首先

36:54

one I mean like you know cats sprout in a

，它太棒了，产品上真的令人惊叹。

36:57

extra limb at random points in a video uh like pick what you want but

你刚才提到的遮挡问题，本质上就是模型对

37:03

there's still a lot of problem a lot of weaknesses do you think it's a

世界三维物理的建模足够好，才能捕捉到这些

37:08

fundamental flaw of the approach or is it just you know bigger model or better

现象。或者，也许你可以告诉我，为了处理遮

37:13

like technical details or better data more data is going to solve those the cat

挡，世界模型需要具备什么？嗯，我想说的是

37:18

sprouting I say yes to both like I think there is something

，它在处理遮挡方面确实做得很好。

37:23

about the approach which just seems to feel different from how we think and learn

当时还在，我就想“哦，这还不错”。还有一些例子，

37:28

and whatever and then also I think it'll get better with skill like I mentioned

比如底层物理看起来在很长序列的多个步骤里表现得特别

37:33

llms have tokens text tokens and Sora has visual patches so it converts all visual

好，就会觉得“哦，这挺让人印象深刻的”。但本质上，

37:38

data at diverse kinds of visual data videos and images into patches is the training

这些模型只是在变得更好，而且这种情况会持续下去。你

37:43

to the degree you can say fully self-supervised there's there some manual labeling going on

看看从Dolly 1到2到3再到Sora的轨迹，每

37:48

like what's the involvement of humans in all

个版本都有很多人吐槽，说……

37:50

this I mean without saying anything specific about the Sora approach we we use lots

这是否意味着它有一个很好的底层3D世界模型？这有点牵强，但仅通过这种二维训练数据的方法能达到这个程度吗？看起来这种方法会走得出奇

37:57

of human data in our work but not internet scale data so lots of humans

地远。我不想过多猜测它能克服哪些限制、不能克服哪些。但你看到系统有哪些有趣的局限性？我发过一些好玩的例子，比如猫在视频中随机长出额

38:03

Lots is a complicated word Sam I think Lots is a fair word in this

外的肢体，随便挑一个。但还有很多问题和弱点。你觉得这是方法本身的根本缺陷，还是说更大的模型、更好的技术细节、更好的数据或更多数据就

38:10

case but it doesn't because to me lots like listen I'm an introvert and when

能解决？猫长肢体这个问题，我觉得两者都有。我认为这种方法在某些方面感觉和我们思考、学习的方式不同，但同时也认为它会随着规模提升而

38:16

I

变得更好。

38:16

hang out with like three people that's a lot of people four people that's a

跟三个人一起玩，那就算很多人了。四个人也算多。不过

38:22

lot but I suppose you mean more than more than three people work on labeling

我想你指的是，有超过三个人在给这些模型做数据标注。嗯

38:27

the data for these models yeah okay all right but fundamentally there's a a lot

，好吧，行。但本质上，这里面有大量的自监督学习，因为

38:32

of self-supervised learning cuz what you mentioned in the technical report is internet scale data

你在技术报告里提到的是互联网规模的数据，这又是一个很

38:38

that's another beautiful it's like poetry uh so it's a lot of data that's not

美的说法，简直像诗一样。所以，那是大量没有经过人工

38:43

human label it's

标注的数据。

38:44

like it's selfs supervised in that way yeah and then the question is how much

就像是一种自监督的方式，对吧，然后问题就是互联网上到底有多少数据可以用来做这个，适合这种自监督的方式。要是我们能知道自监督的细节就好了。你有没有考虑过公开更多细节？你是说针对Sora？对，Sora，因为它太有意思了——LLM的魔法能不能开始迁移到视觉数据上，这需要什么条件？在我看来答案是肯定的，但我们还有更多工作要做。当然。那有什么风险？你为什么对发布这个系统感到担忧？有哪些可能的危险？说实话，我

38:50

how much data is there on the internet that could be used in this that

们在发布系统之前必须做的一件事，就是让它达到一个效率水平，能够提供人们想要的规模，我不想轻描淡写，这方面还有大量工作要做。但你可以想象，比如深度伪造、虚假信息这些问题。我们尽量做一个有责任感的公司，考虑我们推向世界的东西。不用多想就能想到这可能会出问题的方式。这里有很多棘手的问题。你是在一个非常棘手的领域里工作。你觉得AI训练应该属于版权法下的合理使用吗？我认为这个问题背后的问题是：创造有价值数据的

38:55

uh is conducive to this kind of self-supervised way if only we knew the details

人，是否应该有权通过某种方式获得补偿？我觉得答案是肯定的。但我还不知道具体答案是什么。人们提出了很多不同的方案，我们也尝试过一些不同的模式。但比如，如果我是一个艺术家，首先，我希望能够选择退出别人用我的风格生成艺术；其次，如果别人真的用我的风格生成艺术，我希望有某种经济模式与之挂钩。是的，这就像从CD到Napster再到Spotify的转变。我们必须找到某种模式。模式会变，但人们必须得到报酬。应该

39:01

of the self-supervised do you have you considered opening it up a little more details

有某种激励机制。如果我们再放大来看，为了人类继续做那些酷的事情。我担心人类会做很酷的事情，社会也会找到某种方式来奖励它。我觉得这几乎是根深蒂固的。我们想要创造，想要有用，想要以某种方式获得地位——这不会消失，我不这么认为。但奖励可能不是金钱或财务上的，可能是名声、被认可为很酷的人，或者以其他方式获得经济回报。我想我们还没看到经济体系演变的最终形态。是的，但艺术家和创作者看到Sora时会担心，他们觉得

39:06

we have you mean for Sora specifically Sora specifically the because it's so

“天哪”。当然，摄影刚出现时艺术家也非常担心。然后摄影变成了一种新的艺术形式，人们靠拍照赚了很多钱。我认为类似的事情会继续发生。人们会用新的工具以新的方式创作。如果我们看看YouTube之类的平台，你觉得未来五年里，有多少内容会是用Sora这样的AI生成的？人们总在讨论五年内AI会取代多少工作。他们常用的框架是：现有工作中有多少百分比会直接消失？

39:11

interesting that like can this L can the same magic of llms now start moving

有意思的是，这种LLM的魔力现在能不能开始迁移到视觉数据上，要做到这一点需要什么？在我看来，答案是肯定的，但我们还有更多工作要做。当然，风险是什么？你为什么担心发布这个系统？呃，这个系统可能有哪些风险？坦白说，我们在发布系统之前必须做的一件事，就是让它达到一个效率水平，能够提供人们想要的规模，我不想低估这一点，这方面还有大量工作要做。但你可以想象，比如深度伪造、 misinformation

39:16

towards visual data and what does that take to do that I mean it looks

之类的问题。我们努力做一个有责任感的公司，考虑我们发布到世界上的东西。不用多想就能想到这可能会出问题的各种方式。这里有很多棘手的问题。你正在处理一个非常棘手的领域。你认为训练AI应该属于版权法下的合理使用吗？我认为这个问题背后的核心是：创造有价值数据的人，是否应该因为其数据被使用而获得某种补偿？我认为答案是肯定的。我还不确定具体答案是什么。人们提出了很多不同的方案，我们也尝试了一些不同的模式。但

39:21

to me like yes but we have more work to do sure what are the

你知道，如果我是一个艺术家，比如，A，我希望能够选择退出别人以我的风格生成艺术；B，如果他们确实以我的风格生成了艺术，我希望有某种经济模式与之挂钩。是的，这就像从CD到Napster再到Spotify的转变。我们必须找到某种模式。模式会变，但人们必须得到报酬。如果我们再往宏观看，应该有一些激励机制，让人类继续做那些酷的事情。我担心人类会继续做酷的事情，而社会会找到某种方式来奖励它。我觉得这几乎是

39:26

dangers why are you concerned about releasing the system what uh what are some possible

根深蒂固的。我们想要创造，想要有用，想要以某种方式获得地位，这不会消失，我不这么认为。但奖励可能不是金钱或财务上的，可能是名声和来自其他酷事情的认可，或者以其他方式获得财务回报。我想我们还没有看到经济体系演变的最终形态。是的，但艺术家和创作者看到Sora时会想，天哪。当然，摄影刚出现时艺术家也非常担心。然后摄影变成了一种新的艺术形式，人们靠拍照赚了很多钱。我认为类似的事情会不断发生。人们会用新工

39:31

dangers of this I Frankly Speaking one thing we have to do before releasing the

具创造新方式。如果我们看看YouTube之类的平台，你觉得未来五年里，有多少内容会是用Sora这样的AI生成的？人们讨论五年内AI会取代多少工作，他们常用的框架是：当前工作中有多少百分比会被AI取代？但因为它是一个工具，会以越来越高的复杂程度运作，在越来越长的时间跨度内处理越来越多的任务，让人们能在更高的抽象层面操作。所以也许人们在自己工作中会变得高效得多，到某个时候，这不仅仅是量变，而是质变

39:36

system

，关乎你能处理什么样的问题。

39:36

is is just like get it to work at a level of efficiency that will

关键是要让它在效率上达到一个水平，能够提供人们想要的规模，我不

39:42

deliver the scale people are going to want from this so that I don't want

想低估这一点，这方面还有很多工作要做。但你可以想象，像深度伪造、

39:47

to like downplay that and there's still a ton ton of work to do there

虚假信息这类问题……我们是一家在推出产品时会尽量考虑周全的公司

39:52

but you know you can imagine like issues with deep fakes misinformation um like we

，不需要多想就能看出这些事情可能往坏的方向发展。这里有很多棘手的

39:58

try to be thoughtful company about what we put out

问题，你确实是在一个非常艰难的领域里工作。

40:01

into the world and it doesn't take much thought to think about the ways this

你觉得AI训练应该属于版权法下的合理使用吗？我认为这个问题背后的问题是：

40:06

can go badly there's a lot of tough questions here uh you're dealing in a

那些创造有价值数据的人，是否应该有权以某种方式因数据被使用而获得补偿？我觉

40:11

very tough space do you think training AI should be or is fair use under

得答案是肯定的。但我还不知道具体的答案是什么。人们提出了很多不同的方案，我

40:16

copyright law I think the question behind that question is do people who create valuable

们也尝试过一些不同的模式。但比如说，如果我是一个艺术家，第一，我希望能够

40:21

data deserve to have some way that they get compensated for use of it and

选择退出，不让别人用我的风格生成艺术；第二，如果有人用我的风格生成了艺术，

40:25

that I think the answer is

我希望有某种经济模式与之挂钩。

40:27

yes I don't know yet what the answer is people have proposed a lot of

对，这就像从CD到Napster再到Spotify的转变。

40:32

different things we've some tried some different models but you know if I'm like an

我们得想出某种模式。模式会变，但人们必须得到报酬。应该有某

40:36

artist for example a I would like to be able to opt out of people

种激励机制。如果我们再往大了看，为了让人类继续做那些酷的事情

40:41

generating art in my style and B if they do generate art in my style

，我担心的是人类会继续做酷的事情，而社会会找到某种方式来奖

40:45

I'd like to have some economic model associated with that yeah it's that uh transition

励它。我觉得这几乎是刻在骨子里的——我们想要创造，想要有用，

40:49

from CDs to Napster to Spotify we have to figure out some kind

想要以某种方式获得地位。这些不会消失，我不这么认为。

40:53

of model the model changes but people have got to get paid well there should

但奖励可能不一定是金钱或

40:58

be some kind of intive if we zoom out even more for humans to keep

财务上的，可能是名声，或

41:03

doing cool everything I worry about humans are going to do cool and Society is

者被其他酷的人认可，也可

41:07

going to find some way to reward it I I that seems pretty hardwired we

能以其他方式变成财务回报。

41:12

want to create we want to be useful we want to like achieve status in

我想我们还没看到经济体系

41:17

whatever way that's not going anywhere I don't think

最终会如何演变。

41:20

but the reward might not be monetary Financial it might be like Fame and celebration

是的，但艺术家和创作者看到Sora的时

41:24

of other cool maybe Financial in some other way I guess I don't think we've

候会很担心，他们会说“天哪”。但摄影刚出

41:29

seen like the last evolution of how the economic system is going to work yeah

现的时候，艺术家们也非常担心。然后摄影

41:34

but artists and creators are worried when they see Sora they're like holy sure artists

变成了一种新的艺术形式，人们靠拍照赚了很

41:38

were also super worried when photography came out yeah and then photography became a new

多钱。我觉得类似的事情会不断发生。人们

41:43

art form and people made a lot of money taking pictures

会用新的工具以新的方式去使用。

41:47

and I think things like that will keep happening people will use the new Tools

如果我们看看YouTube之类的东西，你觉得未来五年里，有多少内容会是像Sora这样的

41:51

in new ways if we just look on YouTube or something like this how much

AI生成的？人们在讨论AI五年内会取代多少工作，他们用的框架是“现有工作中有多少百分比

41:56

of that will be using Sora like AI generated content do you think in the

会被AI取代”。但我觉得更合适的框架不是“AI能做多少工作”，而是“AI是一种工具，它会

42:01

next five years people talk about like how many jobs is they going to do

以越来越高的复杂程度，在越来越长的时间跨度里，完成越来越多的任务，让人们能在更高的抽象

42:05

in five years and and the framework that people have is what percentage of current

层次上操作”。所以也许人们做自己工作的效率会大大提高，到某个时候，这就不只是量变，而是

42:10

jobs are just going to be

质变了——关于你能处理什么样的问题。

42:12

totally replaced by some AI doing the job the way I think about it is

完全被AI取代工作，我的看法是，问题不在于AI会取代多少百分比的工作，而在于AI能完成多少百分比的任

42:17

not what percent of jobs AI will do but what percent of tasks will AI

务，以及这个时间跨度有多长。所以如果你想想经济中所有那些五秒钟的任务、五分钟的任务、五小时的任务，甚

42:21

do and over what time Horizon so if you think of all of the like

至可能是五天的任务，AI能做多少？我觉得这是一个更有趣、更有影响力、更重要的问题，比问AI能取代多少工

42:26

five second tasks in the economy five minute tasks the five hour tasks maybe even

作要重要得多，因为它是一个工具，会以越来越高的复杂度运作，在越来越长的时间跨度里处理越来越多的任务，

42:31

the five day tasks how many of those can AI do and I think that's

让人们能在更高的抽象层面上操作。所以也许人们在自己做的工作上效率会高得多，到了某个点，这就不只是量变，

42:36

a way more interesting impactful important question

而是质变了——关于你能在脑子里处理什么样的问题。

42:38

than how many jobs AI can do because it is a tool that will work

比起AI能完成多少工作，更重要的是它作为一种工

42:42

at increasing levels of sophistication and over longer and longer time Horizons for more and

具，会以越来越高的复杂度、在越来越长的时间跨度内

42:47

more tasks and let people operate at a higher level of abstraction so maybe people

处理更多任务，让人们能在更高的抽象层次上运作。所

42:51

are way more efficient at the job they do and at some point that's not

以，人们可能在自己做的事情上效率大幅提升，到了

42:56

just a quantitative change but that's a qualitative one too about the kinds of problems

某个点，这就不只是量变，而是质变——你能处理的问

43:01

you can keep in

题类型也变了。

43:02

your head I think that for videos on Youtube it'll be the same many videos

我觉得对于YouTube上的视频来说，情况会是一样的——很多视频，也许大部分，都会在制作过程中使用AI工具，但它们本质上还是由一个人来思考、整合、你知道的，做一部分

43:07

maybe most of them will use AI tools in the production but they'll still be

工作，像是导演和运营。对，这太有意思了。我是说，这有点吓人，但想想也挺有趣。我倾向于相信，人类喜欢看其他人类，或者……嗯，人类真的很在乎其他人类。对，如果有个比人类更

43:12

fundamentally driven by a person thinking about it putting it together you know doing parts

酷、更好的东西，人类会喜欢它大概两天，然后他们又会回到人类身上。这看起来是深深植根于本能的。就像下棋那件事。哦，对，但别管了，大家还是继续下棋，忽略房间里的大象——

43:17

of it sort of directing and running it yeah it's so interesting I mean it's

人类在下棋上跟AI比真的很烂。我们还在跑步比赛，但汽车快得多。我是说，这种例子太多了。对，也许它就像工具一样，像Adobe那种方式，让你做视频变得容易得多，诸如此类。

43:22

scary but it's interesting to think about I tend to believe that humans like to

听着，我讨厌站在镜头前，如果我能找到一种不用站在镜头前的方法，我会很乐意。不幸的是，这还需要一段时间。生成人脸，它正在接近，但生成视频格式的人脸，当是特定的人而不是

43:27

watch other

普通人的时候，就很棘手。

43:27

humans or other human hum really care about other humans a lot yeah if there's

人类或者其他人类……嗯，人类真的很在意其他人类。是啊

43:32

a cooler thing that's more that's better than a human humans care about that for

，如果有比人类更酷、更好、更厉害的东西，人类大概会关注

43:37

like two days and then they go back to humans that seems very deeply wired

两天，然后又回到人类身上。这看起来像是深深刻在骨子里的

43:42

it's the whole chess thing oh yeah but no let's everybody keep playing CH and

东西。就像下棋那件事。哦对，但别管了，大家继续下国际

43:47

Let's ignore the elephant in the room that humans are really bad at chess relative

象棋吧，别管房间里的大象——人类在国际象棋上跟AI系统

43:52

to AI systems we still run races and

比真的很菜。我们还在跑比赛啊。

43:54

cars are much faster I mean this is there's like a lot of examples yeah

让我问问你关于GPT-4的事。好多问题。首先，它也很惊人。回头看，这可能会是一个历史性的关键时刻，就像3.5和4那样，也许GPT-

43:59

and maybe just be tooling like in the Adobe sweet type of way where you

5会是那个关键时刻。我不知道，往前看很难说，我们永远不知道，这就是未来烦人的地方——很难预测。但对我来说，回头看，GPT-4和Ch

44:03

can just make videos much easier and all that kind of stuff listen I hate

atGPT真的相当令人印象深刻，历史级别的印象深刻。所以请允许我问一下，对你来说，GPT-4和GPT-4 Turbo最令人印象深刻

44:08

being in front of the camera if I can figure out a way to not

的能力是什么？我觉得它有点烂。典型的，人类又习惯了一个很棒的东西。不，我认为它是一个了不起的东西。嗯，但相对于我们需要达到的地方，

44:13

be in front of the camera I would love it unfortun it'll take a while

以及我相信我们会达到的地方，你知道，在GPT-3的时候，人们说“哦，这太棒了，这是技术的奇迹”，它确实是，曾经是。但你知道，现在我

44:17

like that generating faces it's it's getting there but generating faces in video

们有了GPT-4，回头看GPT-3，你会觉得“那简直难以想象的糟糕”。我预计，未来回头看GPT-4也会是这种感觉。

44:21

format is tricky when it's specific people versus generic people let me ask you about

格式在针对具体人物和泛指人群时有点棘手。我想问你关于

44:27

gbt 4 so many questions uh first of all also amazing it's looking back it'll

GPT-4 的很多问题。首先，回头看的话，它可能也是

44:33

probably be this kind of historic pivotal moment with 3 five and four which had

个历史性的转折点，就像 3.5 和 4 那样，也许

44:38

BT maybe five will be the pivotal moment I don't know hard to say that

GPT-5 会成为那个转折点，我也不确定，往前看很难说

44:44

looking forwards we never know that's the annoying thing

，我们永远不知道，这点挺烦人的。

44:48

about the future it's hard to predict but for me looking back GPT for Chad

格式在具体的人和泛指的人之间切换时有点麻烦。让我问问你关于GPT-4的事。好多问题啊。首先，它也很惊人。回头看的话，G

44:54

gbt is pretty damn impressive like historically impressive so allow me uh to ask ask

PT-3.5和GPT-4可能是个历史性的转折点。也许GPT-5会是那个转折点，我不知道。往前看很难说，我们永远不知道，这

45:00

what's been the most impressive capabilities of gp4 to you and gp4 turbo I think

就是未来烦人的地方——很难预测。但对我来说，回头看GPT-4和ChatGPT，真的非常令人印象深刻，历史级别的印象深刻。

45:06

it kind of sucks H typical human also gotten used to an awesome thing no

所以请允许我问一下，对你来说，GPT-4和GPT-4 Turbo最令人印象深刻的能力是什么？我觉得它有点烂。典型的，人类

45:12

I think it is an amazing thing

又习惯了一个很棒的东西。不，我觉得它确实是个很棒的东西。

45:15

um but relative to where we need to get to and where I believe we

关于这种方法，它看起来就是跟我们思考和学习的模式不一样。而且我觉得随着技能

45:21

will get to uh you know at the time of like gpt3 people were like

提升它还会更好，就像我提到的，LLM有token，文本token，而Sor

45:27

oh this is amazing this is this like Marvel of technology and it is it

a有visual patches，所以它把所有视觉数据——各种类型的视频和

45:33

was uh but you know now we have gp4 and look at GB3 and you're

图像——都转换成patches。训练过程在某种程度上可以说是完全自监督的，但

45:39

like that's unimaginably horrible um I expect that

也有一些人工标注，比如人类参与了多少……

45:42

the Delta between five and four will be the same as between four and three

GPT-4和GPT-3.5之间的差距，会和GPT-3.5跟GPT-3之间的差距一样大。我觉得我们的职责是活在未来几年里，记住我们现在用的这些工具，回头看的时候会觉得它们挺烂的，而正是这样我们才能确保未来变得更好。GPT-4最让人想吐槽的地方是什么？就是它最擅长的事情是什么，以及这些最擅长的事情的局限性在哪里，让你觉得它不行，从而给你灵感和对未来的希望。你知道吗，我最近

45:47

and I think it is our job to live a few years in the future

更多把它当成一个头脑风暴的伙伴来用。在这方面，它确实闪现出一些很棒的东西。我不觉得——当人们谈论它能做什么的时候，他们就说，啊，它帮我更高效地写代码，它帮我写得更快更好，它帮我从一种语言翻译到另一种，所有这些了不起的事情。但有一种东西，就是那种创意头脑风暴的伙伴——我需要给这个东西起个名字，我需要换个角度思考这个问题，我不确定该怎么做——我觉得这让我瞥见了一些我希望看

45:52

and remember that the tools we have now are going to kind of suck looking

到更多的东西。嗯，另一个你能看到一点点端倪的地方是，当它能帮你处理更长期的任务时，比如分解成多个步骤，也许执行其中一些步骤，搜索互联网、写代码、不管什么，然后把它们整合起来。当这能成功的时候——虽然不常见——就感觉非常神奇。人类和它之间的迭代来回互动——嗯，对我来说它经常管用。你什么意思？迭代来回互动——人类能更频繁地参与。当它能自己独立完成一个十步的问题时——哦，那

45:57

backwards at them and that's how we make sure the future is better what are

不太常见。有时候是在多个抽象层次上，还是你指的是顺序性的？两者都有吧，比如分解问题，然后在不同抽象层次上做事，再整合起来。听着，我不想贬低GPT-4的成就，但也不想夸大它。我觉得我们正处在一个指数曲线上，很快我们回头看GPT-4，就会像现在回头看GPT-3一样。话虽如此，ChatGPT是一个转折点，人们开始相信它了。有一种相信的上升——不是在OpenAI内部，那里可能

46:02

the most glorious ways in that GPT for sucks meaning uh what are the best

早就有信徒了——但当你想想，从这个意义上说，我觉得那会是一个时刻，世界上很多人从不信变成了信。这更多是关于ChatGPT的界面，而不是——而且通过界面和产品，我指的也包括模型的后训练，以及我们如何调整它让它对你有用，以及如何使用它——而不是底层模型本身。这两者各自有多重要？底层模型和RLHF之类的东西，那种让它对人类更有吸引力、更有效、更高效的东西。它们都非常重要，但

46:07

things it can do what

RLHF，后训练步骤，就是那种从计算角度来看很小的包装——我们在基础模型之上做的一堆事情，尽管工作量巨大——那真的至关重要。

46:08

are the best things it can do and the the limits of those best things

嗯，但相对于我们需要达到的地方，以及我相信我

46:14

that allow you to say it sucks therefore gives you an inspiration and hope for

们会达到的地方，你知道，在GPT-3的时候，

46:19

the future you know one thing I've been using it for more recently is sort

人们说“哦这太棒了，这是技术的奇迹”，它确实

46:24

of a like a brainstorming partner Y and for that there's a glimmer of something

是。但现在我们有GPT-4了，回头看GPT-

46:29

amazing in there I don't think it gets you know when people talk about it

3，你会觉得“那简直难以想象的糟糕”。我预计

46:34

it

……

46:34

what it does they're like ah it helps me code more productively it helps me

但相对于我们需要达到的目标，以及我相信我们最

46:39

write more faster and better it helps me you know translate from this language to

终会达到的地方，你知道，在 GPT-3 的时候

46:44

another all these like amazing things but there's something about the like kind of creative

，人们会说“这太棒了，这是技术的奇迹”，确实

46:49

brainstorming partner I need to come up with a name for this thing I need

如此。但现在有了 GPT-4，再看 GPT-3

46:54

to like think about this problem in a different way I'm not sure what to

，你会觉得“那简直难以想象的糟糕”。我预期也

46:59

do here

会这样。

47:00

uh that I think like gives a glimpse of something I hope to see more

它最擅长的事情，以及这些最擅长事情的局限，让你可以说它烂，这反而给了你对未来的灵感和希望。你知道

47:05

of um one of the other things that you can see like a very small

，我最近更多把它当做一个头脑风暴伙伴来用。对，那里有一丝很棒的东西在闪烁。我不觉得它……你知道，

47:10

glimpse of is when it can help on longer Horizon tasks you know break down

当人们谈论它能做什么的时候，他们会说“啊，它帮我更高效地写代码，它帮我写得更快更好，它帮我从一种

47:15

some multiple steps maybe like execute some of those steps search the internet write code

语言翻译到另一种”，所有这些很棒的事情。但有一种东西，就是那种创意头脑风暴伙伴——我需要给这个东

47:20

whatever put that together uh when that works which is not very often it's like

西起个名字，我需要换个角度思考这个问题，我不确定该怎么做——我觉得它让我瞥见了一些我希望看到更多

47:25

very

的东西。

47:26

magical the iterative back and forth with a human well it works a lot for

不过我们后来决定——我很感激Ad

47:30

me what do you mean it uh iterative back and forth the human can get

am愿意留下来——但我们想，我们

47:34

more often when it can go do like a 10-step problem on its own oh

考虑过各种配置，最终决定把董事会

47:38

doesn't work for that too often sometimes at multiple layers of abstraction or do you

缩减到三人，并且需要在短时间内找

47:42

mean just sequential both like you know to break it down and then do things

到两名新董事。说实话，这些决定都

47:46

at different layers of abstraction and put them together look I don't want to I

是在战场上做的，你根本没时间设计

47:50

don't want to like downplay the accomplishment

一个严谨的流程。

47:52

of gp4 um but I don't want to overstate it either and I think this

关于GPT-4，嗯，但我不想过度夸大它。我觉得我们正处在一个指数曲线上，很快我们回头看GPT-4，就会像现在回头看GPT-3一样。话虽这么说，我的意思是，ChatGPT是一个转折点，人们开始真正相信它了——有一种信念在上升，也许在OpenAI内部不是这样，那里本来就有相信的人。但当你仔细想，从这个意义上说，我觉得那会是一个时刻，世界上很多人从不信变成了信。嗯，这更多是关于ChatGPT的界面，而不是——而且通过界

47:57

point that we are on an exponential curve we will look back relatively soon at

面和产品，我指的也包括模型的后训练，以及我们如何调整它让它对你有帮助，以及如何使用它，而不是底层模型本身。这两者各自有多重要？底层模型和RLHF之类的东西，那种让模型对人类更有吸引力、更有效、更高效的东西。我的意思是，两者都非常重要，但RLHF，那个后训练步骤，你知道，从计算角度来看，那个在基础模型之上做的小小包装——尽管工作量巨大——真的非常关键。那是你如何对齐它、让它有用、以及如何让规模运作起来，让很多人能同

48:03

gp4 like we look back at gpt3 now that said I mean Chad gbt was

时使用它，所有这些事情。但你知道，那在当时是未知的、困难的事情。我们知道我们必须扩展它，我们必须做两件以前从未做过的事，这两件事我觉得都是相当重大的成就。然后还有很多其他事情，比如扩展它，其他公司后来也得做。随着时间的推移，它会越来越了解你，那会很棒。但现在，人们使用这些模型的方式并不是那样。你知道，人们有时会贴一篇论文，或者一个代码库的很大一部分，等等。但大多数时候，模型的大部分使用并没有用到长上下文。我喜欢这个

48:09

a transition to where people like started to believe it there was a kind of

——这是“我有一个梦想”演讲的一年，有一天你会被根据你全部性格或你整个一生的上下文来评判。这很有意思。所以，你希望的那种扩展，就是越来越大的上下文。我曾经在网上看到一个片段，我可能会记错数字，是比尔·盖茨在谈论某台早期计算机的内存，可能是64K，可能是640K，大部分都被屏幕缓冲区占用了。他当时看起来真的很真诚，无法想象世界最终会需要计算机有千兆字节或万亿字节的内存。而你总是需要跟随技术的指数发展，我们会找到如何

48:14

there is an uptick of believing not internally at open AI perhaps

使用更好技术的方法。所以我真的无法想象，当上下文长度有一天能达到十亿时，那会是什么样子。它们可能不会真的到那个数，但感觉上会像那样。嗯，但我知道我们会用上它，一旦有了，就再也不想回去了。是的，甚至说十亿，十年后可能听起来很傻，因为那会是万亿又万亿。当然会有某种突破，感觉上就像无限上下文。但即使是120K，老实说，我还没把它推到极限。

48:19

there's Believers here but when you think and in that sense I do think it'll

它做的事情，比如“啊，它帮我更高效地写代码

48:23

be a moment where a lot of the world went from not believing to believing

”、“它让我写东西更快更好”、“它帮我从一

48:28

um that was more about the chat gbt interface than the and and by the

种语言翻译到另一种”，所有这些 amazi

48:33

interface and product I also mean the post training of the model and how we

ng 的事情。但还有一种像创意头脑风暴伙伴的

48:37

tune it to be helpful to you and how to use it than the underlying

感觉——我需要给这个东西起个名字，我需要换

48:42

model itself how much of those two uh each of those things are

个角度思考这个问题，我不知道该怎么办。

48:46

important the underlying model and the rlf or something of that nature that Tunes it

……比AI能做多少工作更重要，因为它是一个工

48:51

to be more compelling to the human more uh effective and productive for the human

具，会以越来越高的复杂度运作，在越来越长的时间

48:55

I mean they're they're both super important but the the the rhf the post-training step

跨度里处理越来越多的任务，让人们能在更高的抽象

49:00

the you know little wrapper of things that from a compute perspective little wrapper of

层次上操作。所以也许人们在自己工作上会高效得多

49:04

things that we do on top of the base model even though it's a huge

，到某个时候，这就不只是量变，而是质变了，关

49:09

amount of work that's really important to say

乎你能处理什么样的问题……

49:11

nothing of the product that we build around it um you know in some sense

我们围绕它构建的产品本身，其实某种程度上，我们得做两件事：一是发明底层技术，二是想清楚怎么把它做成

49:17

like we did have to do two things we had to invent the underlying technology

人们会喜欢的产品——这不光是产品本身的工作，还包括如何对齐它、让它变得有用，以及如何让规模运作起来

49:23

and then we had to figure out how to make it into a product people

，让很多人能同时使用它，诸如此类。但你知道吗，这其实是未知的难题，我们知道自己得扩大规模，得去做两件

49:29

would love which is not just about the actual product work itself but this whole

以前从没人做过的事，而且我觉得这两件事都算是相当重大的成就，再加上像扩大规模这类其他公司以前也做过

49:35

other

的事情。

49:36

step of how you align it and make it useful and how you make the

那种与人类之间迭代来回的魔力，对我来说很

49:40

scale work where a lot of people can use it at the same time all

管用。你指的是什么？迭代来回——人类能更

49:44

that kind of stuff and that but you know that was like unnown difficult thing

频繁地参与，还是说它能独立完成一个十步的问

49:48

like we knew we were going to have to scale it up we had to

题？那种情况不常奏效。有时是在多个抽象层

49:53

go do two things that had like never been done before uh that were both

次上，还是说只是顺序性的？比如你把它拆解

49:57

like I would say quite significant achievements and then lot of things like scaling it

，然后在不同抽象层次上做事，再拼起来。听着

50:01

up that other companies have had to do

，我不想贬低这个成就。

50:03

before how does the the context window of going from 8K to 128k tokens compare

从GPT-4到GPT-4 Turbo，上下文窗口从8K增加到128K tokens，这对比起来怎么样？大多数人大部分时间其实不需要用到128K，不过，如果我们展望遥远的未来，会有几十亿的上下文长度，你可以把你所有的信息、你一生的历史都喂进去，它会越来越了解你，

50:08

from the from GPT 4 to to GPT 4 Turbo people like long most people

那会很棒。但现在，人们使用这些模型的方式并不是这样，有时候人们会贴一篇论文，或者代码库的很大一部分，但大多数情况下，模型的使用并没有用到长上下文。我喜欢这个说法，这是“我有一个梦想”式的演讲，总有一天你会根据你一生的全部上下文来被评判，这挺有意思的。所以，你希望

50:13

don't need all the way to 128 most of the time although you know if

扩展的一部分就是越来越大的上下文。我以前看过一个网络片段，具体数字我可能会记错，是比尔·盖茨在谈论某台早期计算机的内存，可能是64K，也可能是640K，大部分都用来做屏幕缓冲区了，他当时似乎真的无法想象世界最终需要几千兆字节的内存，或者几万亿字节的内存。你总是需

50:18

we dream into the distant future we'll have like like way distant future we'll have

要跟随技术的指数增长，我们会找到如何利用更好技术的方法，所以我真的无法想象现在上下文长度有一天能达到几十亿会是什么样子，可能不会字面上达到，但感觉上会像那样。但我知道我们会用上它，一旦有了就不想回头。是啊，就算说十年后是几十亿，可能听起来都很傻，因为到时候会是

50:23

like context length of several billion you will feed in all of your information all

几万亿甚至更多。肯定会有某种突破，让人感觉上下文几乎是无限的。但说实话，连128K我都没怎么用到那个程度，可能放整本书或者部分书、论文之类的。你见过GPT-4哪些有趣的用例？我觉得最有趣的不是某个我们能聊的具体案例，而是那些——主要是年轻人——把它当作任何知识型

50:28

of your

任务的默认起点。关键是它真的能做到。

50:29

hisory over time and it'll just get to know you better and better and that'll

神奇的是那种和人类来回迭代的互动。对我来说这很管用。你指

50:34

be great for now uh the way people use these models they're not doing that

的是什么意思？就是那种来回迭代，人类能更频繁地参与，而AI

50:39

and you know people sometimes Post in a paper or you know a significant fraction

可以自己独立完成一个十步的问题？那种情况不太常见。有时候

50:44

of a code repository whatever um but most usage of the models is not using

是在多个抽象层次上，还是说只是顺序推进？就是那种，你把它拆

50:49

the long context most of the time I like that this is year I Have

解，然后在不同抽象层次上处理，再拼起来。听着，我不想贬低这

50:54

a Dream

个成就。

50:55

speech one day you'll be judged by the full context of your character or of

有一天，你会被你的全部品格或整个人生的完整语境来评判，这挺有意思的。所以，你希望的那种扩展，其实就是越来越大的context。我好像看过一个网络片段，具体数字我可能记错了，但大概是Bill Gates在谈论某台早期电脑的内存，可能是64k，也可能是640k，大部分都被screen buffer占用了。他当时真的无法想象，世界最终会需要千兆字节甚至万亿字节的内存。

51:00

your whole lifetime that's interesting so like that's part of the expansion that you're hoping

你总是需要跟随技术的指数级增长，我们也会找到如何利用更好技术的方法。所以我真的无法想象，当context links未来能达到十亿级别时会是什么样子。它们可能不会字面上达到那个数字，但实际体验会感觉像那样。但我知道，一旦我们拥有了它，我们就会用起来，而且真的不想回到过去。是啊，就算说十年后会有十亿，听起来可能都很蠢，因为到时候可能是万亿又万亿。当然，会有某种突破，

51:04

for is a greater and greater context there was this I saw this internet clip

实际上会感觉像无限context。但即使120，老实说，我还没有真正去极限测试过。而且实际上，我发现它往往比Wikipedia在那些覆盖得很好的话题上还要好得多。它 somehow 更平衡、更细致，或者可能是我自己的感觉，但它比Wikipedia的文章更能激发我深入思考。我不太确定那是什么。你提到这种协作，我不确定魔力到底是在这里，还是在那里，还是在两者之间。但

51:09

once I'm going to get the numbers wrong but it was like Bill Gates talking

让我担心的一点是，当我用GPT处理知识性任务时，我通常之后还得做fact checking，检查它有没有编造虚假内容。你怎么解决这个问题？你知道GPT会编造听起来很可信的假东西，那你怎么让它扎根于真相？这显然是我们非常关注的一个领域。我认为随着新版本的出现，情况会好很多，但我们还得继续努力，今年不可能完全解决。可怕的是，随着它越来越好，你会越来越不去做fact c

51:14

about the amount of memory on some early computer maybe 64k maybe 640k something like

hecking。我对此有两种想法。我认为人们其实是比我们通常认为的更复杂的技术使用者，大家似乎真的明白GPT或任何这些模型有时会hallucinate，如果是关键任务，你必须去核实。但记者们似乎不明白这一点。我看到过记者半心半意地直接用GPT来……如果我要列一个我想吐槽记者的事情的清单，这还不是我对他们的首要批评。我觉得更大的批评可能是，记者的工作压力和激励机制是

51:18

that and most of it was used for the screen

必须工作得非常快，而这是一个捷径。我希望我们的社会能激励……我也希望有那种需要花几天几周时间的新闻工作，并奖励那些深度报道，同时也奖励那些以平衡方式呈现内容的新闻，既能赞扬人也能批评人，尽管批评才是吸引点击的东西，而编造内容也能吸引点击和头条。

51:21

buffer and he just couldn't seemed genuine this couldn't imagine that the world would eventually

他当时就是那种状态，完全没法想象世界有一天

51:26

need gigabytes of memory a computer or terabytes memory in a computer um and you

会需要几千兆字节的内存，或者几万亿字节的内

51:31

always do or you always do just need to like follow the exponential of technology

存。你总是得跟着技术的指数级增长走，我们也会

51:36

and and we're going to like we will find out how to use better technology

找到办法去利用更好的技术，所以我真的没法想

51:41

so I can't really imagine what it's like right now for context links to go

象现在是什么感觉——就像上下文链接以后能扩

51:45

out to the billion someday

展到十亿那么长。

51:47

and they might not literally go there but effectively it'll feel like that um but

他们可能不会真的去那里，但感觉上会很像。嗯，但我知道一

51:53

I know we'll use it and really not want to go back once we have

旦我们有了它，就会用起来，而且真的不想回到过去。是啊，

51:58

it yeah even saying billions 10 years from now might seem dumb because it'll be

就算现在说十年后会有几十亿，听起来可能都很蠢，因为到时

52:04

like trillions upon trillions sure there'd be some kind of breakthrough that will effectively feel

候可能是几万亿甚至更多。当然会有某种突破，让人感觉像是

52:09

like infinite context but even 120 I have to be honest I haven't pushed it

无限上下文，但就算120……说实话，我还没把它推到那个极

52:15

to

限。

52:15

that degree maybe putting in entire books or like parts of books and so on

那种程度可能是把整本书或部分书籍、论文等内容放进去。你见过哪些有趣的GPT-4使用案例？我觉得最有趣的不是某个具体的案例，而是有些人——主要是年轻人——把GPT当作任何知识类任务的默认起点。而且实际上，我发现它在一些常见话题上往往比维基百科还要好，它更平衡、更细致，也许只是我的感觉，但它确实比维基

52:20

papers what are some interesting use cases of GPT 4 that you've seen the thing

百科更能激发我深入思考。我不太确定原因是什么。你提到这种协作，我也不清楚魔力到底在它那边、在我这边，还是介于两者之间。但让我担心的是，当我用GPT开始知识任务时，通常之后还得做事实核查，确保它没编造东西。你怎么解决这个问题？你知道GPT会编造听起来很真实的内容，那怎么让它基于事实呢？这显然是我们非

52:25

that I find most interesting is not any particularly case that we can talk about

常关注的一个领域。我认为随着新版本推出，情况会好很多，但我们还得继续努力，今年不可能完全解决。可怕的是，随着它变得更好，你会越来越懒得做事实核查。我对此有两种看法。我觉得人们其实比我们通常认为的更擅长使用技术，大家似乎真的明白GPT这类模型有时会幻觉，如果是关键任务就得核查。但记者似乎不明白这一点

52:29

those but it's people who kind of like this is mostly younger people but people

。我看到记者半心半意地直接用GPT写东西。在我对记者的一大堆吐槽里，这还不是我最主要的批评。我觉得更大的批评可能是记者的工作压力和激励机制——他们必须快速出稿，这是个捷径。我希望社会能鼓励那些花几天甚至几周完成的深度新闻报道，奖励那种既平衡又深刻的报道，既能赞扬人也能批评人，尽管批评才吸引点击量。编

52:34

who use it as like their default start for any kind of knowledge work task

造内容也能吸引点击，标题党完全歪曲事实也能吸引点击。我猜你肯定被很多人吐槽过。那些争议大概确实带来了不少点击量。这其实是人类文明的一个更大问题，我希望看到的是我们多去赞美一些东西。你给了ChatGPT记忆功能，你试过让它记住之前的对话，也试过关掉记忆。我希望自己有时候也能这样，根据情况开关记忆。大

52:39

yeah and it's the fact that it can

概酒精有时能做到，但不太理想。你试过这个记忆功能后有什么发现？我们在这个探索上还很早期，但我认为人们想要的——或者至少我自己想要的——是一个能逐渐了解我的模型。

52:41

do a lot of things reasonably well you can use gptv you can use it

能做很多事，而且做得还不错——你可以用GPT-V，可以用它帮你写代码，可以用它帮你做搜索，还可以用它来改论文。对我来说最有趣的是，有些人只是把它当作工作流程的起点，我自己在很多事情上也是这样，比如我把它当作读书的伙伴，它帮我思考，帮我理清思路，尤其是读经典书籍的时候，因为这些书写得真的很好。而且实际上，我发现它往往比

52:45

to help you write code you can use it to help you do search you

维基百科在那些被充分讨论的话题上还要好得多，它 somehow 更平衡、更细致，或者也许只是我自己的感觉，但它比维基百科的文章更能激发我深入思考。我不太确定这到底是什么原因——你提到了这种协作，我不清楚魔力到底是在这里，还是在那里，或者是在两者之间，不确定。但有一件事让我担心，就是当我用GPT开始处理知识型任务时，我

52:49

can uh use it to like edit a paper the most interesting thing to me

通常事后还得做事实核查，检查它有没有编造东西。你怎么解决这个问题？你知道GPT会编造出听起来很可信的假东西，那你怎么让它扎根于事实呢？这显然是我们非常关注的一个领域。我认为随着后续版本的推出，情况会好很多，但我们还得继续努力，不可能今年就把这个问题完全解决。可怕的是，随着它变得更好，你会越来越不做事实核查，对吧？我对

52:53

is the people who just use it as the start of their workflow I do

这件事有两种看法。我觉得人们作为技术使用者，其实比我们通常认为的要成熟得多，大家似乎真的明白GPT——以及任何这些模型——有时候会幻觉，如果事情至关重要，你就得去核实。但记者们似乎不明白这一点。我看到记者们半心半意地直接用GPT做各种事情——在我很想吐槽记者的一大堆事情里，这还不是我对他们的首要批评。嗯，我觉得更大的

52:57

as well for for many things like uh I use it as a u a

批评可能是记者这个职业的压力和激励机制——他们必须工作得非常快，而这是个捷径。我希望我们的社会能激励——我也希望——那种需要几天甚至几周的深度新闻工作，奖励那些出色的深度报道，同时也奖励那些以平衡方式呈现内容的新闻，既能赞扬人又能批评人，尽管批评才是吸引点击的东西，而编造内容也能吸引点击，还有那些完全歪曲事实的标题。

53:00

partner for reading books it helps me think help me think through ideas especially when

我猜肯定有很多人在吐槽你——嗯，那些 drama 大概确实吸引了很多点击，可能吧。而这，你知道，这是人类文明一个更大的问题，我希望看到它被解决——就是我们能更多地赞美一些东西。你给了ChatGPT记忆能力，你一直在玩这个功能，关于之前的对话，还有关闭记忆的能力。我希望我有时候也能那样，根据情况开关记忆——我猜有时候酒

53:04

the books are classic so it's really well written

精可以做到，但不太理想，我想。那你通过这个看到了什么？就是玩这个记住对话和不记住对话的想法。我们在这个探索上还非常早期，但我认为人们想要的——或者至少我自己想要的——是一个能逐渐了解我的模型。

53:06

about and it actually is is I I find it often to be significantly better

它们可能不会真的达到十亿，但实际体验上会像那

53:11

than even like Wikipedia on well-covered topics it's somehow more balanced and more nuanced or

样。不过我知道，一旦我们用上了，就再也不想回

53:16

maybe it's me but it inspires me to think deeper than a Wikipedia article does

去了。是啊，就算说十年后会有十亿，听起来可能

53:20

I'm not exactly sure what that is you mentioned like this collaboration I'm not sure

都很蠢，因为到时候可能是万亿甚至更多。肯定会有

53:25

where the magic is if it's in here or if it's in there or if

某种突破，让人感觉上下文几乎是无限的。但说实

53:30

it's somewhere in between not sure uh but one of the

话，连120我都没真正推到极限过。

53:33

things that concerns me for knowledge task when I start with GPT is I'll usually

随着时间的推移，它会越来越了解你，这对现在来说很棒。但目前

53:39

have to do fact checking after like check that it didn't come up with fake

人们使用这些模型的方式，并不是这样做的。你知道，有时候人们

53:45

stuff how how do you figure that out that you know GPT can come up

会发一篇论文，或者代码仓库里很大一部分内容什么的。但大多数

53:51

with fake stuff that sounds really convincing so how do you ground it in truth

情况下，模型的使用并没有用到长上下文。我喜欢这一点——今年

53:57

that's obviously an area of

是“我有一个梦想”。

53:59

intense interest for us uh I think it's going to get a lot better with

而且实际上，我觉得它往往比维基百科上那些覆盖得很好的话题还要好得多——它 so

54:03

upcoming versions but we'll have to work on it and we're not going to have

mehow 更平衡、更细致，也许是我自己的感觉吧，但它比维基百科的文章更能激发

54:08

it like all solved this year well the scary thing is like as it gets

我深入思考。我也不太确定是怎么回事。你提到这种协作，我不知道魔力到底是在这里、在

54:12

better you'll start not doing the factchecking more and more right I I'm of two

那里，还是介于两者之间。但有一件事让我担心，就是当我用GPT做知识型任务时，通

54:16

minds about that I think people are like much more sophisticated users of Technology than

常之后还得做事实核查，检查它有没有编造东西。你怎么解决这个问题？你知道GPT会

54:21

we often give them credit for and people seem to really understand that GPT any

编造听起来很真实的东西，那怎么让它扎根于事实呢？这显然是我们非常关注的一个领域。

54:25

of these models hallucinate some of the time and if it's mission critical you got

这些模型有时候会胡编乱造，如果是关键任务，你得

54:30

to check it except journalists don't seem to understand that I've seen journalists half acidly

去核实。但记者们好像不明白这一点。我见过记者半

54:34

just using GPT for it's of the long list of things I'd like to dunk

吊子地用GPT来写东西。在我一长串想吐槽记者的

54:39

on journalists for this is not my top criticism of them well I think the

事情里，这还不是我最主要的批评。嗯，我觉得更大

54:44

bigger criticism is perhaps the pressures and the incentives of being a journalist is that

的批评可能是，记者这个职业的压力和激励机制就是

54:48

you have to work really quickly and this is a

你必须工作得非常快，而这是个……

54:51

shortcut I I would love our society to incentivize like I would too long like

我觉得随着新版本推出，情况会好很多，但我们还得继续努力，不可能今年就把所有问题都解决。可怕的是，随着它越来越好，你会越来越不去做事实核查。我对此有两种看法

54:57

a journal journalistic efforts that take days and weeks and and rewards great in-depth journalism

。我觉得人们其实比我们通常认为的要更懂技术，他们似乎真的明白GPT——或者任何这类模型——有时候会胡说八道。如果是关键任务，你就得去核查。不过记者们好像不明

55:03

also journalism that presents stuff in a balanced way where it's like celebrates people while

白这一点。我看到过记者半吊子地用GPT写东西。在我对记者的一大堆批评里，这倒不是我最想吐槽的。我觉得更大的批评可能是记者这个职业的压力和激励机制——他们必须

55:08

criticizing them even though the criticism is the thing that gets clicks and making up

工作得特别快，这只是一个捷径。我希望我们的社会能激励那种花几天、几周时间做的深度新闻报道，奖励那种既平衡又深刻的报道，既能表扬人也能批评人——虽然批评才是

55:14

also gets clicks and headlines that

能吸引点击量的东西，而编造东西也能吸引点击量，还有那些标题党……

55:16

mischaracterize completely I'm sure you have a lot of people dunking on well all that

你完全误解了。我敢肯定有很多人在吐槽，那些破事大概赚了不少点击量吧。而这也反映了人类文明一个更大的问题——我希望看到我们能更多地去庆祝一些东西。你已经给了ChatGPT记忆能力，你一直在玩这个功能，让它记住之前的对话，同时也能关闭记忆。我希望我自己有时候也能这样，根据情况开关记忆——大概酒精有时候能做到，但不太理想吧。那么，你在尝试这个记住对话和不记住对话的想法时，看到了什么？我们在这个探索上还

55:21

drama probably got a lot of clicks probably did uh and that that's that you

非常早期，但我认为人们想要的——或者至少我自己想要的——是一个能逐渐了解我的模型，能从我们一生的经历中不断学习，程度各有不同。我也希望我的AI助手能随着这些经历一起成长。所以，如果我们回到过去，想象一下，如果有万亿万亿的上下文长度，如果我能把我这辈子和任何人说过的每一段对话都放进去，如果我能把我所有的邮件、所有的输入输出都塞进上下文窗口，每次我问一个问题时都能用上，那会非常酷。我觉得是的，那会非常

55:27

know that that's a bigger problem about human civilization I'd love to see solved is

酷。有些人听到这个会担心隐私问题。你怎么看这个方面？当AI变得更有效，真正整合了你所有的经历和数据，然后给你建议时，我认为正确的答案就是让用户自己选择。任何我想从我的AI助手的记录中删除的东西，我希望能去掉。如果我不想让它记住任何东西，我也想要这个功能。你和我可能对隐私和实用性之间的权衡有不同的看法，这完全没问题。但我觉得答案就是让用户轻松选择，同时公司应该对用户的选择有高度的透明度，因为过去有

55:32

where we celebrate a bit more you've given Chad GPT the ability to have memories

些公司在这方面有点不透明——比如，他们默认收集你所有数据，然后说用于广告之类的正当理由，但对细节却不够透明。这完全没错。你之前提到我在屏蔽十一月那件事，只是逗你玩。嗯，我觉得那件事非常创伤，确实让我停滞了很长一段时间。那绝对是我工作中最难熬的部分——就是在那段时间里继续工作，因为我得试着回到这里，把碎片拼凑起来，而当时我处于震惊和痛苦之中。而且说实话，没人在乎这些。团队给了我一些宽容，我没有达到正

55:37

you've been playing with that about previous conversations and also the ability to

常的工作水平，但有一段时间，我真的觉得同时处理这两件事太难了。不过有一天早上我醒来，心想：这对我来说是一件可怕的事，我可以永远像个受害者一样，或者我可以告诉自己，这是我一生中最重要的任务，我需要回到它上面。这并不意味着我压抑了它，因为有时候我半夜醒来还会想到它，但我确实感到有责任继续前进。说得真好，但可能还有些残留的东西——比如我会担心的那些。

55:42

turn off memory I wish I could do that sometimes just turn on and off

他们可能不会真的走到那一步，但实际体验上会感觉像那样

55:47

depending I guess sometimes alcohol can do that but not not in uh not optimally

。但我知道，一旦我们用上了，就真的不想回去了。是的，

55:52

I suppose uh what what have you seen through that like playing around with that

甚至说十年后“数十亿”这个说法可能都显得很蠢，因为到

55:57

idea of remembering conversations and not we're very early in our Explorations here but I

时候会是“数万亿”甚至更多。肯定会有某种突破，让人感

56:02

think what people want or at least what I want for myself is a model

觉像是无限上下文。但即使是120，老实说，我还没真正

56:07

that gets to know me

去测试过它的极限。

56:08

and gets more useful to me over time this is an early exploration um I

并且随着时间推移，它对我越来越有用。这算是一个早期的探索吧，我觉得还有很多其他事情可以做，但这就是你希望的方向——你希望使用一个模型，或者一个由多个模型组成的系统，在你的一生中，它变得越来越好。对，这个问题有多难？因为现在它更像是记住一些小事实和偏好之类的。那关于记忆呢？比如你难道不希望GPT记住你11月经历的所有事情，还有那些

56:13

think there's like a lot of other things to do but that's where you'd like

戏剧性的事件吗？因为你现在明显有点在刻意回避。不只是希望它记住，我还希望它能从那些经历中总结经验，并在未来提醒我该怎么做不同的事，或者该注意什么。你知道，我们每个人在一生中都会从经历中有所收获，程度不同，而我希望我的AI智能体也能随着这些经历一起成长。所以如果我们回头想象一下，如果有数万亿的上下文长度，我可以把一生中与任何人进行

56:17

to head you know you'd like to use a model and over the course of

的每一次对话都放进去，可以把所有输入输出的邮件都放进上下文窗口，每次我问问题的时候都能调用这些信息，那会非常酷。我觉得是的，那会非常酷。有些人听到这个可能会担心隐私问题。你怎么看这方面？当AI变得更有效，真正整合了你所有的经历和数据，并给你建议时，我认为正确的答案就是让你自己选择。你知道，任何我想从记录中删除的东西，我希望能够去

56:22

your life or use a system be many models and over the course of your

掉；如果我不想让它记住某些东西，我也希望有这个选项。你和我可能对于自己的AI在隐私与效用之间的权衡有不同的看法，这完全没问题。但我觉得答案就是让用户轻松选择。不过公司应该对用户的选择有高度的透明度，因为过去有些公司在这一点上有点含糊其辞，比如默认收集你所有的数据，然后用来做广告之类的，但具体细节并不透明。这完全没错。你之前提到我

56:26

life it gets it gets better and better yeah hard is that problem cuz right

好像在刻意回避11月的事情，只是开个玩笑。嗯，我觉得那确实是一次非常创伤的经历，它让我在很长一段时间里无法行动。那绝对是我工作中遇到的最难的事情——在那段时间里，我必须继续工作，因为我得试着回到这里，把碎片拼凑起来，而当时我正处于震惊和痛苦之中。说实话，没人在乎这些。团队给了我一些宽容，我没有以正常水平工作，但有一段时间，我真的

56:31

now it's more like remembering little factoids and preferences and so on what about

很难同时应对这两件事。不过有一天早上我醒来，心想：这对我来说是一件可怕的事情，我可以永远像个受害者一样自怨自艾，或者我可以告诉自己，这是我一生中最重要的使命，我必须回到它上面。这并不意味着我压抑了它，因为有时候我半夜醒来还会想到它，但我确实感到有责任继续前进。说得真好，但可能还有一些残留的东西。我担心的是……

56:35

remembering like don't you want GPT to remember all the you went through in November

记得吧，你难道不希望GPT记住你十一月经历的所有事，还有那些戏剧性事件？因为你现在明显在选择性遗忘。我不只是希望它记住，我还希望它整合那些教训，并在未来提醒我该怎么做不同的事，或者该注意什么。你知道，我们都在人生经历中不同程度地积累经验，我希望我的AI agent也能随着这些经验一起成长。所以如果我们回溯一下，想象一下万亿级别的context长度——如果我能

56:40

and all the all the drama and then you cuz right now you're clearly blocking

把我这辈子和任何人所有的对话都放进去，如果我能把我所有的邮件、所有的输入输出都放进context window里，每次我问问题都能调用，那会挺酷的。我觉得是的，那会很酷。有些人听到这个可能会担心隐私问题。你怎么看这个方面？当AI变得更有效，真正整合了你所有的经历和数据，并给你建议时，我认为正确的答案就是让你自己选择。任何我想从我的AI agent记录中删除的东

56:46

it out a little bit it's not just that I want it to remember that

西，我都能拿掉。如果我不想让它记住某些事，我也希望有这个选项。你和我可能对隐私和效用的权衡有不同的看法，这完全没问题。但我觉得答案很简单：用户选择。不过公司应该对用户选择有高水平的透明度，因为过去有些公司在这一点上有点含糊其辞——比如“我们默认收集你所有数据，用于广告等正当用途”，但细节上并不透明。这完全没错。你之前说我好像在屏蔽十一月的事，只是开个玩笑。其实

56:51

I want it to integrate the lessons of that yes and remind me in the

我觉得那件事非常创伤，确实让我瘫痪了很长一段时间。那绝对是我工作中最难熬的事——就是在那段时期里继续工作，因为我得试着回来把碎片拼起来，而当时我处于震惊和痛苦中。而且没人真的在乎这些。团队对我很宽容，我没有达到正常的工作水平，但有一段时间我真的很难同时兼顾两者。不过有天早上我醒来，心想：这对我来说是件可怕的事，我可以永远当个受害者，或者我可以告诉自己，这是我一

56:56

future what to do different differently or what to watch out for and you know

生中最重要的项目，我需要回去继续做。这并不意味着我压抑了它，因为有时候我半夜醒来还会想到它，但我确实觉得有责任继续前进。说得真好，但可能还有些残留的东西。我担心的是，在高度紧张的环境下，比如战时，会发生什么？那就是不信任，你会孤立自己，开始看不清世界。这是人类的问题。你似乎已经迈出了一步，学到了好的教训，感受到了爱，并让爱给你能量，这很好。但可能还有些东西挥

57:02

we

之不去，我有些问题很想问。

57:02

all gain from experience over the course of Our Lives varying degrees and I'd like

我们一生中都会从经历中学习，只是程度不同，我希望我的AI智能体也能随着这些经历一起成长。所以，如果我们回到那个设想，想象一下万亿万亿级别的上下文长度——如果我能把一生中与所有人的对话都放进去，如果我能把所有邮件、所有输入输出都放进上下文窗口，每次我问问题的时候都能调用，那会非常酷。我觉得是，那确实非常酷。

57:07

my AI agent to gain with that experience too um so if we if we

有些人听到这个可能会担心隐私问题，你怎么看这方面？当AI变得越有效，它越能整合你所有的经历和数据，给你建议。我认为正确的答案就是让用户自己选择。任何我想从我的AI智能体记录中删除的东西，我都能删掉；如果我不想让它记住某些事，我也希望有这个权利。你和我可能对隐私和效用之间的权衡有不同的看法，这完全没问题。但

57:12

go back and let ourselves imagine that you know trillions and trillions of context length

我觉得答案很简单，就是让用户自由选择。不过，公司应该对用户的选择有高水平的透明度，因为过去有些公司在这一点上有点含糊其辞——比如“我们默认收集你所有数据，用于广告等正当理由”，但细节上并不透明。这完全没错。你之前提到我屏蔽了十一月的事情，只是开个玩笑。嗯，我觉得那件事非常创伤，确实让我停滞了很长一段时间。

57:16

if I can put every conversation I've ever had with anybody in my life in

那绝对是我工作中最难熬的时期，就是得继续工作，因为我得回到这里，把碎片拼凑起来，而当时我处于震惊和痛苦中。其实没人在乎这些，团队给了我一些宽容，我没有按正常水平工作，但有一段时间，我真的很难同时应付这些。不过有一天早上我醒来，心想：这对我来说是件可怕的事，我可以永远像个受害者一样，或者我可以告诉自己，这是

57:21

there if I can have all of my emails input out like all of my

我一生中最重要的任务，我必须回去继续。这并不意味着我压抑了它，因为我有时半夜会醒来想起它，但我确实觉得有责任继续前进。说得真好，但可能还有些残留的东西。我担心的架构问题是，我们现在看到LLM上的那一层是什么？是在LLM之上加一层吗？我可以想象很多实现方式，但这不如你提出的问题重要：我们是否需要一种更慢的思

57:26

input output in the context window every time I ask

考方式，答案不必那么快出来？就像精神层面来说，你希望AI能对更难的问题分配更多算力。比如，如果你问系统一个“OAS定理的证明”对比“今天是什么日期”，除非它已经知道并记住了证明的答案，否则它得去推导出来。

57:29

question that'd be pretty cool I think yeah I think that would be very cool

这些模型有时候会胡编乱造，如果是关键任务，

57:33

um people sometimes will hear that and be concerned about privacy is there what what

你必须去核实。但记者们似乎不明白这一点。我

57:37

what do you think about that aspect of it the more effective the AI becomes

见过记者半吊子地用GPT来写东西。在我想吐

57:41

it really integrating all the experiences and all the data that happened to you and

槽记者的那一长串事情里，这还不是我最主要的

57:45

give you advice I think the right answer there is just use your choice you

批评。嗯，我觉得更大的批评可能是，记者的工

57:49

know anything I want stricken from the record for my AI agent I w't be

作压力和激励机制就是要做得非常快，而这是一

57:54

able to

个……

57:54

like take out if I don't want it to remember anything I want that too

比如说，如果我不想让它记住任何东西，我也希望有这个选项。你和我可能对我们自己AI的隐私与效用权衡有不同的看法，这完全没问题。但我觉得答案其实很简单，就是让用户自己选择。不过公司应该对用户的选择保持高度透明，因为过去有些公司在这一点上挺含糊的，比如默认我们在收集你所有数据，然后用来做广告之类

57:59

you and I may have different opinions about where on that privacy utility tradeoff for

的，但具体细节却不透明。这确实是真的。你之前提到我在屏蔽十一月的事情，只是开个玩笑。嗯，我觉得那件事非常创伤，确实让我很长一段时间动弹不得。那段时间我工作中最难的部分就是得继续干下去，因为我得试着回来把碎片拼起来，而自己却处于震惊和痛苦中。而且说实话，没人在乎这个。团队对我很宽容，我也没有

58:04

our own AI you want to be which is totally fine but I think the

达到正常的工作水平，但有一段时间我真的很难同时应付这两件事。不过有一天早上我醒来，心想：这对我来说是件可怕的事，我可以永远像个受害者一样，或者我可以告诉自己，这是我一生中最重要的作品，我需要回去继续。这并不意味着我压抑了它，因为有时候我半夜醒来还会想到它，但我确实觉得有责任继续前进。说得真

58:09

answer is just like really easy user choice but there should be a some high

好，但可能还有些残留的东西。我担心的是架构上的问题，就像我们现在看到的LLM，是不是在LLM上面加了一层？我可以想象很多实现方式，但我觉得这不如你提到的那个问题重要：我们是否需要一种更慢的思考方式，答案不需要那么快出来。就像精神层面来说，你希望AI能对更难的问题分配更多计算资源。比如你问一

58:13

level of transparency from a company about the user Choice cuz sometimes company in the

个系统关于OAS定理的证明，和问今天是什么日期，除非它已经记住答案了，否则它得去推导出来。这对我来说很有趣，感觉一切都是连续的。这是你一直在说的一个主题：基本上是在逐渐爬一个指数斜坡。但从外部视角来看，对我来说，感觉确实有跳跃，但对你来说没有。我确实在想我们是否应该……我们部署的方式有一部

58:18

past companies in the past have been kind of shady about like

分原因是我们认为……庆祝生日，我不知道你认不认识人类，但他们有里程碑。我确实认识一些人类，人们喜欢里程碑。我完全理解，我们也喜欢里程碑，比如宣布胜利然后开始下一件事很有趣。但我觉得我们在这方面有点搞错了。那么，GPT-5什么时候出？

58:22

yeah we're it's kind of presumed that we're collecting all your data and we're using

是啊，大家都默认我们在收集你所有的数据，然后用来做广告什么的，但具体细节完全不

58:27

it for a good reason for advertisements and so on but there's not a transparency

透明。这确实是真的。你之前提到，我把十一月那件事屏蔽掉了，就是在逗你。我觉得那件

58:32

about the details of that that's totally true you know you mentioned earlier that I'm

事真的很创伤，确实让我停滞了很长时间。我可以永远当个受害者，或者我可以说，这是我

58:37

like blocking out the November stuff just teasing you well I mean I think it

一生中最重要的任务，我必须回去继续做。这不代表我压抑了它，因为我有时候半夜还会

58:42

was a very traumatic thing and it did immobilize me for a long period of

醒来想到它，但我确实觉得有责任继续往前走。说得真好，但可能还有些残留的东西没处理

58:47

time like definitely the

，比如我会担心的是……

58:48

hardest like the hardest work thing I've had to do was just like keep working

这个问题挺酷的。我觉得，是啊，

58:52

that period because I had to like you know try to come back in here

那会非常酷。嗯，有时候人们听到这

58:55

and put the pieces together while I was just like in sort of shock and

个会担心隐私问题。你对这方面怎

58:59

pain and you know nobody really cares about that I mean I the team gave

么看？AI越有效，就越能整合你所

59:03

me a pass and I was not working on my normal level but there was

有的经历和数据，给你建议。我觉得

59:06

a period where I was just like it was really hard to have to do

正确的答案就是让你自己选择。你

59:10

both but I kind of woke up on the morning and I was like this

知道，任何我想从我的AI代理记录

59:13

was a horrible thing to happen to me I think I

里删除的东西，我都能……

59:16

could just feel like a victim forever uh or I can say this is like

这些模型有时候会幻觉，如果是关键任务，你必

59:20

the most important work I'll ever touch in my life and I need to get

须去核实。但记者们似乎不明白这一点。我看到记

59:24

back to it and it doesn't mean that I've repressed it because sometimes I wake

者们半吊子地用GPT做事情。在我很长一串想吐

59:28

from the Middle the night thinking about it but I do feel like an obligation

槽记者的事情里，这还不是我最主要的批评。我觉

59:32

to keep moving forward well that's beautifully said but there could be some lingering stuff

得更大的批评可能是，记者的压力和激励机制是必

59:37

in there like what I would be concerned about

须工作得特别快，而这东西……

59:39

is that trust thing that you mentioned that being paranoid about people uh as opposed

你说的那个信任问题——对别人保持警惕，而不是完全相信所有人或大多数人，靠直觉行事——这确实是个微妙的平衡。我业余时间深入研究过扎恩斯政府、普京政府，以及战时高压环境下的动态，结果发现，不信任会让你自我孤立，逐渐看不清世界的真相。这是个值得警惕的问题，人类普遍存在的问题。你似乎已经迈过了那道坎，学到了好的教训，感受到了爱，也让爱给了你能量，这很好，但那种不信任感可能还会残留。我有些问题很想问问你的直觉：GPT 目前对每个

59:47

to just trusting everybody or most people like using your gut it's a tricky dance

生成的 token 分配大致相同的计算量，在这种模式下，有没有空间实现更慢、更循序渐进的思考？我觉得会有一个新的范式来处理这种思考。它会和我们现在看到的 LLM 在架构上类似吗？还是说它是 LLM 之上的一层？我能想象很多种实现方式，但我觉得这不如你真正想问的那个问题重要——我们是否需要一种更慢的思考方式，让答案不必那么快给出？就像，从精神层面来说，你希望 AI 能对更难的问题思考得更深入，而对简单的问题回答得更快。我认

59:54

for sure I mean because I've seen in in my part time Explorations I've been

为这很重要。这是不是我们人类的一种直觉——你应该能深入思考？这个直觉错了吗？我猜这个直觉是合理的。有意思。所以是不是说，等 GPT 到了 GPT-7 的时候，它就能瞬间给出答案，比如“这是从某某定理推导出的证明”？在我看来，你希望系统能把更多计算资源分配给更难的问题。比如，你问系统“从 OAS 定理推导出的证明”和“今天几号”，除非它已经记住了证明的答案，否则它得自己去推导，这显然需要更多计算。那它会不会看起来像是一个

60:02

diving deeply into the zans administration the Putin Administration and the Dynamics there in

LLM 在自言自语？也许吧。有很多种可能的方式，但什么才是正确或最好的方式，我们还不确定。这让我想起了那个神秘的 Qar 项目。这个神秘的 Qar 项目到底是什么？它也在那个核设施里吗？没有核设施。说这话的人通常就是有核设施的人。我真希望有个秘密核设施。真没有。好吧，也许有一天。也许有一天。好吧，可以梦想一下。OpenAI 可不是个擅长保密的好公司。要是能保密就好了，我们一直被各种泄露困扰。

60:09

Wartime in a very highly stressful environment and what happens is distrust and you isolate

战时那种高压环境，人会产生不信任感，把自己

60:14

yourself both and you start to not see the world clearly and that's a concern

孤立起来，然后看世界就不清楚了——这是人类共

60:20

that's a human concern you seem to have taken a stride and kind of learned

通的担忧。你似乎已经迈过了那道坎，学到了好的

60:25

the good lessons and felt the love and let the love energ you which is

教训，感受到了爱，也让爱给了你能量，这很好，

60:30

great but still can linger in there there's just some questions I would love

但那种情绪可能还会残留。我还有些问题想问。

60:35

to ask your intuition about what's GPT able to do a not so it's allocating

用你的直觉来判断，GPT 能做什么、不能做什么——它目前对每个生成的 token 分配大致相同的计算量。在这种方法里，有没有空间去做那种更慢的、序列式的思考？我觉得会有一个新的范式来处理那种思考。那它在架构上会和我们现在看到的 LLM 类似吗？还是说它是 LLM 之上的一层？嗯，我能想象很多种实现方式。我觉得这其实不如你刚才问的那个问题重要，就是：我们是不是需要一种更慢的思考方式，让答案不需要那么快出来？就像……精神层面来说，你希望

60:41

approximately the same amount of compute for each token it generates is there room there

一个 AI 能对更难的问题想得更久，对更简单的问题回答得更快。我觉得这很重要。这就像我们人类思考一样——你应该能深入思考。这个直觉错了吗？我猜这个直觉是合理的。有意思。所以是不是说，等 GPT 到了 GPT-7 的时候，它就能瞬间看出“喏，这是某个定理的证明”？对我来说，你似乎希望系统能把更多计算资源分配给更难的问题。比如你问它“OAS 定理的证明”和“今天几号”，除非它已经记住并背出了证明的答案，否则它得自己去推导出来——这显然需要

60:47

in this kind of approach to slower thinking sequential thinking I think there will be

更多计算。那它会不会看起来像是 LM 在跟自己对话？有可能。我能想象很多可能有效的方法。至于哪种方法最好，我们还不确定。这让我想起那个神秘的 QAR 项目。QAR 到底是什么神秘项目？它也在那个核设施里吗？没有核设施。嗯，有核设施的人都会这么说。我倒希望有个秘密核设施，但真没有。好吧，也许有一天。有一天吧，可以做梦。OpenAI 不太擅长保密。要是能保密就好了，我们一直被这个问题困扰。这是一个我们想追求的重要方向，但我们还没破解这个难

60:54

a new paradigm for that kind of thinking will it be similar like

题。我们对此非常感兴趣。未来会不会有像 GPT 那样的飞跃时刻，不管是 QAR 还是别的什么？好问题。我对这个怎么看呢？对我来说，一切感觉都很连续。你一直在说的一个主题就是：这是一个渐进的过程，基本上是在慢慢爬一个指数级的斜坡。但从外部视角来看，对我来说，看着它确实感觉有飞跃，但对你来说没有。我确实在想，我们是不是应该……我们之所以这样部署，部分原因是我们认为——我们称之为——

60:59

architecturally as what we're seeing now with llms is it a layer on top of

是啊，我们基本上默认我们在收集你所有的数据，而且是为了正当理由，比如广告之类的。但具体细节并不透明。这完全没错。你之前提到，我在屏

61:04

the llms uh I can imagine many ways to implement that I think that's less

蔽十一月那件事，只是开个玩笑。嗯，我觉得那件事非常创伤，确实让我瘫痪了很长一段时间。绝对是……那段时间最难的工作就是继续工作，因为

61:09

important than the question you were getting at which is do we need a way

我得试着回来，把碎片拼起来，而我自己还处于震惊和痛苦中。你知道，没人真的在乎这个。我的团队给了我一些宽容，我当时的工作状态也不正常，

61:14

to do a slower kind of thinking where the answer doesn't have to get like

但有一段时间我真的觉得同时应付这两件事太难了。不过有天早上我醒来，心想，这对我来说是一件可怕的事，我可以永远当个受害者，或者我可以

61:19

you know it's like like I guess like spiritually you could say that you want

告诉自己，这是我一生中做过的最重要的工作，我需要回去继续。这不代表我压抑了它，因为有时候我半夜还会想起它，但我确实觉得有义务继续前

61:24

an AI to be able to

进。说得真好，但可能还有些残留的东西。我会担心的是……

61:26

think harder about a harder problem and answer more quickly about an easier problem and

从架构上看，我们现在看到的LLM，是在LLM上面再加一层吗？我能想象很多种实现方式，但这可能不如你提的那个问题重要：我们是不是需要一种

61:31

I think that will be important is that like a human thought that we're just

更慢的思考方式，让答案不用那么急着出来？就像，从精神层面来说，你希望AI能对更难的问题想得更久，对简单的问题回答得更快。我觉得这很重要—

61:36

having you should be able to think hard is that wrong intuition I suspect that's

—这就像我们人类正在思考的一个念头：你应该能深入思考。这个直觉错了吗？我觉得这个直觉挺合理的。有意思。那是不是说，等GPT到了GPT-

61:41

a reasonable intuition interesting so it's not possible once the GPT gets like gpt7 we

7，它就能瞬间给出某个定理的证明？在我看来，你其实是希望系统能把更多算力分配给更难的问题。比如你问系统一个像OAS定理的证明，和问它今天

61:45

just be instantaneously be able to see you know here's here's the proof of from

几号——除非它已经记住了证明的答案，否则它得自己去推导，那显然需要更多算力。但这是不是就变成了LLM自己跟自己对话那种形式？也许吧。我

61:50

our theum it seems to me like you want to be

能想象很多可能奏效的方式，但什么才是正确或最好的方法，我们还不确定。这让我想起了Q*背后的神秘传说。

61:54

able to allocate more compute to harder problems like it seems to me that a

能够把更多算力分配给更难的问题——比如你问一个系统，要证明OAS定理，和问它今天是什么日期，如果它之前没记住

62:01

system knowing if if you ask a system like that proof from OAS theorem versus

答案，那就得自己去推导出来。人们庆祝生日，我不知道你认不认识人类，但他们确实有这些里程碑。我确实认识一些人类，

62:09

what's today's date unless it already knew and had memorized the answer to the proof

大家喜欢里程碑，我完全理解。我觉得我们也喜欢里程碑，比如宣布一个胜利，然后开始下一件事，挺有意思的。但我觉得

62:16

assuming it's got to go figure that out

我们有点搞错了方向，所以GPT-5到底什么时候出？我不知道。

62:20

seems like that will take more compute but can it look like a basically LM

那个神秘的Q*项目到底是什么？它也在同一个核设施里吗？—

62:26

talking to itself that kind of thing maybe I mean there's a lot of things

—没有核设施。嗯，有核设施的人都会这么说。我倒真想有个秘

62:32

that you could imagine working what like what the right or the best way to

密核设施，但真没有。好吧，也许有一天，有一天。行吧，可以做

62:38

do that will be uh we don't know this does make me think of the

梦。OpenAI不太擅长保密。要是能保密就好了，我们一直

62:44

mysterious the lore behind

被这个问题困扰。

62:45

qar what's this mysterious qar project is it also in the same nuclear facility uh

qar 这个神秘的 qar 项目到底是什么，它也在那

62:51

there is no nuclear facility M that's what a person with a nuclear facility always

个核设施里吗？呃，根本没有什么核设施。说这种话的人就

62:56

says I would love to have a secret nuclear facility there isn't one all right

是自己藏了个核设施。我倒真想有个秘密核设施，可惜没有。

63:01

uh maybe someday someday all right one can drink open AI is not a good

好吧，也许有一天吧。OpenAI 可不是个能保守秘密

63:06

company at keeping secrets it would be nice you know we're like been plagued

的公司，要是能保密就好了，我们一直被这个问题困扰。

63:11

by a lot of leaks and it would be nice if we were able to

由于大量泄密，如果能有个类似的东西就好了。你能讲讲 QAR 是什么吗？我们还没准备好谈这个。但这样的回答意味着确实有东西可谈，非常神秘，Sam。我的意思是，我们在做各种研究，我们一直说，我们认为让这些系统拥有更好的推理能力是一个重要的方向，我们想朝这个方向努力。我们还没破解这个难题，我们对此非常感兴趣。会不会有像 QAR 或者其他什么时刻，出现类似 jGPT 那样的飞跃？你会觉得，嗯，这是个好问题

63:17

have something like that can you speak to what qar is we are not ready

。我怎么看呢？对我来说有趣的是，这一切感觉相当连续，对吧。你一直在说一个主题，就是逐渐的，你基本上是在逐渐爬一个指数级的斜坡。但从局外人的角度看，对我来说，只是观察的话，确实感觉有飞跃，但对你来说却没有。我确实在想，我们是不是应该……你知道，我们之所以这样部署，部分原因是我们认为，我们称之为迭代部署。我们不是秘密研发直到做出 GPT 5，而是决定谈论 GPT 1、2、3 和 4。部分原因是，我认为

63:22

to talk about that see but an answer like that means there's something to talk

AI 和 surprise 不应该放在一起，而且世界、人们、机构，不管你怎么称呼，都需要时间来适应和思考这些事情。我认为 OpenAI 做得最好的事情之一就是这个策略，我们让世界关注进展，认真对待 AGI，思考我们想要什么样的系统、结构和治理，而不是等到迫在眉睫、不得不仓促做决定的时候。我认为这非常好。但像你和其他人说的，你们仍然觉得有这些飞跃，这让我觉得也许我们应该更迭代地发布，甚至更多。我不知道

63:27

about it's very mysterious Sam I mean we work on all kinds of research uh

那意味着什么，我没有现成的答案，但我们的目标不是给世界带来震惊的更新，恰恰相反。是的，当然，更迭代会很好。我认为这对每个人都很好，但这就是我们正在努力做的，这就是我们的策略状态。我觉得我们 somehow 没达到目标，所以也许我们应该考虑用不同的方式发布 GPT 5，或者类似的东西。对，4.71、4.72。但人们喜欢庆祝，人们庆祝生日，我不知道你认不认识人类，但他们就是有这些里程碑。我确实认识一些

63:33

we have said for a while that we think better reasoning in these systems

人类。人们确实喜欢里程碑。我完全理解，我觉得我们也喜欢里程碑，宣布在这个上面胜利然后开始下一件事很有趣。但没错，我觉得我们 somehow 在这件事上有点搞错了。那么，GPT 5 到底什么时候出？我不知道，这是诚实的回答。哦，这是诚实的回答？如果今年出，你就眨两下眼。我们今年会发布一个 amazing 的模型，我不知道会叫什么名字。这就回到了那个问题，我们用什么方式发布它。

63:38

is an important direction that we'd like to pursue we haven't cracked the code yet

这是一个我们想追求的重要方向，但我们还没破解这个难题。我们对它很感兴趣。那会不会有像Q*或者其他类似的时刻，出现像GPT

63:45

uh we're we're very interested in it is there going to be moments qar or

那样的飞跃？你对此怎么看？这是个好问题。我觉得一切都挺连续的，对吧？你一直在说一个主题，就是它是渐进的——你基本上是在慢

63:51

otherwise where there's going to be leaps similar to jgpt where you're like that's a

慢爬一个指数级的斜坡。但从外部视角来看，对我来说，看着它确实感觉有飞跃，但对你来说却没有。我确实在想，我们是不是应该……

63:58

good question um what do I think about

我们之所以用现在这种方式部署，部分原因是我们认为——我们称之为——

64:04

that it's interesting to me it all feels pretty continuous right this is kind of

这对我来说挺有意思的，感觉一切都很连续。这好像是你一直在说的一个主题——就是逐渐地、基本上是在慢慢爬一个

64:09

a theme that you're saying is there's a gradual you're basically gradually going up an

指数级的斜坡。但从外部视角来看，对我来说，光是看着就觉得确实有跳跃式的突破，但对你来说却没有。我确实在想，

64:15

exponential slope but from an outsider perspective for me just watching it that it does

我们是不是应该……你知道，我们之所以这样部署，部分原因是我们觉得——我们管它叫“庆祝人的里程碑”，庆祝生

64:20

feel like there's leaps but to you there isn't I do wonder if we should

日什么的。我不知道你认不认识人类，但他们就是喜欢这些里程碑。我确实认识一些人类，嗯，人们喜欢里程碑。我完全

64:25

have so you know part of the reason that we deploy the way we do

理解，我觉得我们也喜欢里程碑。宣布在某件事上取得胜利，然后开始下一件事，这挺有意思的。但我觉得我们在这点

64:30

is that we think um we call it

上可能有点搞错了。所以，GPT-5到底什么时候出？我不……

64:33

iterative deployment we uh rather than go build in secret until we got all the

迭代部署，我们呃，没有选择秘密研发直到直接做出GPT 5，而是决定逐步推出GPT 1、2、3和4。部分原因在于，我认为AI和 surprise 不应该放在一起，而且世界、人们、机构——不管你怎么称呼——需要时间去适应和思考这些事情。我觉得OpenAI做得最好的事情之一就是这个策略，我们让全世界关注进展，认真对待AGI，在被迫匆忙做决定之前，先想好我们想

64:38

way to GPT 5 we decided to talk about GPT 1 2 3 and 4

要什么样的系统、结构和治理。我认为这非常好。但像你和其他人说的，你们仍然觉得有这些跳跃式的变化，这让我觉得也许我们应该做得更迭代一些，甚至更频繁地发布。我不知道那具体意味着什么，我也没有现成的答案，但我们的目标不是给世界带来震惊式的更新，而是相反。对，当然，更迭代会非常棒，我觉得这对所有人都好，但这就是我们正在努力的方向，也是我们策略的核心。然而我觉得我

64:42

and part of the reason there is I think Ai and surprise don't go together

们 somehow 没达到目标，所以也许我们应该想想，比如用不同的方式发布GPT 5之类的。对，4.71、4.72这样。但人们喜欢庆祝，人们庆祝生日，我不知道你认不认识人类，但他们就是有这些里程碑。我确实认识一些人类，人们确实喜欢里程碑。我完全理解，我们也喜欢里程碑，宣布在某件事上胜利然后开始下一件事，这很有趣。但我觉得我们在这方面有点搞错了。那么，GP

64:46

and also the world people institutions whatever you want to call it need time to

T 5到底什么时候出？我不知道，这是实话。哦，这是实话？眨两下眼如果是今年的话。我们今年会发布一个很棒的模型，但我不确定会叫什么名字。所以这又回到了那个问题：我们用什么方式发布它？嗯，不管最终叫什么，我们就叫它GPT 5吧，有趣的是问一下，最大的挑战和瓶颈是什么？是计算方面，还是技术方面？总是所有这些。我，呃，你知道，最大的突破是什么？是更大的计算机？

64:50

adapt and think about these things and I think one of the best things that

是一个新的秘密？还是别的什么？嗯，是所有这些东西加在一起。OpenAI做得好的地方，我认为是……不同的团队等等，他们怎么把中等规模的东西整合成一个巨大的Transformer？有少数人需要思考如何把整个东西拼在一起，但很多人试图在脑子里保持全局画面。哦，像单个团队、单个贡献者，他们尽量保持高层次的视角。对，你当然不会知道每个部分具体怎么运作。但我一般相信

64:55

open ey has done is this strategy and we we get

，有时候退一步看全局是有用的。我以前有一个我觉得非常有价值的东西，就是我对整个科技行业的大部分前沿领域有一个清晰的地图，有时我能看到这些联系或者新的可能性，如果我仅仅深耕一个领域，我就不会有这些想法，因为我不会有所有数据。但现在我不再有那么多了，我现在非常深入。

64:58

the world to pay attention to the progress to take AGI seriously to think about

全世界都应该关注进展，认真对待AGI，想想我们希望在系统、结构和治理上提前做好什么准备，而不是等到迫在眉睫时才仓促做决定。我觉得这很好，但像你和其他人说的，你们仍然觉得会有这些跳跃式的进展，这让我觉得也许我们应该做得更迭代一些，甚至更频繁地发布。我不知道那具体意味着什么，我也没有现成的答案，但我们的目标不是给世界带来震惊式的更新——恰恰相反。对，没错，更迭代一点会非常好。我觉得这对所有人都很美

65:03

what systems and structures and governance we want in place before we're like under the

好，而这正是我们努力的方向，也是我们的战略核心。但我感觉我们好像还没做到位，所以也许我们应该想想，比如用不同的方式发布GPT-5之类的。对，4.71、4.72，但人们总是喜欢庆祝，喜欢过生日——我不知道你认不认识人类，但他们就是喜欢这些里程碑。我确实认识一些人类，嗯，人们确实喜欢里程碑。我完全理解，我觉得我们也喜欢里程碑，宣布“这个搞定了”然后开始下一件事，确实挺有趣的。但没错，我感觉我们在这方

65:07

gun and have to make a rust decision I think that's really good but the

面有点没做对。所以，GPT-5到底什么时候出？我不知道，这是实话。哦，这是实话？那如果是今年的话就眨两下眼。我们今年会发布一个很棒的模型，但我不确定会叫什么名字。这就引出了一个问题：我们到底该以什么方式发布它？嗯，不管它最后叫什么，最大的挑战和瓶颈是什么？我们就叫它GPT-5吧，问一下：是算力方面的瓶颈，还是技术方面的瓶颈？总是所有这些因素都有。我之前在想，那个最大的突破点是什么？是更大的计算

65:12

fact that people like you and others say um you still feel like there are

机？是某个新秘密？还是别的什么？嗯，是所有这些因素加在一起。我觉得OpenAI真正擅长的是……让不同的团队紧密协作，等等。那些中等规模的东西是怎么整合成一个巨大的Transformer的？这需要少数人去思考如何把整个东西拼在一起，但很多人试图在脑子里保持全局图景。哦，就像各个团队、各个贡献者尽量从宏观层面去理解。对，你当然不可能知道每个部分具体怎么运作。但我一直相信的一点是，有时候退一步看看全局

65:17

these leaps makes me think that maybe we should be doing are releasing even more

是有用的。我以前有一个特别有价值的东西，就是我对整个科技行业的大部分前沿领域都有一张很好的地图，有时候我能看到一些连接点，或者一些新的可能性——如果我只深耕一个领域，我不会有这些想法，因为我缺少所有数据。但现在我基本没有那种全局视野了，我现在陷得太深了。呃，那是别人说的。哦，但你刚才说……可能八个？我觉得好吧，我玩了个梗，就像世界上有 misinformation 一样。哦，你玩梗，但 mis

65:21

iteratively I don't know what

information 可能也有点洞察的基础。你看，我觉得算力会是未来的货币，它可能会成为世界上最珍贵的商品，我认为我们应该大力投资。

65:23

that would mean I don't have an answer ready to go but like our goal

我觉得挺有意思的，这一切对我来说感觉非常连

65:27

is not to have shock updates to the world the opposite yeah for sure more

续，对吧。你一直在说一个主题，就是你们基本上

65:32

it iterative would be amazing I think that's just beautiful for everybody but that's what

是在逐渐爬一个指数级的斜坡，但从外部视角来看

65:36

we're trying to do that's like our state of the strategy and I think we're

，我作为旁观者感觉确实有跳跃，但对你来说没有

65:41

somehow missing the mark so maybe we should think about you know releasing GPT 5

。我确实在想我们是不是应该——你知道，我们之

65:45

in a different way or something like that yeah 4.71 4.72 but people tend to

所以这样部署，部分原因是我们认为——我们管它

65:49

like to

叫——

65:50

celebrate people celebrate birthdays I don't know if you know humans but they kind of

庆祝啊，人们庆祝生日。我不知道你认不认识人类，但他们

65:55

have these milestones and all I do know some humans um people do like Milestones

就是有这些里程碑。我确实认识一些人类，嗯，人们确实喜

66:00

I uh I totally get that I think we like Milestones too it's like fun

欢里程碑。我完全理解，我觉得我们也喜欢里程碑。就是那

66:05

to you know say declare Victory on this one and go start the next thing

种，你懂的，宣布在这一件事上胜利了，然后开始下一件事，

66:10

but but yeah I feel like we're somehow getting this a little bit wrong so

挺有意思的。但嗯，我觉得我们好像有点搞错了。所以，G

66:15

uh when is gp5 coming out again I don't

PT-5到底什么时候出？我不……

66:18

know that's honest answer oh that's the honest answer is it blink twice if it's

那意味着我还没准备好答案，但我们的目标不是给世界带来震惊式的更新，恰恰相反。是的，当然。迭

66:26

this year I also we will release an amazing model this year I don't know

代式的方式会非常棒，我觉得对所有人都好，这也是我们努力的方向，是我们的战略核心。但我感觉我们

66:34

what we'll call it so that goes to the question of like what what's the

有点没做到位，所以也许我们应该想想，比如用不同的方式发布 GPT-5。对，4.71、4.72

66:42

way we release this

这样。但人们喜欢庆祝——

66:44

thing we'll release over in the coming months many different things uh I think they'll

未来几个月我们会发布很多东西，很多不同的东西

66:49

be very cool uh I think before we talk about like a gp5 like model

，我觉得会非常酷。我觉得在讨论像GPT-5这样

66:53

called that or called or not called that or a little bit worse or a

的模型之前——不管它叫不叫这个名字，或者比大家

66:57

little bit better than what what you'd expect from a gbt 5 I think we

期待的GPT-5稍微差一点或好一点——我们还有

67:02

have a lot of other important things to release first I don't know what to

很多其他重要的事情要先发布。我不知道GPT-5

67:06

expect from GPT 5 you're making me nervous and excited

会是什么样，你让我又紧张又兴奋。

67:09

uh what are some of the biggest challenges in bottlenecks to overcome for whatever it

嗯，不管它最后叫什么，就暂且叫它 GPT-5 吧，最大的瓶颈和挑战是什么？是算力方面，

67:14

ends up being called but let's call it GPT 5 just interesting to ask what

还是技术层面，还是所有这些问题？我一直想问，那个最大的突破口到底是什么？是更大的计算机

67:18

are is it on the compute side is in the technical side always all of

，还是某个新秘密，还是别的什么？嗯，其实是所有这些因素加在一起。我觉得 OpenAI

67:23

these I was I I was you know what's the one big unlock is it

真正擅长的，而且曾经非常有价值的一点是，我过去对整个科技行业的大多数前沿领域都有一张清

67:27

is it a big bigger computer is it like a new secret is it something

晰的地图，有时候我能看到这些领域之间的联系，或者发现一些新的可能性。如果我只深耕一个领

67:32

else um it's all of these things together like the thing that openi I think

域，我根本不会有这些想法，因为我缺少所有数据。但现在我已经没有那种视野了，我变得非常深

67:37

does really

入某个方向。

67:37

well this is actually an original ILO quote that I'm going to butcher but it's

不管它最终叫什么名字，我们就先叫它GPT-5吧，想问一下，最大的挑战和瓶颈是什么？是算力方面，还是技术方面，还是所有这些？我其实想说，那个最大的突破口是什么？是更大的计算机，还是一个什么新秘密，还是别的什么？其实是所有这些加在一起。OpenAI做得特别好的一点——这其

67:43

something like we multiply 200 mediumsized things together into one giant thing so there's this

实是原版ILO的名言，我可能会说走样——大概就是我们把200个中等大小的东西乘在一起，变成一个巨大的东西。所以这是一种持续的分布式创新。对，即使在技术层面，尤其是技术层面，连细节方法也是，比如每个细节方面，不同团队之间怎么协作，那些中等大小的东西怎么整合成一个巨大的T

67:49

uh distributed constant Innovation happening yeah so even on the technical side like uh especially

ransformer？有少数人需要思考怎么把整个东西拼起来，但很多人试图把整体图景记在脑子里。对，各个团队、各个贡献者会尽量保持一个高层次的认知。你当然不可能知道每个部分具体怎么运作，但我一直相信一点，有时候退一步看看整张地图是很有用的。我觉得这对技术问题、对商业创新

67:55

on the technical side so even like detailed approach it like detailed aspects of every

都是如此。事情会以意想不到的方式组合在一起，理解那个整体图景——即使大部分时间你只深耕一个领域——会带来意想不到的洞察。事实上，我过去有一个我觉得非常有价值的东西，就是我对科技行业的大部分前沿领域都有一张清晰的地图，有时候我能看到这些连接，或者发现一些新的可能性，如果我

68:00

how does that work with different

只是一头扎在一个领域里，我就不会有这些想法，因为我缺少所有数据。但现在我也没有那种能力了，我现在陷得太深了。

68:03

desperate teams and so on like how how do they how do how do the

人们庆祝生日，我不知道你认不认识人类，

68:07

mediumsized things become one whole giant Transformer how does this there's a few people who

但他们就是有这些里程碑。我确实认识一些人

68:11

have to like think about putting the whole thing together but a lot of people

类。人们喜欢里程碑，我完全理解，我觉得我

68:15

try to keep most of the picture in their head oh like the individual teams

们也喜欢里程碑。宣布胜利然后开始下一件事

68:19

individual contributors try to keep at a high level yeah I you don't know exactly

，这挺有意思的。但没错，我感觉我们在这方

68:23

how every piece works of course but one thing I generally believe is that it's

面有点搞错了。所以，GPT-5 到底什么

68:27

sometimes use to zoom out and look at the entire

时候出？我不知道，这是实话。

68:30

map and and I think this is true for like a technical problem I think

但你不再是过去的你了，Sam。现在的工作和以前完全不一样了。说到退一步，我们再退一步，聊点调皮但可能深刻的东西—

68:36

this is true for like innovating in business uh but things come together in surprising

—你发过一条推文，说需要7万亿美元。我没发过那条推文，我从没说过我们要融资7万亿美元什么的。哦，那是别人说的。但你

68:42

ways and having an understanding of that whole picture even if most of the time

说过可能需要8万亿？好吧，我可能玩过一次梗。这世界上就是有 misinformation。你玩梗，但那种 misi

68:48

you're operating in the weeds in one area pays off with surprising insights in fact

nformation 可能是有 insight 基础的。你看，我觉得算力会是未来的货币，它可能会成为世界上最珍贵

68:53

one of the things

的商品，我认为我们应该大力投资。

68:55

that I used to have and I think was super valuable was I used to

我以前有一个我觉得特别有价值的东西，就是我

68:59

have like a a a good map of the all of the front or most

对科技行业里大部分前沿领域——或者说很多前沿

69:04

of the Frontiers in the tech industry and I could sometimes see these connections or

领域——有一个很好的地图。有时候我能看到这

69:08

new things that were possible that if I were only you know deep in one

些连接，或者一些新的可能性，这些如果我只深耕

69:13

area I wouldn't I wouldn't I wouldn't be able to like have the idea for

一个领域的话，是不会有这个想法的，因为我不会

69:17

because I wouldn't have all the data and I don't really have that much anymore

有所有的数据。但现在我基本上没有那个视野了

69:21

I'm like super deep now

，我陷得太深了。

69:23

um but I know that it's a valuable thing you're not the man you used

嗯，但我知道这是件有价值的事。你已经不是当年的你了，Sam。现在的工作跟我以前做的完全不一样了。说到拉远视角，咱们拉远一点，聊聊另一件有点调皮但可能很深刻的事——你发过一条推文，说需要七万亿美元。我没发过那条推文，我从没说过我们在筹七万亿美元什么的。哦，那是别人说的。但你确实说过，可能是八万亿？好吧，我可能发过个meme。这世上就是有 misinformation。你发meme，但那种 misinformation 可

69:28

to be Sam very different job now than what I used to have speaking of

能有点洞察基础吧。我觉得 compute 会是未来的货币，可能是世界上最珍贵的商品，我们应该大力投资。现在智能手机的 SoC 市场每年是三十亿颗。如果你做到三百亿颗，你不会卖出十倍的手机，因为大多数人只有一部手机。但 compute 不一样，intelligence 会更像能源之类的东西。唯一有意义的讨论方式是：在某个价格 X 下，世界会用这么多 compute。价格硬在那里。当然，制造足够的芯片也很难。但这似乎就是趋

69:33

zooming out let's zoom out to uh another cheeky thing but profound thing perhaps that

势——我们需要的 compute 量，现在根本难以想象。你怎么解决能源问题？核能，我相信这个。聚变，我相信这个。核聚变，对。谁会解决这个问题？我觉得 Helion 做得最好，但我很高兴现在大家都在竞争聚变。核裂变呢？我不知道你了解不了解人类，但那是核裂变的一个安全威胁——人类似乎真的很怕它。我们必须把这个因素纳入计算，得争取人们的信任，展示它有多安全。我对 AI 也有这个担忧。我觉得有些事会戏剧性地出问题，被政治化。这

69:38

you said you tweeted uh about needing $7 trillion I did not tweet about that

真的很让我担心，因为可能右派反 AI，左派支持 AI，觉得它能帮助人民之类的。不管叙事和框架是什么，这都很让我担心。而且这种戏剧性可以被充分利用。你怎么对抗这个？我觉得它会被卷入左派 vs 右派的战争。我不确定具体会是什么样子，但我觉得任何重要的事情都会这样。举个例子，大多数人更担心住在核反应堆旁边，而不是煤电厂旁边。但我们大脑的某种机制是，虽然有很多不同类型的风险，那些能成为电影高潮场景的风险，比那些长期缓慢恶化的风险

69:43

I never said like we're raising $7 trillion blah blah

，对我们来说分量重得多。这就是为什么真相很重要。希望 AI 能帮我们看清事物的真相，找到平衡，理解什么是真正的风险，什么是真正的危险，以及竞争中的利弊。跟 Google、Meta、xAI 等公司竞争，我觉得我有一个很直接的答案，可能以后能想到更多 nuance，但好处是显而易见的。

69:47

blah oh that's somebody else yeah oh but you said uh it maybe eight I

blah 那是另一个人吧。嗯，但你刚才说，呃，可能八个，我觉得。我开玩笑说，世界上总有些 misinformation，但你懂的，有些 misinformation 其实可能基于某种 insight。我觉得 compute 会是未来的货币，可能是世界上最珍贵的商品，我们应该大力投资。当然，制造足够的芯片很难，但这看起来就是趋势——我们需要的 compute 量，现在根本难以想象。能源问题怎么解决？核能，

69:52

think okay I meme like once there's like misinformation out in the world oh you

我信这个。Fusion，我信这个。核聚变，对。谁能搞定？我觉得 Helion 做得最好，但我很高兴现在 fusion 领域有竞争。核聚变被政治化了，这让我很担心，因为可能右派反 AI，左派支持 AI，觉得它能帮助人民，不管叙事和说法是什么，这真的让我担心。然后它的戏剧性可以被充分利用。你怎么对抗这个？我觉得它会卷入左派 vs 右派的战争，我不确定具体会是什么样，但我觉得任何重要的事情都会这样。希望 AI

69:57

meme but sort of misinformation may have a foundation of like insight there look I

能帮我们看清真相，找到平衡，理解世界上真正的风险和危险是什么，竞争中的利弊是什么。和 Google、Meta、xAI 以及其他公司竞争，我觉得我有个挺直接的答案，可能以后能想到更多 nuance，但好处很明显，就是这对所有人都有益。那方面不是他最出名的地方。嗯，他以关心人类著称，而人类受益于合作，所以总有注意力、激励和动机，呃，最后我确实希望人类能胜出。我想到，前几天有人提醒我，他超越 Jeff 的那天，

70:02

think compute is going to be the currency of the future I think it will

他真的要接手 Google 20 年前开始的事情，也就是怎么做到……我觉得这很无聊。我的意思是，如果问题是能不能造出比 Google 更好的搜索引擎，那当然，我们应该去做，人们应该用更好的产品。但我认为这大大低估了这件事的可能性。你知道，Google 给你显示 10 条蓝色链接，嗯，大概 13 个广告，然后 10 条蓝色链接，这只是找信息的一种方式。但让我兴奋的不是我们能造一个更好的 Google 搜索

70:07

be maybe the most precious commodity in the world and I think we should be

副本，而是可能有某种更好的方式帮助人们找到、处理并整合信息。实际上，我觉得 ChatGPT 在某些用例上已经做到了。造一个比 Google 更好的搜索引擎，这是个很难的技术问题，很难的品牌问题，很难的生态系统问题。我不觉得世界需要另一个 Google 副本。把 chat client 比如 ChatGPT 和搜索引擎整合起来，这更酷，但 tricky。如果只是简单塞进去，会很 awkward，对，如果硬塞

70:12

investing

进去，确实 awkward。

70:13

heavily to make a lot more compute uh compute is it's an unusual I think

大幅增加算力，呃，算力——我觉得这会是一个不寻常的市场。你知道，人们会想到手机芯片这类

70:18

it's going to be an unusual Market um you know people think about the market

市场，可以说全球有80亿人，大概70亿人有手机，或者60亿，假设每两年换一次新机，那每

70:24

for like chips for mobile phones or something like that and you can say that

年智能手机的SoC市场就是30亿颗。如果你造出300亿颗，也卖不出10倍的手机，因为大

70:30

okay there's 8 billion people in the world maybe seven billion of them have phones

多数人只有一部手机。但算力不一样，智能会更像能源这类东西，唯一有意义的讨论方式是：在某

70:35

maybe or six billion let's say they upgrade every two years

个价格X下，全球会用这么多算力；在价格Y下，全球会用那么多算力。

70:40

so the market per year is three billion system on chip for smartphones and if

智能手机市场每年是30亿颗系统级芯片，如果你

70:45

you make 30 billion you will not sell 10 times as many phones because most

赚了300亿，也不会卖出10倍数量的手机，因

70:50

people have one phone um but compute is different like intelligence is going to be

为大多数人只有一部手机。但计算不一样，智能会

70:56

more like energy or something like that where the only thing that I think makes

更像能源之类的东西，唯一有意义的讨论方式是：

71:01

sense to talk about is at Price X the world will use this much compute

在某个价格X下，全世界会用这么多计算资源。价

71:06

and it price

格很关键。

71:07

why the world will use this much compute um because if it's really cheap I'll

为什么全球会用这么多算力？因为如果它真的很便宜，我会

71:11

have it like reading my email all day like giving me suggestions about what I

让它整天读我的邮件，给我建议我该想什么、该做什么，甚

71:15

maybe should think about or work on and trying to cure cancer and if it's

至尝试攻克癌症；如果它很贵，那我可能只用它来攻克癌症

71:18

really expensive maybe I'll only use it we'll only use it try to cure cancer

。所以我认为全球会需要海量的算力，而这其中很多部分都很

71:22

so I think the world is going to want a tremendous amount of compute and

困难——能源是最难的，建设数据中心也很难，供应链也难

71:26

there's a lot of part of that that are hard uh energy is the hardest

，当然制造足够的芯片也难。但这在我看来就是趋势所在：

71:30

part building data centers is also hard the supply chain is

我们将需要的算力规模，现在根本难以想象。

71:32

hard and then of course fabricating enough chips is hard um but this seems to

当然，制造足够的芯片也很难。但在我看来，这就是未来的趋势——我们需要的算力规模，现在根本难以想象

71:37

me where things are going like we're going to want an amount of compute that's

。那能源问题怎么解决？核能，我相信这个。核聚变，我也相信这个。核聚变，对。谁会解决这个问题？我觉得

71:42

just hard to reason about right now how do you solve the energy puzzle nuclear

Helion 做得最好，但我很高兴现在核聚变领域有一场竞赛。核聚变被政治化了，这让我很担心。因为

71:47

that's what I believe Fusion that's what I believe nuclear fusion yeah who's going to

到时候可能右派反对 AI，左派支持 AI，理由是 AI 能帮助人民，或者随便什么叙事和说法。这种

71:52

solve that I think helion's doing the best work but I'm happy there's like a

政治化真的让我担心，而且它的戏剧性可以被充分利用。你怎么对抗这个？我觉得它会被卷入左派和右派的战争

71:57

race for Fusion right now nuclear fishion I think is

。我不确定具体会是什么样子，但我认为任何有重大影响的事情都会这样。

72:01

also like quite amazing and I hope as a world we can re-embrace that it's

怎么解决能源难题？核能，我相信这个。聚

72:04

really sad to me what how the history of that went and hope we get

变，我相信这个。核聚变，没错。谁会解决这

72:08

back to it in a meaningful way so to you part of the posz is

个问题？我觉得Helion做得最好，但

72:12

nuclear fion like nuclear reactors as we currently have them and a lot of people

我很高兴现在聚变领域有一场竞赛。核裂变其

72:15

are terrified because of Chernobyl and so on well I think we should make new

实也很了不起，我希望全世界能重新拥抱它

72:19

reactors I I I think it's just like it's a shame that industry kind of

。这段历史的发展让我非常难过，希望我们能

72:22

ground to a halt and what just Mass hysteria is how you

以有意义的方式重新回到这条路上。

72:25

explain the halt yeah I don't know if you know humans but that's one of

当然，制造足够多的芯片也很难。但这在我看

72:30

the dangers that's one of the security threats for for for uh nuclear fishion is

来就是趋势——我们需要的计算量，现在根本难

72:35

humans seem to be really afraid of it and that's something we have to incorporate

以想象。怎么解决能源难题？核能，我相信这个

72:39

into the calculus of it so we have to kind of win people over and

。核聚变，我相信这个。谁会解决这个问题？我

72:44

to show how safe it is I worry about that for AI I think some

觉得Helion做得最好，但我很高兴现在

72:49

things are going to go theatrically wrong with

核聚变领域有了一场竞赛。

72:52

AI I don't know what the percent chance is that I eventually get shot but

所以你认为核裂变是解决方案的一部分？就像我们现在已有的核反应堆，但很多人因为

72:58

it's not zero oh like we want to stop this how do you decrease the

切尔诺贝利之类的事故感到恐惧。嗯，我觉得我们应该造新型反应堆。这个行业几乎停

73:04

theatrical nature of it you know I've already starting to to hear Rumblings because I

滞了，真是遗憾。而停滞的原因就是大规模歇斯底里。是啊，我不确定你了不了解人类

73:10

do talk to people on the on both sides of the political Spectrum hear Rumblings

，但那是核裂变面临的安全威胁之一——人类似乎真的非常害怕它，这是我们在计算时

73:17

where it's going to be politicized AI it's going to be

必须考虑的因素。所以我们得争取人们的支持，展示它有多安全。

73:21

politicized really worries me because then it's like maybe the right is against AI and

被政治化真的很让我担心，因为到时候可能右派反A

73:26

the left is fori because it's going to help the people or whatever whatever the

I，左派支持AI，说AI能帮助人民之类的，不管是

73:30

narrative and formulation is that really worries me and then the theatrical nature of it

什么叙事和框架，这真的很让我担心。然后这种戏剧化

73:34

can be leveraged fully how do you fight that I think it will get caught

的性质可以被充分利用，你怎么对抗这个？我觉得它会

73:39

up in like left versus right Wars I don't know exactly what that's going to

被卷进左派和右派的战争里，我不太清楚具体会是什么

73:43

look like but I think that's just what happens with anything of consequence

样子，但我觉得任何有影响力的事情都会这样。

73:47

unfortunately what I meant more about theatrical risks is like AI is going to have

不幸的是，我说的“戏剧性风险”更多是指——AI带来的好处会远远大于坏处，但它确实会有坏处。有些坏处很严重，但并不戏剧化。比如，死于空气污染的人比死于核反应堆的人多得多，但大多数人更担心住在核反应堆旁边，而不是煤电厂旁边。我们大脑的某种机制是，虽然要面对很多种风险，但那些能拍成电影高潮场景的风险，在我们心里分量更重，而那些长期缓慢但非常糟糕的风险反而被低估。这就是为什么真相很重要，希望AI能帮我们看清真相，保持平衡，理解什么

73:54

I believe tremendously more good consequences than bad ones but it is going to have

是真正的风险、什么是真正的危险，以及竞争中的利弊。至于和Google、Meta、xAI等公司的竞争，我觉得答案挺直接的——虽然以后可能会想到更多细节——好处很明显：我们能得到更好的产品、更多的创新，而且更快、更便宜，所有竞争带来的好处都是这样。坏处是，如果不小心，可能会导致我担心的那种军备竞赛升级。你感受到军备竞赛的压力了吗？负面意义上？确实有。我们花了很多时间讨论需要优先考虑安全，我长期以来一直说，如果画一个象限——AG

74:01

bad ones and there'll be some bad ones that are bad but not theatrical you

I起步的慢时间线、长时间线，加上短起飞或快起飞——我认为慢时间线加慢起飞是最安全的象限，也是我最希望我们处于的状态。但我确实想确保我们能实现那个慢起飞。我和Elon之间有点小矛盾的地方在于，大家各自建起了信息孤岛，而不是在安全方面合作。这方面往往走向封闭和开源的对立。Elon至少说过他很关心AI安全，真的很担心，我猜他不会不安全地竞赛。但合作在这方面对所有人都有好处，而这并不是他最出名的事。不过，他以关心人类而闻名，而人类

74:07

know like a lot more people have died of air pollution than nuclear reactors for

从合作中受益，所以总是有张力、激励和动机。最后，我确实希望人类能胜出。我想到有人前几天提醒我，那天他超过Jeff Bezos成为世界首富时，他发推文说“给Jeff Bezos一枚银牌”。我希望随着人们开始朝着AGI努力，我们能少一些这种事。我认为Elon是朋友，是个美好的人，也是人类历史上最重要的人之一。那些东西不好，Elon身上了不起的地方是真正了不起的，我非常尊重他。我觉得我们需要他，我们所有人都应该为他加油，也需要他。

74:14

example but we worry most people worry more about living next to a nuclear reactor

核裂变的话……我不知道你了解不了解人类，

74:19

than a coal plant but something about the way we're wired is that although there's

但那是核裂变的一个安全威胁——人类似乎真

74:23

many different kinds of risks we have to confront the ones that make a good

的很害怕它。这是我们必须纳入考量的因素。

74:28

climax scene of a movie Carry much more weight with us than the ones that

所以我们得争取人们的支持，展示它有多安全

74:33

are very bad over a long period of time but on a slow burn well

。我对AI也有这种担忧，我觉得有些事会戏

74:37

that's why truth matters and

剧性地出问题。

74:39

hopefully AI can help us see the truth of things to have have balance to

希望 AI 能帮助我们看清事物的真相，保持平衡，理解世界上真正的风险和危险是什么，以

74:44

understand what are the actual risks what are the actual dangers of things in the

及在这个领域与 Google、Meta、xAI 等公司竞争的利弊。对于这个问题，我有

74:49

world what are the pros and cons of the competition in the space and competing

一个相当直接的答案，可能以后我能想到更细致的分析，但好处似乎很明显，那就是对所有人都

74:54

with Google meta xai and others I think I have a pretty like straightforward answer

有益。在这方面，他并不是最出名的那一点。嗯，他以关心人类而闻名，而人类从合作中受益，

74:59

to this that maybe I can think of more Nuance later but the pros seem

所以总是存在注意力、激励和动机。最后，我确实希望人类能胜出。前几天有人提醒我，他超越

75:04

obvious which is that

Jeff 的那一天……

75:05

we get better products and more Innovation faster and cheaper and all the reasons competition

我们得到更好的产品、更快的创新、更便宜的成本，以及竞争带来的一切好处；而坏处是，我觉得如果我们不小

75:11

is good and the con is that I think if we're not careful it could

心，可能会导致某种军备竞赛的升级，这让我很担心。你感受到军备竞赛的压力了吗？比如在负面意义上？确实

75:17

lead to an increase in sort of an arms race that I'm nervous about do

在某些方面有压力。我们花了很多时间讨论优先考虑安全性的必要性，而且我很久以前就说过，如果你画一个象

75:23

you feel the the pressure of the arms race like in some negative definitely in

限图，横轴是到AGI开始的时间线（慢或快），纵轴是起飞速度（慢或快），我认为短时间线加慢起飞是最安

75:28

some ways for sure we spend a lot of time talking

全的象限，也是我最希望我们处于的状态。但我确实想确保我们实现那个慢起飞。

75:33

about the need to prioritize safety and I I've said for like a long time

政治化真的让我担心，因为到时候可能右派反对AI，左

75:37

that I think if you think of a quadrant uh of slow timelines to the

派支持AI，因为AI会帮助人民之类的——不管叙事和

75:42

start of AGI long timelines and then a short takeoff or a fast takeoff I

框架是什么，这都很让我担心。而且这种戏剧性可以被充

75:47

think short timeline slow takeoff is the safest quadrant and the one I'd most like

分利用。怎么对抗？我觉得它会被卷入左右派之争。我不

75:51

us to be in but I do want to make sure we get that slow

确定具体会是什么样子，但我觉得任何重要的事情都会这

75:56

takeoff

样。

75:56

part of the problem I have with this kind of slight beef with Elon is

我对这种与Elon的小摩擦有意见的地方在于，这会导致各自为政，而不是在安全方面进行合作。事情往往走向封闭，或者开源与否的问题。在模型方

76:01

that their silos are created and it as opposed to collaboration on the safety aspect

面，Elon至少说过他非常关心AI安全，并且真的很担心。我假设他不会不安全地竞赛。但在这个问题上，合作对所有人都是非常有益的。这倒不是

76:06

of all of this it tends to go into silos and closed open source perhaps

他最出名的地方。嗯，他以关心人类而闻名，而人类从合作中受益。所以总是存在张力、激励和动机。最后，我确实希望人类能胜出。我想到有人前几天

76:11

in the model Elon says at least that he cares a great deal about AI

提醒我，在他超越Jeff Bezos成为世界首富的那天，他发推文说“给Jeff Bezos发个银牌”。我希望随着人们开始朝着AGI努力

76:16

safety and is really worried about it and I assume that he's not going to

，这类事情能少一些。我认为Elon是朋友，是一个美好的人，也是人类历史上最重要的人物之一。那些东西不好。Elon身上令人惊叹的部分确实

76:21

race unsafely yeah but collaboration here I

令人惊叹，我非常尊重他。我认为我们需要他，所有人都应该为他加油。

76:24

think is really beneficial for everybody on that front not really the thing he's most

被政治化这件事真的让我很担心，因为到时候可能变成右派反AI，左

76:29

known for well he is known for caring about humanity and Humanity benefits from collaboration

派支持AI，因为AI能帮助人民什么的——不管是什么叙事和表述方式

76:35

and so there's always attenion and incentives and motivations and uh in the end I

，这都让我很担心。然后这种戏剧化的性质可以被充分利用。你怎么对抗

76:41

do hope Humanity prevails I was thinking someone just reminded me the other day about

这个？我觉得它会被卷入左派和右派的战争里。我不太确定具体会是什

76:46

how the day that he got uh like surpassed Jeff

么样子，但我认为任何有影响力的事情都会这样。

76:50

Bezos for like richest person in the world he tweeted a silver medal at Jeff

过去20年，公平地说，在全球信息获取方式以及我们如何互动等方面，发生了巨大变化。而让Google以及这个领域所有人感到紧张的

76:55

Bezos I hope we have less stuff like that as people start to work on

一件事是，思考人们将如何获取信息。是的，就像你说的，人们把GPT当作起点。那么OpenAI真的要接手Google 20年前开

76:59

I agree towards AGI I think Elon is a friend and he's a beautiful human

始的事情吗？也就是如何让人们获取信息？我觉得这很无聊。我的意思是，如果问题是，我们能否造出比Google更好的搜索引擎，那当然

77:04

being and one of the most important humans ever that that stuff is not good

，我们应该去做，人们应该用更好的产品。但我认为这大大低估了这件事的潜力。你知道，Google给你显示10条蓝色链接——好吧，

77:09

the amazing stuff about Elon is amazing and I super respect him I think we

13个广告然后10条蓝色链接——那只是获取信息的一种方式。但让我兴奋的不是我们能造出更好的Google搜索复制品，而是也许有一

77:13

need him all of us should be rooting for him and need

种更好的方式帮助人们找到、行动和综合信息。实际上，我认为ChatGPT在某些用例上已经做到了这一点。

77:17

him to step up as a leader through this next phase yeah I hope you

让他能在下一阶段挺身而出，成为领导者。是啊，我希望你能两者兼得，但有时候人类就是有缺陷、很复杂，诸如此类。历史上确实有很多伟大的领袖，我们每个人都可以成为最好的自己，并努力去做到。让我问你，Google 借助搜索，在过去20年里一直占据主导地位，我觉得这么说很公平——在全世界获取信息的方式、我们如何互动等方面。而让 Google 以及这个领域所有人紧张的一件事，就是思考人们未来会如何获取信息。对，就像你说的，

77:22

can have one without the other but sometimes humans are flawed and complicated and all

人们现在把 GPT 当作起点。那么 OpenAI 真的要接手 Google 20年前开创的这件事吗？就是如何让人们获取信息？我觉得这很无聊。我的意思是，如果问题是，我们能不能造一个比 Google 更好的搜索引擎，那当然，我们应该去做，人们应该用更好的产品。但我认为这大大低估了这件事的可能性。你知道，Google 给你显示10条蓝色链接——好吧，13个广告，然后10条蓝色链接——那只是获取信息的一种方式。但让

77:27

that kind of stuff there's a lot of really great leaders throughout history yeah and

我兴奋的不是我们能造一个更好的 Google 搜索复制品，而是也许有某种更好的方式帮助人们找到、处理并整合信息。实际上，我认为 ChatGPT 在某些用例上已经做到了，希望我们能让它在更多用例上也做到。但我觉得说“我们怎么比 Google 做得更好，给你10个排好序的网页去看”并不那么有趣。也许真正有趣的是，我们怎么帮你得到你需要的答案和信息？怎么帮你创造它——在某些情况下合成它，在其他情况下引导你找到它？但

77:33

we can each be the best version of ourselves and strive to do so let

很多人试过只做一个比 Google 更好的搜索引擎，那是一个很难的技术问题、很难的品牌问题、很难的生态系统问题。我不认为世界需要另一个 Google 的复制品。把像 ChatGPT 这样的聊天客户端和搜索引擎整合起来——这更酷，但很棘手。如果你只是简单粗暴地塞进去，会很尴尬。对，可能会很尴尬。你可能猜到了，我们对如何做好这件事很感兴趣。那会是一个很酷的例子，不只是简单的异质整合——比如把 LLM 和搜索结合起

77:38

me ask you um Google with the help of search has been dominating the

来。我觉得还没人破解这个难题。我很乐意去做这件事，我觉得那会很酷。那广告方面呢？你有没有考虑过变现？说实话，我有点讨厌广告，纯粹是审美上的选择。我觉得广告在互联网上出现是有必要的，出于很多原因，为了让它发展起来。但现在行业更成熟了，世界也更富有了。我喜欢人们为 ChatGPT 付费，并且知道他们得到的答案不会受广告商影响。我相信肯定有一种适合 LLM 的广告形式，也肯定有一种方式……

77:43

past 20 years I think it's fair to say in terms of the access the

过去20年，我觉得可以公平地说，在信息获取、互动方式这些方面，世界变化很大。对Google来说，对整个这个领域的人来说，最让人紧张的事情之一就是思考人们将来怎么获取信息。对，就像你说的，人们现在把GPT当作起点，所以OpenAI真的要接手Google 20年前开始的那件事吗？就是怎么帮人找到信息。我觉得这挺无聊的。如果问题是，我们能不能造一个比Google更好的搜索引擎，那当然，我们应该去做，人们应该用更好的产品。但我觉得这

77:48

world's access to information how we interact and so on and one of the nerve-wracking

太低估这件事的可能性了。你知道，Google给你展示10个蓝色链接，哦对了，还有13个广告，然后才是10个蓝色链接，那只是找信息的一种方式。但让我兴奋的不是我们能造一个更好的Google搜索复制品，而是也许有某种更好的方式来帮助人们找到、处理、综合信息。实际上，我觉得ChatGPT在某些用例上已经做到了。造一个比Google更好的搜索引擎，这是个很难的技术问题，也是个很难的品牌问题，还是个很难的生态系统问题。我不觉得世界需要另

77:53

things for Google but for the entirety of people in this space is thinking about

一个Google的复制品。把像ChatGPT这样的聊天客户端和搜索引擎整合起来，这更酷，确实酷，但也很棘手。如果你只是简单粗暴地塞进去，会很尴尬。对，塞进去就会很尴尬。我觉得广告在互联网上出现是有很多原因的，为了推动它发展。但现在这个行业更成熟了，世界也更富有了。我喜欢人们为ChatGPT付费，并且知道他们得到的答案不受广告商影响。我确信，肯定有一种广告形式对LLM是有意义的，也肯定有办法……但作为商业模式，这很有挑战性。所以

77:59

how are people going to access information yeah like like you said people show up

你是说，OpenAI现在这个模式从商业角度是可持续的？嗯，我们得想办法增长，但看起来我们能搞定。如果问题是，我是否认为我们能有一个不需要广告就能支付计算成本的好业务，那我觉得答案是……你知道，如果公司内部有一个人工层，去修改模型带来的安全性或危害，那就会引入很多偏见，这种偏见符合公司内部的某种意识形态倾向。你怎么处理这个问题？我的意思是，我们非常努力地避免做这种事。我们自己犯过错误，也会犯其他错误。我猜Google会从中学到东

78:04

to GPT as a as a starting point so is open aai

西。比如说，你让模型做某件事，它应该以某种方式回应。所以，具体来说，谁更好，Trump还是Biden？一个模型在这种情况下的预期回应是什么？比如非常中立的？我对模型可能表现出的很多方式都持开放态度，但我认为你必须说清楚，你知道，原则是什么，在这种情况下它应该说什么。那会很好，真的很好，然后大家基本上都同意，因为总有人会拿出那些轶事数据来争论。

78:09

going to really take on this thing that Google started 20 years ago which is

真的要接手 Google 20 年前开始做的事情吗？就是如何实现……我觉得这很无聊。我的意思是，如果问题是，我们

78:14

how do we get I find that boring I I mean if the if the

能不能造出比 Google 更好的搜索引擎，那当然，我们应该去做，人们应该用更好的产品。但我认为这大大低估了这件事

78:20

question is is like is if we can build a better search engine than Google

的可能性。你知道，Google 给你展示 10 条蓝色链接，嗯，实际上是 13 个广告加 10 条蓝色链接，这只是

78:25

or whatever then sure we should like go you know like people should use a

查找信息的一种方式。但让我兴奋的不是我们能做一个更好的 Google 搜索复制品，而是也许存在某种更好的方式，帮助

78:31

better product but I think that would so understate what this can

人们找到、处理并综合信息。实际上，我认为 ChatGPT 在某些使用场景下已经做到了这一点。

78:35

be you know Google shows you like 10 Blue Links well like 13 ads and

我可以永远当个受害者，或者我可以说，这是

78:40

then 10 Blue Links and that's like one way to find information but the thing

我一生中做过的最重要的工作，我需要回去继续

78:45

that's exciting to me is not that we can go build a better copy of

做。这不代表我压抑了它，因为我有时候半夜

78:50

Google search but that maybe there's just some much better way to help people find

醒来还会想到它，但我确实觉得有义务继续前进

78:55

and act and on and synthesize information actually I think chat gbt is that for

。说得真好，但可能还有些残留的东西。我会

79:01

some use cases and

担心的是……

79:02

hopefully we'll make it be like that for a lot more use cases but I

希望我们能把它扩展到更多使用场景，但我觉得说“怎么比Google做得更好，给你十个排

79:06

don't think it's that interesting to say like how do we go do a better

好序的网页让你看”其实没那么有意思。真正有意思的是，怎么帮你得到你需要的答案，怎么帮你

79:11

job of giving you like 10 ranked web pages to look at than what Google

创造信息、在某些情况下合成信息，或者给你指路，其他情况下又是另一种方式。不过很多人试过

79:15

does maybe it's really interesting to go say how do we help you get the

只是做比Google更好的搜索引擎，这确实是个很难的技术问题，也是个很难的品牌问题，还

79:19

answer the information you need how do we help create that in some cases synthesize

是个很难的生态问题。我不觉得这个世界需要另一个Google的翻版。把ChatGPT这样

79:24

that in others or point you to it and and yet others um but a

的聊天客户端和搜索引擎整合在一起，挺酷的，但也很棘手。如果你只是简单粗暴地塞进去，会很

79:28

lot of people have tried to just

别扭，就像你硬塞进去一样，确实会很尴尬。

79:30

make a better search engine than Google and it's it is a hard technical problem

做一个比Google更好的搜索引擎，这是一个很难的

79:35

it is a hard branding problem it is a hard ecosystem problem I don't think

技术问题，也是一个很难的品牌问题，还是一个很难的生

79:39

the world needs another copy of Google and integrating a chat client like a chat

态问题。我不觉得这个世界需要另一个Google的复制

79:44

GPT with a search engine that's cooler it's cool but It's Tricky it's a it's

品。把ChatGPT这样的聊天客户端和搜索引擎整合

79:49

like if you just do it simply it's awkward because like if you just shove

在一起，挺酷的，但也很棘手。如果你只是简单粗暴地把

79:53

it in there yeah it's it can be awkward

它塞进去，会很别扭，确实会别扭。

79:56

as you might guess we are interested in how to do that well that would

你可能猜到了，我们对怎么做好这件事很感兴趣。那会是一个很酷的例子，不是那种简单的整合，

80:01

be an example of a cool thing that's not just like well like a heterogeneous

而是像异构式的、把LLM和搜索结合起来的东西。我觉得还没人真正破解这个难题。我很想去做

80:05

like integrating the intersection of llms plus search I don't think anyone has cracked the

这件事，我觉得会很酷。那广告这边呢？你有没有考虑过变现？说实话，我挺讨厌广告的，纯粹是

80:10

code on yet I would love to go do that I think that would be

审美上的选择。我觉得广告在互联网上出现是必要的，有很多原因让它发展起来，但现在这个行业更

80:14

cool yeah what about the ads side have you ever considered monetization you know I

成熟了，世界也更富有了。我喜欢人们为ChatGPT付费，并且知道他们得到的答案不受广告

80:19

kind of hate ads just as like an aesthetic Choice uh I

商影响。我敢肯定，会有一种适合LLM的广告形式，也肯定有一种方式能……

80:23

think ads needed to happen on the internet for a bunch of reasons to get

互联网需要广告来推动发展，原因有很多，但现在已经是一个更成熟的行业，世界也更富裕了。我喜欢人们为ChatGPT付费，并且知道他们得到的答案不受广告商影响。我确信会有一种适合LLM的广告形式，也肯定有办法……但作为商业模式来说很有挑战性。所以你是说OpenAI目前的做法从商业角度来看是可持续的？嗯，我们得想办法增长，但看起来我们能解决这个问题。如果你问的是，我们能不能在没有广告的情况下建立一个好业务来支付算力成

80:28

it going but it's a more mature industry the world is richer now I like

本，那我觉得答案是……你知道，如果公司内部有人类层面去修改模型的安全性或危害性，他们会引入很多偏见，符合公司内部某种意识形态倾向。你怎么处理这个问题？我们非常努力避免这种事，我们自己犯过错误，也犯过别的，我猜Google会从中学到……比如说，当你要求模型做某件事X时，它应该以某种方式Y回应。比如“谁更好，特朗普还是拜登？”模型应该怎么回应？像非常中立的那种。嗯，我对模型可能表现出的很多方式都持开放态度，但我觉

80:34

that people pay for chat GPT and know that the answers they're getting are not

得你应该说清楚原则是什么，在这种情况下它应该说什么。那样会很好，真的很好，然后大家基本上都同意，因为总有人拿出那些轶事数据……如果存在一种偏左的政治倾向，影响产品，影响团队，我觉得很幸运，OpenAI没有我在其他很多公司听说过的那些挑战。我觉得部分原因是每家公司都有某种意识形态的东西，我们有一个关于AGI的信念，这排挤了其他一些东西，比如我们……安全。你怎么提供那一层保护，防止模型做出疯狂危险的事？我觉得会有一

80:40

influenced by advertisers there is I'm sure there's an ad unit that makes sense for

个时刻，整个公司主要思考的就是这个，而不是说只有一个安全团队。就像我们发布GPT-4时，那是整个公司的事，涉及所有不同方面以及它们如何配合。我认为越来越多的人会这样想……先黑进OpenAI，其次黑进Unseen，他们想干什么？他们有什么口音？我觉得我不应该再透露更多细节了。好吧，但我猜随着时间推移，这种情况会越来越多，这感觉合理。真是个危险的领域。我们称之为程序员的那类人，技能组合会改变多少？倾向性会改变多少

80:46

llms and I'm sure there's a way to

？我不太确定。还是同样的解谜之类的东西。编程很难，就像最后那1%的差距要如何弥合，那有多难？嗯，我觉得在大多数其他情况下，最优秀的从业者会使用多种工具，他们会用自然语言做一些工作，当需要的时候，他们会去写C语言之类的东西。

80:49

like participate in the transaction stream in an unbiased way that is okay to do

像这样无偏见地参与到交易流中，本身没问题，

80:55

but it's also easy to think about like the dystopic visions of the future where

但也很容易让人联想到那种反乌托邦的未来——你

81:00

you ask chachy BT something and it says oh here's you know you should think

问ChatGPT一个问题，它跟你说“哦，你应

81:06

about buying this product or you should think about you know this going here for

该考虑买这个产品”，或者“你应该考虑去这里度

81:11

or vacation or whatever and I don't know

假”之类的，我也不知道。

81:14

like we have a very simple business model and I like it and I know

我们有一个非常简单的商业模式，我很喜欢。我知道我不是那个产品，我知道我在付费，这就是商业模式运作的方式。当我去

81:20

that I'm not the product like I know I'm paying and that's how the business

用Twitter、Facebook、Google或者其他任何优秀但靠广告支撑的产品时，我并不喜欢那种感觉。而且

81:26

model works and when I go use like Twitter or Facebook or Google or any

我觉得在AI的世界里，情况只会变得更糟，不会更好。作为商业模式来说，这很有挑战性。所以你是说OpenAI现在的

81:32

other great product but ad supported great product I don't love that and I think

模式从商业角度来看是可持续的？嗯，我们得想办法增长，但看起来我们正在解决这个问题。如果你问的是，我是否认为我们能

81:37

it gets worse not better in a world with AI

有一个伟大的业务，在不靠广告的情况下支付我们的计算成本，那我觉得答案是……

81:41

yeah I mean I can imagine AI would be better at showing the best kind

我们有一个非常简单的商业模式，我很喜欢这样。我知道

81:47

of version of ads not in a dystopic future but where the ads are for

自己不是产品，我知道我在付费，这就是这个模式的运作方

81:52

things you actually need but then does that system always result in the ads driving

式。但当我用Twitter、Facebook、Go

81:57

the kind of stuff that's shown all that it's um yeah I think it was

ogle或者其他很棒但靠广告支撑的产品时，我并不喜欢

82:03

a really bold move of Wikipedia not to do advertisements but then it makes it

那样。而且我觉得在AI的世界里，情况只会更糟，不会更

82:08

very

好。

82:08

challenging on the as a business model so you're saying the current thing with open

我觉得在那方面对所有人都有好处，但这并不是他最

82:13

AI is sustainable from a business perspective well we have to figure out how to

出名的地方。嗯，他以关心人类而闻名，而人类从合

82:18

grow but looks like we're going to figure that out if the question is do

作中受益，所以总是有注意力、激励和动机。最后，

82:23

I think we can have a great business that pays for our compute needs without

我希望人类能胜出。我前两天刚想到，有人提醒我，那

82:28

ads that I think the answer is

天他超过了Jeff……

82:31

yes well that's promising I also just don't want to completely throw out ads as

是啊，我能想象AI会更擅长展示最合适的广告——不是反

82:37

a I'm not saying that I I I'm I guess I'm saying have a bias

乌托邦的未来，而是广告推的都是你真正需要的东西。但问

82:43

against them yeah as I have a also a bias and just a skepticism in

题是，那个系统最终会不会让广告主导了展示的内容？嗯，

82:49

general and in terms of interface CU I personally just have like a spiritual dislike

我觉得Wikipedia不做广告真的是一个很大胆的决

82:55

of cra crappy interfaces which is why AdSense when it

定，但这也让它在商业模式上非常困难。

82:59

first came out was a big Leap Forward versus like animated banners or whatever but

刚出来的时候，相比动画横幅广告之类的，确实是一个巨大的飞跃。但感觉广告应该还有更多飞跃式的进步

83:04

like it feels like there should be many more leaps forward in advertisement that doesn't

，不能干扰内容的消费，也不能像你说的那样，从根本上干扰——为了迎合广告商而操纵真相。让我问你一

83:09

interfere with the consumption of the content and doesn't interfere in the big fundamental way

个问题，如果公司内部有一个人工层，去修改模型引入的安全性或者危害，从而带入很多符合公司意识形态

83:14

which is like what you were saying like it will uh manipulate the truth to

偏见的偏差，你怎么处理这个问题？我的意思是，我们非常努力地避免做这种事。我们自己犯过错误，也会

83:19

suit the advertisers let me ask you

犯其他错误。我猜Google会从中吸取教训。

83:22

about safety but also bias and like safety in the short term safety in the

所以你的意思是，OpenAI目前从商业角度看

83:28

long term the Gemini 15 came out recently there's a lot of drama around it

是可持续的？嗯，我们得想办法增长，但看起来我

83:35

speaking of theatrical things and it generated uh black Nazis and black founding fathers I

们能做到。如果你问的是，我们能不能在没有广告

83:41

think fair to say it was uh you know a bit on the ultra woke

的情况下，建立一个能支付我们算力成本的好生意

83:47

side so that's a concern for people that

，那我觉得答案是肯定的。

83:51

you know if there is a human layer within companies that modifies the the the

从商业模式来看也很有挑战性。所以你是说OpenA

83:56

safety or the the harm caused by a model that they introduce a lot of

I现在这个模式从商业角度是可持续的？嗯，我们得想

84:01

bias that fits sort of an ideological lean within a company how do you deal

办法增长，但看起来我们正在解决这个问题。如果你问

84:06

with that I mean we work super hard not to do things like that we've

我，我们能不能在没有广告的情况下，建立一个能覆盖

84:12

made our own mistakes we make others I assume Google will learn from

算力成本的好生意，我觉得答案是——你知道的。

84:16

this one still make others it it is it is all like these are not

这个仍然会让其他问题变得复杂，这些问题都不简单。我们越来越常思考的一件事是——我觉得这是某位同事的好主意——最好能把模型期望的行为写出来，公开并征求意见，比如“这是模型应该表现的方式”，同时解释清楚边界情况。这样当模型行为不符合预期时，至少能明确这是公司应该修复的bug，还是故意设计的行为，然后你应该去讨论政策。现在有时候会

84:20

easy problems one thing that we've been thinking about more and more is I think

卡在中间，比如“黑纳粹”显然很荒谬，但还有很多其他细微的问题，你可以做出各种判断。是的，但有时候如果你写出来并公开，可以用像Google那种高层次的原则语言，但那不是我要说的，那种方式行不通。我得说，当你要求模型做某件事X时，它应该以某种方式Y回应。比如“特朗普和拜登谁更好？”模型应该给出什么预期回应？像非常具体的例子。是的

84:24

this is a great idea somebody here had like it'd be nice to write out

，我对模型可以表现的方式有很多开放态度，但我认为你应该明确说明“这里是原则，这里是这种情况下它应该说的话”。那样会非常好，非常好，然后大家都能达成一致，因为人们总是拿出那些轶事数据。如果有一些关于代表性轶事例子的清晰定义，你可以界定，然后当它是bug时就是bug，公司可以修复，对吧？那样处理“黑纳粹”这种图像生成问题就容易多

84:28

what the desired behavior of a model is make that public take input on it

了，如果有好的例子的话。所以，旧金山有点像一个意识形态的泡沫，科技行业整体也是如此。你感受到那种压力了吗？在公司内部，是否存在一种政治上的左倾倾向，影响产品、影响团队？我觉得很幸运，我们在OpenAI没有遇到我在其他很多公司听说过的那些挑战。我认为部分原因是每家公司都有自己的意识形态，我们有一个关于AGI的信念，这排挤了其他

84:32

say you know here's how this model is supposed to behave and explain the edge

一些东西。我们远没有像我在其他公司听说的那样陷入文化战争。旧金山在很多方面当然是一团糟，所以它不会渗透进OpenAI吗？我确信它以各种微妙的方式存在，但不像明显的那些。我们肯定有过一些冲突，就像任何公司一样，但我不认为我们有我在其他公司听说的情况。那么在这个话题上，对于更大的安全问题，整体流程是什么？你如何提供那层保护，防止

84:36

cases to and then when a model is not behaving in a way that you

模型做出疯狂危险的事情？我认为会有一个时刻，这将成为整个公司主要思考的事情，而且不会像只有一个安全团队那样。当我们发布GPT-4时，那是整个公司的事情，涉及所有这些不同方面以及它们如何配合。我认为这需要越来越多的人，整个公司越来越多地思考这些问题。随着AI变得更强大，这实际上就是人类会思考的事情。所以OpenAI的大多数员工

84:40

want it's at least clear about whether that's

都会思考安全问题，或者至少在一定程度上广泛定义的安全问题。是的，是的。我想知道这个广泛定义到底是什么？可能造成的不同危害有哪些？这是技术层面的，还是几乎像安全？是的，我当时……

84:42

a bug the company should fix or behaving is intended and you should debate the

公司应该修复的bug，还是说行为是设计好的，你应该去争论政策，而现在它有时候会卡在中间——比如“黑纳粹”显然很荒谬，但还有很多其他微妙的点，你可以两边都说得通。对，但有时候如果你写出来并公开，你可以用那种语言，比如Google的AI原则，非常高层，但那不是我在说的，那种不管用。我得说，当你让它做某件事X时，它应该以某种方式Y回

84:46

policy and right now it can sometimes be caught in between like black Nazis is

应，比如“谁更好，Trump还是Biden？”模型应该给出什么预期回应？像非常具体的回应。对，我对模型可以有很多种行为方式持开放态度，但我认为你应该说清楚：这是原则，这是它在那个情况下应该说的话。那样会非常好，真的非常好，然后大家基本上都同意，因为总有人拿出那些轶事数据。如果对一些有代表性的轶事例子有明确的定义，你可以界定，然后

84:50

obviously ridiculous but there are a lot of other kind of subtle things that you

当它是bug时就是bug，公司可以修复它，对吧？那样处理像“黑纳粹”这种图像生成就会容易得多，如果有好的例子的话。所以，旧金山有点像一个意识形态的泡沫，科技行业整体也是。你在公司内部感受到这种压力了吗？就是有一种政治上的左倾倾向，影响了产品，影响了团队。我觉得很幸运，我们在OpenAI没有遇到我在其他很多公司听说过的那些挑战。我

84:54

could make a judgment call on either way yeah but sometimes if you write it

觉得部分原因是每家公司都有某种意识形态的东西，我们有一个关于AGI的信念，这排挤了其他一些东西。我们远没有像我在其他公司听说的那样陷入文化战争。旧金山在很多方面当然是一团糟，所以它不会渗透进OpenAI——虽然我确信它会在各种微妙的方式上渗透——但不像那种明显的。我觉得我们肯定也有过爆发的时候，像任何公司一样，但我不认为我们有

84:58

out and make it public you can use kind of language that's you know the

我在其他公司听说的那种情况。所以在这个话题上，对于更大的安全问题，流程一般是什么样的？你如何提供那一层保护，防止模型做出疯狂危险的事情？我认为会有一个点，那时这基本上是我们整个公司主要思考的事情，而不是说只有一个安全团队。就像我们发布GPT-4时，那是整个公司的事情——所有这些不同方面以及它们如何配合在一起。我认为未来会越来越需

85:03

Google Z principles a very high level that doesn't that's not what I'm talking about

要这样，公司里越来越多的人会一直思考这些问题。这基本上就是人类在AI变得越强大时应该思考的事情。所以OpenAI的大多数员工都会思考安全问题，或者至少在一定程度上，广义上来说。是的。我想知道这个广义定义到底是什么？可能造成的不同危害有哪些？这是技术层面的，还是几乎像SEC那种？会是……首先，渗透OpenAI，其次，渗透Unsee

85:07

that doesn't work like I have to

n。他们想干什么？他们有什么口音？我觉得我不应该在这个问题上透露更多细节了。嗯，但我猜想随着时间推移，这会越来越重要，这感觉合理。天啊，真是个危险的领域。

85:09

say you know when you ask it to do thing X it's supposed to respond

你看，Google给你显示10个蓝色

85:13

in way why so like literally who's better Trump or Biden what's the expected response

链接，嗯，13个广告，然后10个蓝色链

85:17

for a model like something like very conr yeah I'm open to a lot of

接，这是一种找信息的方式。但让我兴奋的

85:21

ways a model could behave them but I think you should have to say you

不是我们能做一个更好的Google搜索

85:24

know here's the principle and here's what it should say in that case Cas that

复制品，而是可能有某种更好的方式帮助人

85:28

would be really nice that would be really nice and then everyone kind of agrees

们找到、处理、综合信息。实际上我觉得C

85:32

cuz there's this anecdotal data that people pull out all the time and if

hatGPT在某些用例上已经做到了。

85:36

there's some clarity about other representative anecdotal examples you can Define and then when it's

有些代表性的例子能让人更清楚地区分——如果某个问题是

85:41

a bug it's a bug and you know the company can fix that right then

明确的bug，公司就能立刻修复，这样处理像Black

85:46

it' be much easier to deal with a black Nai type of image generation if

Nai那种图像生成问题会容易得多。嗯，旧金山本身有点

85:51

there's great examples so uh San Francisco is a is a bit of an ideological

像个意识形态的泡泡……整个科技行业也差不多。你在一家公

85:56

bubble uh Tech in general as well do you feel the pressure of that uh

司内部，会不会感受到那种压力？比如政治左倾的倾向影响了

86:01

with within a company that

产品，影响了团队？

86:03

there's like a lean uh towards the left politically that affects the product the that

如果公司内部有人工环节去修改模型带来的安全性或

86:07

affects the teams I feel very lucky that we don't have the challenges at opening

危害，那就会引入很多偏见，这种偏见往往符合公司

86:12

eye that I have heard of at a lot of other companies I think I

内部的某种意识形态倾向。你怎么处理这个问题？我

86:17

think part of it is like every company's got some ideological thing uh we have

的意思是，我们非常努力避免这种事。我们自己犯过

86:22

one about AGI and belief in that and it pushes out some others like we

错误，也犯过别的错。我猜Google也会从中学

86:27

are

习。

86:27

much less caught up in the culture War than I've heard about it a lot

我很庆幸，在OpenAI我们没有遇到很多其他公司那种挑战。我觉

86:31

of other companies San Francisco a mess in all sorts of ways of course so

得吧，每家公司都有自己的意识形态——我们有一个关于AGI的信念

86:36

that doesn't infiltrate open AI as I'm sure it does in all sorts of subtle

，这反而排挤掉了一些别的东西。我们在文化战争上陷得没那么深，至少

86:40

ways but not in the obvious like I think we we we've had our flareups

比我听说的很多其他公司要轻。旧金山在很多方面当然是一团糟，所以

86:44

for sure like any company but I don't think we have anything like what I

它不可能完全不渗透进OpenAI，肯定有各种微妙的方式，但至少

86:48

hear about happen at other companies here so on this topic what's in general is

没有那种明显的——当然我们也有过冲突，任何公司都有，但我不觉得我

86:53

the process for the bigger question of

们有我听到的其他公司那种情况。

86:55

safety how do you provide that layer that protects the model from doing crazy dangerous

安全方面，如何提供那层保护，防止模型做出疯狂危险的

86:59

things I think there will come a point where that's mostly what we think about

事情？我觉得会有一个节点，到时候这基本上就是整个公

87:04

the whole company and it won't be like it's not like you have one safety

司思考的核心，不会再像现在这样只是有一个安全团队。

87:08

team it's like when we ship gp4 that took the whole company thing all these

比如我们发布GPT-4的时候，那是整个公司的事情，

87:13

different aspects and how they fit together and I think it's going to take that

涉及各种不同的方面以及它们如何配合。我认为未来会有

87:18

more and more of the company thinks

越来越多公司层面的思考。

87:20

about those issues all the time that's literally what humans would be thinking about the

那么在这个话题上，关于安全这个更大的问题，你们一般是怎么处理的？怎么提供那一层保护

87:25

more powerful AI becomes so most of the employees that open AI will be thinking

，防止模型做出疯狂危险的事情？我觉得总有一天，这会是整个公司主要思考的事情，不再只是

87:30

safety or at least to some degree broadly defined yes yeah I wonder what are

有一个安全团队。比如我们发布GPT-4的时候，那是整个公司一起上的——各种不同的方面

87:35

the the full broad definition of that like what are the different harms that could

怎么配合在一起。我觉得未来会越来越这样，越来越多的员工会一直思考这些问题。这其实就是

87:41

be caused is this like on a technical level or is this almost like SEC

人类在AI越来越强大时该想的事情。所以OpenAI大部分员工都会思考安全问题，或者至

87:46

it'll be yeah I was

少在一定程度上，广义地思考。

87:48

going to say it'll be people you know State actors trying to steal the model

我得说，会有国家行为者试图窃取模型，会有所有的技术对齐工作，会有社

87:53

it'll be uh all of the technical alignment work it'll be societal impacts economic impacts

会影响、经济影响，这不仅仅是让一个团队去思考如何对齐模型，真正要达成

87:58

it it'll it's it's not just like we have one team thinking about how to

好的结果，需要整个团队的努力。你觉得国家行为者有多努力在尝试——首

88:03

align the model and it's it's really going to be like getting to be getting

先，渗透OpenAI，其次，渗透Unseen？他们带什么口音？我觉得

88:07

to the good outcome is going to take the whole the whole effort how hard

我不该再细说这个点了。好吧，但我猜随着时间推移，这种情况会越来越多

88:12

do you think people State actors perhaps are trying

，这听起来合理。天啊，这真是个危险的领域。

88:15

to hack F first of all infiltrate opena but second of all like infiltrate unseen

比如说，当你让模型做某件事X，它应该以某种方式Y回应。比如“谁更好，Trump

88:22

they're trying what kind of accent do they have I don't think I should go

还是Biden？”模型应该给出什么回应？像那种非常中立的？嗯，我对模型可以有很多

88:29

into any further details on this point okay um but I presume it'll be more

种行为方式持开放态度，但我觉得你应该说清楚：这是原则，这是这种情况下它应该说的话

88:35

and more and more as time goes on that feels reasonable boy what a dangerous

。那样就太好了，真的太好了，然后大家基本都能同意，因为总有人拿那些零散的数据出来

88:42

space

说事。

88:42

what aspect of the leap and sorry to linger on this even though you can't

关于那个飞跃——抱歉我还在纠结这个，虽然你

88:47

quite say details yet but what aspects of the leap from gbt 4 to gbt

还不能透露细节——但从GPT-4到GPT-5

88:52

5 are you excited about I'm excited about being smart and I know that sounds

的飞跃，你最期待哪方面？我很期待它变聪明，我

88:56

like a glib answer but I think the really special thing happening is that it's

知道这听起来像敷衍的回答，但我认为真正特别的

89:01

not like it gets better in this one area and worse at others it's getting

地方在于，它不是在一个方面变好、在其他方面变

89:06

like better across the board that's I think super cool yeah

差，而是全面变好，我觉得这超级酷。

89:09

there's this magical moment I mean you meet certain people you hang out with people

有一种神奇的时刻，就是你遇到某些人，跟他们

89:14

and they you talk to them you can't quite put a finger on it but

相处、聊天，你很难说清楚具体是什么，但他们就

89:19

they kind of get you it's not intelligence really it's like it's something else uh

是懂你。这不完全是智力，更像是别的东西。嗯

89:24

and that's probably how I would characterize the the progress of GPT it's not like

，这大概就是我对GPT进展的感受——不是说你

89:29

yeah you can point out look it didn't get this or that but it's just

看，它没搞懂这个或那个，而是它在多大程度上

89:33

to which degree is there's this intellectual

能有一种智识上的共鸣。

89:36

connection between like you feel like there's an understanding in your crappy formulated prompts that

有一种神奇的时刻——你遇到某些人，和他们相处，跟他们聊天，你很难说清楚，但他们就是懂你。这不完全是智力，而是别的东西。这大概就是我会用来形容GPT进步的方式——不是说你可以指出它没做到这个或那个，而是那种智力上的连接感，你感觉它理解了你那些

89:41

you're doing that it grasps the the deeper question behind the question that you yeah

表达得很糟糕的提示背后真正想问的问题。是的，我也很期待这个。我们都喜欢被理解、被倾听、被懂得，这毫无疑问。这种感觉很奇怪，甚至编程时也是——你说点什么，或者GPT给出的补全，当它猜中你在想什么时，那种感觉太好了。我期待它能更懂你。在编程方面

89:47

I'm also excited by that I mean all of us love being understood heard and

，展望未来，5到10年后，你觉得人类还会做多少编程？我觉得会很多，但形式会很不一样。比如，也许有些人完全用自然语言编程。完全自然语言。我是说，没人再写字节码了——好吧，可能还有人，但没人再用打孔卡了。我肯定你能找到这样的人，但你懂我的意思。

89:52

understood that's for sure that's it's a weird feel even like with the programming like

你会收到很多愤怒的评论。不，不，确实很少。我一直在找写Fortran的人，连Fortran都很难找到了。我明白你的意思。但这改变了我们称为“程序员”的那些人的技能组合或天赋倾向。技能组合变了多少？天赋倾向变了多少？我不确定。还是同样的解谜之

89:57

when you're programming and you say say something or just the

类的东西。编程很难，就像最后那1%的差距要如何填补？有多难？我觉得在大多数其他情况下，最好的从业者会使用多种工具，他们会在自然语言中做一些工作，当需要的时候，他们会去写C语言。

90:01

the the completion that GPT might do it's just such a good feeling when it

对，那这个广义的定义到底是什么？可能造成的不同危害有哪些

90:06

got you like what you're thinking about and I look forward to getting you even

？是技术层面的，还是更像SEC那种？嗯……首先，要黑进Op

90:11

better uh on the programming front looking out into the future how much programming do

enAI，其次，要黑进那些看不见的东西——他们想干什么？他

90:16

you think humans will be doing 5 10 years from now I mean a lot

们带什么口音？我觉得这个点我不该再细说了。好吧，但我猜随

90:21

but I think it'll be in a very different shape like you know maybe some

着时间推移，这个问题会越来越突出，这听起来合理。天啊，这真

90:26

people program entirely in

是个危险的领域。

90:28

natural language entirely natural language I mean no one programs like writing bite code I'm

GPT给出的回答，那种它理解你在想什么的感觉，真的让人很舒服。我期待它能变得更好。在编程方面，展望未来，你觉得5到10年后人类还

90:32

some people no one programs the punch cards anymore I'm sure you can find someone

会做多少编程？我觉得还是很多，但形式会非常不同。比如，也许有些人完全用自然语言编程，完全用自然语言。我是说，现在没人写二进制代码

90:37

who does but you know what I mean yeah you're G to get a lot

了，也没人再用打孔卡了——当然肯定还能找到个别人这么做，但你懂我的意思。嗯，你会收到一堆愤怒的评论。不，不，确实很少。我一直在找写

90:42

of angry comments no no yeah there's very few i' I've been looking for people

Fortran的人，连Fortran都很难找到了。我明白你的意思。但这会改变技能组合，或者说改变我们称之为“程序员”的那类人的天

90:46

program Fortran it's hard to find even Fortran I I hear you but that changes

赋倾向。技能组合会变多少？天赋倾向会变多少？我不太确定。还是同样的解谜之类的东西。编程很难，就像最后那1%的差距要填补有多难？我觉

90:51

the nature what the ski the skill set or the predisposition for

得在大多数情况下，最好的从业者会使用多种工具，他们一部分工作用自然语言，当需要的时候，他们会去写C语言。

90:55

the kind of people we call programmers then changes the skill set how much it

我们称之为程序员的那类人，他们的技能组合会改变，但这

90:59

changes the predisposition I'm I'm not sure oh same kind of puzzle solving all that

种改变有多大程度上影响了他们的天赋倾向，我不太确定。

91:04

kind of stuff you program is hard it's like how get like that last 1%

嗯，还是那种解谜之类的。编程很难，就像最后那1%的差

91:08

to to close the gap how hard is that yeah I think with most other

距要补上，有多难？嗯，我觉得在大多数其他情况下，这一

91:13

cases the best practitioners of The Craft will use multiple tools and they'll do some

行最顶尖的从业者会使用多种工具，他们一部分工作用自然语

91:18

work in natural language and when they need to go you know right C for

言完成，当需要的时候，比如要写C语言代码，他们就会去

91:22

something

写。

91:22

they'll do that will we uh see humanid robots or humanoid robot brains from open

他们会这么做，我们会不会在某个时间点看到OpenAI的人形机器人或者人形机器人大脑？具身AI对你来说有多重要？我觉得如果我们有了AGI，但唯一能在物理世界做事的方式还是让人类去动手，那还挺让人沮丧的。所以我真的希望，在这个转变过程中，在这个相变里，我们也能得到人形机器人，或者某种物理世界的机器人。其实OpenAI在机器人领域有过不少历史，但一直

91:28

AI at some point at some point how important is embodied AI to you I

没怎么真正做出来。作为一家小公司，我们确实得专注，而且当时机器人的难点在于方向不对。但我们会以某种方式、在某个时间点重新回到机器人上。这话听起来既鼓舞人心又有点吓人。为什么？因为“我们会重新回到机器人上”听起来有点像终结者那种感觉。我们会回去开发机器人，当然不是把自己变成机器人。那你觉得，我们——你和整个人类——什么时候能造出AGI？我以前很喜欢

91:33

think it's like sort of depressing if we have AGI and the only way to

猜测这个问题，后来意识到这个问题本身定义就很模糊，大家对AGI的定义千差万别。所以我觉得更有意义的是讨论我们什么时候能造出具备某种能力的系统，而不是模糊地跨过某个里程碑。AGI也不是终点，它更像是一个起点，但比起终点，它更接近一个里程碑。不过为了不回避问题，我预计到本十年末，甚至可能更早一些，我们会有相当强大的系统，回头看会觉得“哇，这真了不起

91:38

like get things done in the physical world is like to make a human go

”。如果现在看，可能到那时候我们已经适应了。但你看ChatGPT 3.5，如果拿给艾伦·图灵看，甚至不是图灵，给90年代的人看，他们肯定会说这绝对是AGI。或者不一定绝对，但很多专家会说是AGI。但我不觉得3.5改变了世界，它可能改变了世界对未来的预期，这其实很重要，也让更多人认真对待这件事，把我们推上了一条新轨道，这也很重要。所以我不想低估它，

91:44

do it so I I really hope that as part of this transition as this

我觉得靠这个成就我就能退休，对自己的职业生涯很满意。但作为一个产物，我不认为我们以后回头看会说那是一个真正改变世界的门槛。所以对你来说，你在寻找某种更重大的转变，对世界来说，那部分就是AGI所隐含的——不是奇点级别的转变，但像互联网、谷歌搜索那样的重大转变。你觉得现在全球经济或者物质生活，和发布GPT-4之前相比，有什么实质性的不同吗？我会说……

91:49

phase change we also get uh we also get humanoid robots or some sort of

相变。我们也会有类人机器人，或者某种物理世界的机器人。OpenAI在机器人方面有一些历史，相当多的历史。但作为一家小公司，我们

91:54

physical world robots I mean open a has some history quite a bit of History

得真正聚焦，而且当时机器人因为错误的原因很难做。但我们会以某种方式、在某个时间点回到机器人上。这听起来既鼓舞人心又有点威胁。为什

91:58

working in robotics yeah but it hasn't quite like done in terms a small company

么？因为“我们会回到机器人上”听起来有点像终结者。我们会回去开发机器人，而不是把自己变成机器人。当然。你觉得我们——你和我们人类

92:03

we have to really focus and also robots were hard for the wrong reason at

——什么时候能造出AGI？我以前很喜欢猜测这个问题。后来我意识到，这个问题本身定义就很模糊。人们对AGI的定义千差万别。所以我觉

92:07

the time but like we will return to robots at in some way at some

得更有意义的是讨论什么时候我们能造出具备某种能力X、Y或Z的系统，而不是模糊地跨过某个里程碑。AGI也不是终点，它更接近起点，但

92:12

point that sounds

无论如何它更像一个里程碑。

92:13

both inspiring and menacing why because immediately we will return to robots kind of like

既鼓舞人心又令人不安，为什么？因为马上我们就要回到机器人这个话题，有点像《终结者》那种感

92:19

in in like termin we will return to work on developing robots we will not

觉——我们会继续开发机器人，当然不会把自己变成机器人。你觉得你、我们，作为人类，什么时候

92:24

like turn ourselves into robots of course yeah when do you think we you and

会造出AGI？我以前很喜欢猜测这个问题，但后来意识到它其实定义得很模糊。不过，为了不回避

92:30

we as Humanity will build AGI I used to love to speculate on that question

问题，我会说：我预计到本十年末，甚至可能更早一点，我们就会拥有一个相当强大的系统，让我们

92:35

I have realized since that I think it's like very poorly formed and

看着它说“哇，这真的太了不起了”。如果现在回头看，可能我们已经适应了这种变化。

92:40

that people use extremely definition different definitions for what AGI is uh and so I

不过，为了不回避问题，我会说

92:45

think it makes more sense to talk about when we'll build systems that can do

：我预计到本十年末，可能还会

92:50

capability X or Y or Z rather than you know when we kind of like

更早一些，我们会拥有相当强大

92:54

fuzzily cross this one mile marker it's not like like AGI is also not an

的系统，回头看时会说“哇，这

92:59

ending it's much more of a it's closer to a beginning but it's much more

真了不起”。如果现在看，也许

93:04

of a mile marker than either of those

我们已经适应了。

93:06

things and but what I would say in the of not trying to dodge a

但我想说的是——并不是在回避问题——我预计到本十年末，甚至可能更早一些，我们就会拥有相当强大的系统，我们看着它会说“哇，这真的太了不起了”。如果现在回头看，可能我们已经适应了这种变化。对于世界来说，这会是某种真正重大的转型。对我来说，这就是AGI所隐含的意义的一部分——像Singularity级别的转变？那肯定不是。但就像互联网那样重大的转变，或者像Google搜索那样，我觉得那算是一个转折点。你觉得现在的全球经济，

93:12

question is I expect that by the end of this decade and possibly somewhat sooner

跟GPT-4发布之前相比，有什么不同或者实质性的变化吗？我其实不太喜欢近年来对科学的怀疑态度，但即使是实际可测量的科学发现速度，哪怕只是看到一个系统拥有真正新颖的直觉——比如科学直觉——那也已经是不可思议的了。是的，那很可能就是你了。你会是那个先于其他人构建出AGI、并能与之互动的人。你会跟它聊些什么呢？我的意思是，这里的 researchers 肯定会比我先做到这一点。但我确实认真想过这个问题。如果有人说“好了，我

93:19

than that we will have quite capable system that we look at and say wow

们完成了，这是一台笔记本电脑，这就是AGI，你可以去跟它对话了”——我发现很难说清楚我会问什么。我预期第一个AGI并不能回答所有问题。第一个AGI不会是那种能告诉我“来，我给你解释一下物理学的统一理论、万物的终极理论”的东西。我很想问那个问题，我很想知道答案。也许在数学方面，它能证明一些东西。你对这方面也感兴趣吗？那种形式化的探索。谁先造出AGI，谁就会获得巨大的权力。你相信自己能驾驭这种权力吗？比如绕过董事会之类的

93:25

that's really remarkable if we could look at it now you know maybe we've adjusted

。但我觉得也有更积极的一面：如果人们拥有了权力，那么董事会也不能太强势。这里面存在一种权力平衡。权力平衡当然是好事。你害怕失去对AGI本身的控制吗？有很多人担心存在风险，不是因为国家行为体，也不是因为……我觉得大多数互联网时代的年轻人可能没有——或者也许现在仍然没有——我不确定。实际上，我现在真的在努力回忆一些东西：我觉得大写字母的使用在逐渐减少。如果你读古英语的写法，他们在句子中间会随意大写很多单词，比如名词之类的

93:31

by the

，我们现在已经不这么做了。我个人觉得这其实是个挺蠢的惯例。

93:32

time we get there yeah but you know if you look at Chad GPT e35

等我们真到了那个节点再说吧。不过你看，如果把ChatGPT e35拿给艾伦·图灵看，甚至不用图灵，拿给90年代的人看，他们肯定会说这绝对是AGI——也不一定绝对，但很多专家都会说这是AGI。但我不觉得e35改变了世界，它可能改变了世界对未来的预期，这其实非常重要，也确实让更多人开始认真对待这件事，把我们推上了一条新的轨道，这也很重要。所以我不想低估它

93:37

and you show that to Alan touring or not even aloran people in the 90s

，我觉得光凭这个成就我就能退休了，职业生涯已经很满足了。但作为一个产物，我不认为我们以后回头看会说那是一个真正改变了世界本身的阈值。对你来说，你在寻找某种世界运行方式的重大转变，对我来说那正是AGI的一部分含义——像奇点级别的转变？那肯定不是。但至少是像互联网、或者像Google搜索那样的重大转折点。你觉得GPT-4发布之后，全球经济有没有让你感觉不一

93:42

they would be like this is definitely AGI or not definitely but there's a lot

样了？或者你个人生活有没有实质性的变化？我觉得……当你独自在一个房间里跟一个系统对话，这对我个人来说意义重大。我不知道这是不是正确的定义。我认为当一个系统能显著提升全球科学发现的速度时，那才是大事。我相信大部分真正的经济增长来自科学和技术的进步。我同意你，所以我才不喜欢最近几年那种对科学的怀疑态度。但我说的是实际的速度——可测量的科学发现速度。哪怕只是

93:47

of experts that would say this is Agi yeah but I don't think chat I

看到一个系统产生真正新颖的直觉，比如科学直觉，那都已经不可思议了。你很可能就是那个造出AGI、并且比任何人都先跟它互动的人，你会跟它聊什么？我肯定，我们这里的研究员会比我更早做到。不过……我其实想过这个问题很多次。如果有人说，好了，我们完成了，这里有一台笔记本，这就是AGI，你可以跟它对话了。我发现很难说清楚我会问什么。我不指望第一个AGI能回答那种“

93:53

don't think 35 changed the world it maybe changed the world's expectations for the future

给我解释一下物理学的统一理论、万物的理论”之类的问题。我很想问那个问题，我也很想知道答案。但你可以问一些是或否的问题，比如“这样的理论存在吗？”“它可能存在吗？”那会是我最先问的问题——就是是或否。然后根据答案，再问“宇宙中还有其他外星文明吗？是或否？你的直觉是什么？”然后你就顺着问下去。不过我不认为第一个AGI能回答这些问题，哪怕是是或否。但如果它能

93:58

and that's

的话，这些问题绝对排在我列表的最前面。也许你能。

93:59

actually really important and it did kind of like get more people to take this

实际上这真的很重要，也确实让更多人认真对待这件事，把我们推上了一条新的轨道，这同样非常重要。

94:03

seriously and put us on this new trajectory and that's really important too so again

所以我不想低估它的意义。我觉得有了这个成就，我就可以退休了，对自己的职业生涯会相当满意。但作

94:07

I don't want to undersell it I think it like I could retire after that

为一个产物，我不认为我们以后回头看时会说那是一个真正改变世界的门槛。对你来说，你在寻找某种世

94:12

accomplishment and be pretty happy with my career but as an artifact I don't think

界运行方式的重大转变——对我来说，那正是AGI所隐含的一部分，像奇点级别的转变？当然不是，但

94:16

we're going to look back at that and say that was a threshold uh that

至少是一个重大的转变，就像互联网或者Google搜索那样。那么，在你看来，有什么转折点让全球经

94:21

really changed the world itself so to you you're looking

济现在和发布GPT-4之前相比感觉不同了，或者实质性地不同了？

94:23

for some really major transition in how the world for me that's part of what

对于世界运行方式的某种重大转变，对我来说，这就是AGI

94:29

AGI implies like Singularity level transition definitely not but just a major like the internet

所隐含的一部分——像奇点级别的转变？那肯定不是，但就像

94:34

being like like Google search did I guess uh what was a transition point that

互联网那样重大的转变，比如Google搜索带来的那种转折

94:40

does the global economy feel any different to you now or materially different to you

点。你觉得现在的全球经济，跟我们在发布GPT-4之前相

94:45

now than it did before we launched dpt4 I would I

比，有什么实质性的不同吗？我个人觉得没有。

94:49

think you would say no no no it might be just a really nice tool

你会说“不不不，它可能只是个对很多人来说挺好用的工具，能帮你搞定不少事，但感觉没什么特别。”而你在说——我的意思是，大家定义AGI的方式五花八门，所以也许你的定义和我不一样。但对我来说，我觉得那应该是AGI的一部分。可能还会有一些戏剧性的时刻。那么对你来说，AGI做到什么才算令人印象深刻？比如你独自和系统待在一个房间

94:54

for a lot of people to use will help you a lot of stuff but

里——这对我个人来说很重要，我不知道这是不是正确的定义。我觉得当一个系统能显著加快全球科学发现的速度时，那才是大事。我相信大多数真正的经济增长都来自科学和技术的进步。我同意你的看法，所以我不喜欢近年来对科学的怀疑态度。但关键是实际速度，也就是可测量的科学发现速度。哪怕只是看到一个系统有真正新颖的直觉，比如科学直觉，那也

94:58

doesn't feel different and you're saying that I mean again people Define AGI all sorts

已经不可思议了。是的，你很可能就是那个在别人之前造出AGI并与之互动的人。你会聊些什么呢？我的意思是，这里的研发人员肯定会比我先做到。但如果是我的话——我其实想过这个问题很多次。如果有人对我说：“好了，搞定了，这是一台笔记本电脑，这就是AGI，你可以去跟它聊聊。”我发现很难说清楚我会问什么。我不指望第一个AGI能回答

95:03

of different ways so maybe you have a different definition than I do but for

那些问题。第一个AGI不会是那种能跟我解释物理大统一理论、万物理论的东西。我很想问那个问题，我也很想知道答案。你可以问是或否的问题：这样的理论存在吗？它可能存在吗？那这就是我会问的第一个问题——就是简单的“是”或“否”。然后基于那个答案：外面有其他外星文明吗？是或否？你的直觉是什么？然后你就直接问了。嗯，我不指望第一个

95:07

me I think that should be part of it there could be major theatrical moments

AGI能回答这些问题，哪怕是“是”或“否”。但如果它能的话，这些问题绝对排在我列表的最前面。也许你可以开始分配概率。也许我们得先发明更多技术、测量更多东西。但如果它是AGI——哦，我明白了，它只是没有足够的数据。我的意思是，它可能会说：“你想知道这个物理问题的答案？我需要你造一台这样的机器，做这五次测量，然后把结果告诉

95:12

also what what to you would be an impressive thing AGI would

我。”就像“你到底想让我干嘛？我需要先有那台机器，然后我会帮你处理那台机器的数据。”也许它还能帮你造那台机器。也许在数学方面，它能证明一些东西。你对那方面也感兴趣吗？就是那种形式化的探索想法。谁先造出AGI，谁就获得了巨大的权力。你相信自己能驾驭那么多吗？

95:15

do like you are alone in a room with a system this is personally important

我会说——你独自在一个房间里和一个系统对话，这对我个人来说很重要，我不知道这是不是正确的定义。我认为当一个系统能显著加速全球科学发现的速率时，那将是一件大事。我相信大部分真正的经济

95:21

to me I don't know if this is the right definition I think when a

增长来自科学和技术的进步。我同意你的观点，这也是为什么我不喜欢近年来对科学的怀疑态度。但关键是实际的速率——可衡量的科学发现速率——哪怕只是看到一个系统拥有真正新颖的直觉，比如科学直

95:27

system can significantly increase the rate of scientific discovery in the world that's like a

觉，那本身就已经不可思议了。是的，你很可能就是那个造出AGI的人，能在其他人之前和它互动。你会聊些什么？我的意思是，肯定是这里的研究人员先做到，而不是我。但关于这个问题，我其实想过很

95:32

huge deal I believe that most real economic growth comes from scientific and technological progress

多。如果有人说“好了，我们完成了，这是一台笔记本电脑，这就是AGI，你可以去和它对话了”——我发现很难说清楚我会问什么，而且我也不指望第一个AGI能回答。第一个AGI不会是那种能“

95:38

I agree with you that's why I

去给我解释一下物理学的统一理论、万物的理论”的东西。我很想问那个问题，我很想知道答案。

95:40

don't like the skepticism about science in the recent years totally but actual rate like

我们称之为程序员的那类人，他们的技能组合会怎么变？这种变化在多大程度上改变了他们的思维倾向？我不太确

95:48

measurable rate of scientific discovery but even just seeing a system have really novel intuitions

定。还是同样的解谜能力，那些东西。编程很难，就像最后那1%的差距要怎么补上，到底有多难？对，我觉得在大

95:56

like scientific intuitions even that would be just incredible yeah you're quite possibly would be

多数其他情况下，最优秀的从业者会使用多种工具，他们会用自然语言做一部分工作，当需要的时候，比如去写C语

96:04

the

言代码。

96:05

person to build the AGI to be able to interact with it before anyone else

我完全理解近年来对科学的怀疑态度，但真正让人震撼的是，哪怕只是看到一个系统展现出真正新颖的直觉——比如科学直

96:09

does what kind of stuff would you talk about I mean definitely the researchers here

觉——那也已经不可思议了。对，你很可能就是那个能比任何人都早造出AGI、并与之互动的人。你会跟它聊些什么呢？

96:14

will do that before I do so uh but what will I i' I've actually

我觉得肯定是这里的研发人员先做到，而不是我。不过，我确实认真想过这个问题。如果有人跟我说，好了，我们完工了，

96:18

thought a lot about this question if I were someone was like I think this

这是一台笔记本电脑，这就是AGI，你可以去跟它对话了——我发现我很难说出自己到底会问什么。因为第一个AGI不

96:23

is as we talked ear I think this is a bad framework but if someone

太可能是那种能直接告诉我“来，给我解释一下物理学的统一理论”的东西。我很想问那个问题，我很想知道答案。也许在

96:27

were like okay we're finished here's a laptop this is

数学方面，它能证明一些东西。你对这方面也感兴趣吗？那种形式化的思想探索。

96:30

the AGI uh you know you can you can go talk to it like I

那个AGI嘛，你知道，你可以直接跟它聊

96:35

find it surprisingly difficult to say what I would ask that I would expect that

。我发现自己很难说清楚到底会问什么问题

96:39

first AGI to be able to answer um like that first one is not going

，才会觉得第一个AGI能回答。第一个A

96:43

to be the one which is like go like you know I don't think like

GI肯定不是那种，比如“去给我解释一下物

96:48

go explain to me like the grand unified theory of physics The Theory of Everything

理学的终极统一理论、万物理论”那种。我

96:52

for physics I'd love to ask that question I'd love to know the

倒是很想问这个问题，很想知道答案。

96:56

answer to that question you can ask yes and no questions about does such a

对于那个问题，你可以问是或否的问题——这种理论

97:00

theory exist can it exist well then those are the first questions I would ask

存在吗？它可能存在吗？嗯，那会是我最先问的问题

97:04

yes or no just very and then based on that are there other alien civilizations

，就是是或否，很简单。然后基于那个，还有其他外

97:08

out there yes or no what's your intuition and then you just asked that yeah

星文明存在吗？是或否？你的直觉是什么？然后你就直

97:12

I mean well so I don't expect that this first AGI could answer any of

接问了。对，我是说，嗯，我不指望第一个AGI能

97:16

those questions even as yes or NOS but those would if if it could those

回答其中任何一个问题，哪怕是是或否。但如果它能

97:20

would be very high on my list maybe you can

，那些会是我最想知道的。也许吧。

97:23

start assigning probabilities maybe maybe we need to go invent more technology and measure more

开始分配概率吧，也许我们得先去发明更多技术、测量更多数据，但如果这是个

97:26

things first but if it's a AGI oh I see it just doesn't have enough

AGI……哦，我明白了，它就是数据不够。我的意思是，它可能会说，比如你想

97:30

data I mean maybe it says like you know you want to know the answer

知道某个物理问题的答案，我需要你造这台机器、做这五次测量，然后告诉我结

97:34

to this question about physics I need you to like build this machine and make

果。你还要我怎样？我得先有那台机器，然后我才能帮你处理它产生的数据——也

97:38

these five measurements and tell me that yeah like what the hell do you want

许还能帮你造出那台机器。也许吧。而在数学方面，也许能证明一些东西。你对

97:42

from me I need the machine first and I'll help you deal with the data

那方面也感兴趣吗？那种对想法的形式化探索。谁先造出AGI，谁就能获得巨大

97:46

from that machine maybe it'll help you build

的权力。你相信自己能驾驭那么多权力吗？

97:48

the machine maybe maybe and on the mathematical side maybe prove some things are you

不管谁先造出AGI，都会获得巨大的权力。你相信自己能驾驭那么多权力吗？比如绕过董事会之类的。但我觉得也有更积极的一面：如果人们掌握了权力，董事会也不能太强势。这里面存在一种权力平衡。权力平衡

97:55

interested in that side of things too the formalized exploration of ideas whoever builds AGI

当然是好事。你害怕失去对AGI本身的控制吗？有很多人担心存在性风险，不是因为国家行为体，也不是因为……我觉得大多数互联网小孩以前可能没想过，也许现在也还没想，我不确定。实际上，我现在真的在努

98:02

first gets a lot of power do you trust yourself with that much

力回忆——我认为大写字母的使用率在下降。如果你读古英语的文本，他们会在句子中间随意大写很多词，比如名词什么的，我们现在已经不这么做了。我个人觉得这其实是个挺蠢的约定。

98:13

power look I I was gonna I'll just be very honest with this answer I

听着，我本来打算——我就直说了吧。我本来想说的是，

98:21

was going to say and I still believe this that it is important that I

而且我现在仍然相信，重要的是，我或者其他任何一个人都

98:29

nor any other one person have total control over open AI or over AGI and

不应该对OpenAI或AGI拥有完全的控制权，我认为

98:36

I think you want a robust governance system

我们需要一个健全的治理体系。

98:40

um I can point out a whole bunch of things about all of our board

嗯，我可以指出去年我们董事会闹剧中的一堆事——我一开始没有反抗，只是说“好吧，这是

98:46

drama from last year about how I didn't fight it initially and was just like

董事会的意愿”，尽管我觉得那是个非常糟糕的决定；后来我显然反抗了，我可以解释其中的

98:51

yeah that's you know the will of the board even though I think it's a

微妙之处，以及为什么我认为后来反抗是可以的。我觉得大多数人会同意这一点。但这确实让

98:56

really bad decision and then later I clearly did fight it and I can explain

我更难直视你的眼睛说：“嘿，董事会可以随时解雇我。”我仍然不想对OpenAI拥有超

99:02

the nuance and why I think it was okay for me to fight it later

级投票控制权，我从来没有过，也从未想要过。即使经历了所有这些疯狂的事情，我依然如此。

99:07

but as many people have observed um although the board had the legal ability to

嗯，我可以指出去年我们所有董事会闹剧中的一大堆事情，比如我一开始并没有反抗

99:15

fire me in practice it didn't quite work and that is its own kind of

，只是觉得“好吧，那是董事会的意愿”，尽管我认为那是个非常糟糕的决定，后来我

99:24

governance failure now again I I feel like I can completely defend the specifics

确实反抗了，我可以解释其中的细微差别，以及为什么我认为后来反抗是可以的。

99:32

here and I think most people would agree with that but it it does make

机器也许能，也许在数学方面能证明一些

99:38

it harder for me to like look you in the eye and say hey the

东西。你对那方面也感兴趣吗？那种形式

99:44

board can just fire me um I continue to not want super voting control over

化的思想探索。不管谁先造出AGI，都

99:51

open AI i' never have never had it never have wanted it um even after

会获得巨大的权力。你相信自己能掌控那

99:57

all this craziness I still

么多权力吗？

99:59

don't want it uh I continue to think that no company should be making these

但正如很多人观察到的，虽然董事会在法律上有权解雇我，但实际上这行不通，这本身就是一种

100:05

decisions and that we really need governments to put rules of the road in place

治理失败。现在，我再说一遍，我觉得我可以完全为自己在这件事上的具体行为辩护，而且我认

100:10

and I realize that that means people like Mark andrion or whatever will claim I'm

为大多数人会同意这一点，但这确实让我更难直视你的眼睛说：“嘿，董事会可以随时解雇我。

100:16

going for regulatory capture and I'm just willing to be misunderstood there it's not true

”嗯，我仍然不希望拥有对OpenAI的超级投票控制权，我从未有过，也从未想要过。即使

100:22

and I think in the fullness of

经历了所有这些疯狂的事情，我仍然不想要。

100:24

time midle get proven out why this is important um but I think I have

时间会证明为什么这很重要。但我觉得我在OpenA

100:29

made plenty of bad decisions for open AI along the way and a lot of

I的发展过程中做过很多糟糕的决定，也做过很多好的

100:34

good ones and I am proud of the track record overall but I don't think

决定。总体而言，我为我的履历感到自豪。但我不认为任

100:39

any one person should and I don't think any one person will I think it's

何一个人应该——也不认为任何一个人会——拥有那种

100:44

just like too big of a thing now and it's happening throughout Society in a

权力。现在这件事太大了，而且正在以健康的方式在整个

100:49

good and healthy way but I don't think any

社会中发生。但我不认为任何……

100:52

one person should be in control of an AGI that would be or or or

嗯，我仍然认为，没有任何一家公司应该独自做出这些决

100:58

or this whole movement towards AGI and I don't think that's what's happening thank you

定，我们真的需要政府来制定规则。我意识到这意味着像马

101:05

for saying that that was really powerful and that is really insightful that this idea

克·安德森这样的人会声称我在搞监管俘获，我甘愿被误

101:11

that the board can fire you is legally true but you can uh and human

解，这不是真的。而且我认为，随着时间的推移，大家会明

101:17

beings can manipulate the masses

白为什么这很重要。

101:19

into uh overriding the board and so on but I think there's also a much

我不喜欢近年来对科学的怀疑态度，但实际的可衡量的科学发现速度，哪

101:24

more positive version of that where the people have power so the board can't be

怕只是看到一个系统拥有真正新颖的直觉，比如科学直觉，那也会是不可

101:28

too powerful either there's a balance of power in all of this balance of power

思议的。对，那很可能就是AGI了。你可以去和它对话。我发现很难说出

101:33

is a good thing for sure are you afraid of losing control of the AGI

我会问什么，我预期第一个AGI能回答的问题。第一个AGI不会是那

101:38

itself there a lot of um people who worried about existential risk not because of

种，比如“去给我解释一下物理学的统一理论，万物理论”。我很想问那个

101:42

State actors not because of

问题，我很想知道答案。

101:44

security concerns but because of the AI itself that is not my top worry as

安全方面的担忧，但并不是因为AI本身，这不是我目

101:48

I currently see things there have been times I worried about that more there may

前最担心的事。过去我确实更担心过这个问题，未来可能

101:52

be times again in the future where that's my top worry it's not my top

又会变成我最担心的事，但现在不是。你直觉上觉得它

101:56

worry right now what's your intuition about it not being a worri cuz there's a

没那么值得担心，是因为有太多其他事要操心？本质上你

102:00

lot of other stuff to worry about essentially you think you could be surprised we

觉得你可能会被意外情况打脸？我们当然可能被意外情

102:03

for sure could be surprised like saying it's not my top worry doesn't mean I

况打脸。说这不是我最担心的事，并不代表我们不需要重

102:07

don't we need like I think we need to work on it's super hard

视——我觉得我们需要在这方面下功夫，这非常难。

102:11

we have and we have great people here who do work on that it's I

……去推翻董事会之类的。但我觉得还

102:15

think there's a lot of other things we also have to get right to you

有一个更积极的版本：人民拥有权力，

102:20

it's not super easy to escape the box at this time like connect to the

所以董事会也不能太强大。这其中存在

102:24

internet you know we like talked about theatrical risks earlier that's a theatrical risk like

权力平衡。权力平衡当然是好事。你害

102:29

that that is a that is a thing that can really like take over how

怕失去对AGI本身的控制吗？有很多人

102:33

people think about this problem and there's a big group of like uh very smart

担心存在风险，不是因为国家行为体，

102:37

I think very well-meaning AI

不是因为……

102:39

safety researchers that got super hung up on this one problem I'd argue without much

我们有，而且我们这里有很优秀的人在从事这方面的工作。但我觉得还有很多其他事情也必须做对。目前来说，想要突破限制并不容易，比如联网什么的。你知道，我们之前讨论过戏剧化风险，那就是一种戏剧化风险——这种东西真的会主导人们对这个问题的看法。有一大群非常聪明、我认为也非常善意的AI安全研究人员，完全卡在了这一个问题上。我敢说没什么进展，但就是死磕这一个问题

102:44

progress but super hung up on this one problem I'm actually happy that they do

。其实我很高兴他们这么做，因为我觉得我们确实需要更多思考这个问题。但这也把很多其他非常重要的AI相关风险挤出了讨论空间。让我问问你，你发推文不用大写字母，是不是键盘上的Shift键坏了？为什么有人会在意这个？我非常在意，但为什么——我是说别人也问过我这个问题。嗯，有什么直觉吗？我觉得这和诗人E.E. Cummings有点像，他基本不用大写字母，像是

102:50

that because I think we do need to think about this more but I think

在对系统说点什么。而且我觉得人们很偏执，因为他们希望你遵守规则。你觉得这就是原因？我觉得是——这就像“这家伙不守规矩，他发推文不大写”，嗯，“这看起来真的很危险，他像个无政府主义者”。你到底是在装文艺青年还是什么？怎么回事？我从小就是个守规矩的人，Sam。我从小就是个重度上网的小孩，花大量时间在网上和人聊天，那时候还是在电脑上，你知道，你可以随时下

102:55

it pushed aside it push out of the space of discourse a lot of the

线去用Messenger。我从来不大写，就像大多数网络小孩一样——也许现在他们也不大写，我不知道。而且实际上——我现在真的在努力找理由——但我觉得大写字母的使用率一直在下降。如果你读古英语的写作，他们会在句子中间随机大写很多单词、名词什么的，我们现在早就不这么干了。我个人觉得这其实是个很蠢的规矩，比如句子开头和某些名字要大写之类的。但你知道，我也无

103:00

other very significant air related risks let me ask you about you Tweeting with no

所谓。然后我以前——我甚至以前发推文也会大写，因为想显得专业一点。嗯，但我的私人私信什么的很久都不大写了。然后慢慢地，像短一些、不那么正式的内容，就越来越接近我和朋友发短信的方式。如果我打开一个Word文档写公司的战略备忘录，我肯定会大写；如果我写一篇比较长的、更正式的信息，我也会用大写。所以我还是记得怎么做的，但就连这个可能也会慢慢消失，我不知道。

103:06

capitalization is the shift key broken on your keyboard why does anyone care about that

我觉得大多数人都会同意这一点，但这确

103:10

I deeply care but why I mean other people ask me about that too yeah

实让我更难直视你的眼睛说：“嘿，董事会

103:15

any intuition I think it's the same reason there's like uh there poets E Cummings

可以随时解雇我。”嗯，我仍然不想对O

103:20

that doesn't mostly doesn't use capitalization to say like you to the system kind of

penAI拥有超级投票控制权。我从来没

103:24

thing and I think people are very paranoid because they want you to follow the

有过，也从来没有想要过。即使经历了所有

103:29

rules you think that's what it's about I think it's it's

这些疯狂的事情，我依然如此。

103:33

it's uh it's like this guy doesn't follow the rules he doesn't capitalize his tweets

嗯，这人完全不守规矩，发推都不大写。对，看起来真的很危险，他像个无政府主义者。你这是在装文艺青年吗？什么情况？我从小就是个守规矩的人，Sam。我是在网上长大的孩子，花大量时间跟人聊天，那时候还是在电脑上聊，你知道，到点可以下线关掉Messenger，我从来不大写。我觉得大多数网络小

103:37

yeah this seems really dangerous he seems like an anarchist it doesn't are you just

孩都这样，可能现在也还是这样，我不确定。而且说实话，我现在真的在努力想个说法，但我感觉大写字母的使用率一直在下降。你看古英语的写法，他们会在句子中间随机大写很多词，名词什么的，我们现在早就不这么干了。我个人觉得，在句子开头、某些名字之类的地方用大写字母，其实是个挺蠢的规矩。不过，也无

103:42

being poetic hipster what what's the uh I grew up as follow the rules Sam

所谓，没问题。然后我，我以前发推甚至还会大写，因为想显得专业一点。嗯，我自己的私信什么的已经很久不大写了。慢慢地，那些更短、更不正式的内容，就越来越接近我跟朋友发短信的方式。如果我打开Word文档写公司战略备忘录，我肯定会用大写。写比较长、比较正式的信息时，我也会用大写。所以我还记

103:46

I grew up as a very online kid i' spent a huge amount of time

得怎么用，但可能连这个习惯也会慢慢消失，我不知道。有人说这是某种标志，因为……我肯定可以强迫自己用大写字母，如果这让人觉得是尊重的话，那我当然能做到。但我不确定，我就是没想过这事。我不觉得这是不尊重，但我觉得这只是文明礼仪的惯性，然后你会发现，如果它不代表不尊重，那它对文明其实没那么

103:51

like chatting with people back in the days where you did it on a computer

重要。这个话题我们回头再聊。鉴于Sora能生成模拟世界，让我问个抽大麻时会想的问题：这有没有让你更相信——如果你曾经相信过的话——我们活在模拟里？一个可能由AI系统生成的模拟世界？是的。但关键是，而且它肯定会越来越好，关键在于你能生成世界，它们是全新的，基于训练数据的某些方面，但你

103:55

you know you could like log off into messenger at some point and I never

看的时候会觉得它们很新颖。这让你觉得，做这件事有多容易，创造整个宇宙、整个像电子游戏一样的世界，看起来超逼真、照片级真实，然后这有多容易？有时候，平方根函数，根号4没问题，根号2，好吧，现在我得想想这种新数字了。但一旦我想出平方根函数这个简单的概念，你甚至可以跟小孩解释，甚至通过看一

104:00

capitalized

些简单的东西就存在。

104:00

there as I think most like internet kids didn't or maybe they still don't I

我们稍后再回到这个话题。鉴于So

104:05

don't know um and I actually this is like now I'm like really trying to

ra能够生成模拟世界的能力，我想问

104:10

reach for something but I think capitalization has gone down over time like if you

你一个有点“飞叶子”风格的问题：

104:15

read like Old English writing they capitalized a lot of random words in the middle

这是否增加了你对我们生活在模拟世界

104:20

of sentences nouns and stuff that we just don't do anymore I personally think it's

中的信念？也许是一个由AI系统生成

104:25

sort of like a dumb construct that we

的模拟世界？是的。

104:27

capitalize the letter at the beginning of a sentence and of certain names and whatever

涉及到推翻董事会之类的。但我觉得也有一个更积极的版本

104:33

but you know I don't it's fine uh and then what I and I used

，那就是人民拥有权力，所以董事会也不能太强大。这里面

104:38

to I think even like capitalize my tweets because I was trying to sound professional

需要一种权力平衡。权力平衡当然是好事。你害怕失去对A

104:43

or something um yeah I haven't capitalized my like private DMS or whatever in a

GI本身的控制吗？有很多人担心存在风险，不是因为国家

104:49

long time and then slowly stuff

行为者，也不是因为……

104:52

like shorter form less formal stuff has slowly drifted to like closer and closer to

像那种更短、更随意的内容，已经慢慢变得跟我

104:57

like how I would text my friends if I like write if I like pull

给朋友发短信差不多。但如果我打开一个Wor

105:02

up a Word document and I'm like writing a strategy memo for the company or

d文档，写公司战略备忘录之类的东西，我肯定

105:07

something I always capitalize that if I'm writing like a long kind of more like

会用大写。写那种比较长、比较正式的文本时，

105:12

formal message I always use capitalization there too so I still remember how to do

我也会用大写。所以我还是记得怎么做的，但可

105:17

it but even that may Fade Out I don't know like

能连这个也会慢慢消失，谁知道呢。

105:20

it's but I never spend time thinking about this so I don't have like a

但我从来没花时间想过这个，所以我没有现成的答案。嗯，这挺有意思的。首先，很高兴知道Shift键没坏。我主要担心你那边的情况

105:24

readymade well it's interesting it's good to first of all know there's the shift key

。我好奇人们是不是还会在Google搜索时用大写字母，比如你写给自己看的东西，或者ChatGPT的查询。如果是写给自己看，

105:28

is not broken I mostly concerned about your while being on that front I wonder

还有人会费心大写吗？可能不会，但确实有，不过比例很小。让我会这么做的情况是，如果人们觉得这是一种尊重的标志——因为我肯定可

105:31

if people like still capitalize their Google searches like if you're writing something just to

以强迫自己用大写字母，如果这让人觉得是尊重对方的话，那我就能做到。但我不确定，我就是没想过这个。我不觉得这是不尊重，但我觉得

105:35

yourself or their chbt queries if you're writing something just to yourself do you still

这只是文明习惯的惯性，然后你意识到，如果它不代表尊重或不尊重，那它对文明其实并不重要。不过有一群人希望你对这个有明确的看法

105:39

do do do some people still bother to capitalize probably not but very it's yeah

，这样他们就能放下整个大写的问题。我觉得没别人会想这个，至少我认识的人里没有。我每天花很多小时想这个，所以我很感激我们澄清

105:42

there's a percentage but it's a small one the thing that would make me do

了这一点。我不可能是唯一一个发推不用大写的人吧？你是唯一一个不发大写推文的CEO。我甚至不觉得这是真的，但也许吧。好吧，我

105:46

it is if

们之后再深入探讨这个话题。

105:47

people were like it's a sign of like like cuz I I'm sure I could

有人说这代表尊重——因为我当然可以强迫

105:51

like force myself to use capital letters obviously if if if it felt like a

自己用大写字母，如果这让人觉得被尊重的

105:55

sign of respect to people or something then then I could go do it yeah

话，我也能做到。但我不确定，我只是没想

106:00

but I don't know I just like I don't think about this I don't think

过这事，我觉得这不代表不尊重。但礼貌的

106:04

there's a disrespect but I think it's just the conventions of Civility that have a

惯例有它自己的惯性，后来你会发现，如果它

106:09

momentum and then you realize it's not actually important for civility if it's not a

根本不是尊重的标志，那它对礼貌其实并不

106:13

sign of

重要。

106:14

respect or disrespect but I think there's a movement of people that just want you

鉴于Sora能生成模拟世界，让我问一个有点哲学的问题：

106:18

to have a philosophy around it so they can let go of this whole capitalization

这有没有增加你对我们生活在模拟中的信念——也许是一个由

106:22

thing I don't think anybody else thinks about this as my I mean maybe some

AI系统生成的模拟世界？是的，有一点。我不觉得这是最强

106:26

I know about this every day for many hours a day so I'm I'm really

有力的证据，但我觉得我们能生成世界这件事，应该多少增加

106:30

grateful we clarified it can't be the only person that doesn't capitalize tweets you're the

每个人的概率，或者至少让人对它更开放一些。但你知道，我

106:34

only CEO of a company that doesn't capitalize tweets I don't even think that's true

早就确信我们迟早能做出像Sora这样的东西，它来得比我

106:38

but maybe maybe all right we'll invate further and and

预想的快，但我想这不算一个很大的更新。

106:41

uh return to this topic later given sora's ability to generate uh simulated worlds let

嗯，回到这个话题，既然Sora能生成模拟世界，那我问你

106:49

me ask you a pothead question uh does this increase your belief if you ever

一个有点上头的问题——这是否让你更相信，如果你曾经有过这

106:57

had one that we live in simulation maybe a simulated world uh generated by an

种想法的话，我们可能活在模拟里？一个由AI系统生成的模拟

107:05

AI system yes

世界？是的。

107:07

somewhat I don't think that's like the strongest piece of evidence I think the fact

但事实是，它会变得越来越好。你能生成全新的世界，它们基于训练数据的某些方面

107:13

that we can generate worlds should increase everyone's probability somewhat or at least open to

，但当你看到它们时，它们是新颖的。这让你思考：做这件事有多容易？这些创造整

107:19

it openness to it somewhat but you know I was like certain we would be

个宇宙、整个视频游戏世界的东西，看起来超逼真、照片级真实，然后你有多容易沉

107:25

able to do something like Sora at some point it happened faster than I thought

浸在那个世界里？先是戴上VR头显，然后在物理层面。最近有人对我说了一句话，

107:31

but that I guess that was not a big update yeah

我觉得非常深刻：有一些听起来很简单但非常迷幻的洞察存在。

107:36

but it the fact that and presumably it get better and better and better the

呃，回到这个话题。鉴于Sora能生

107:41

fact that you can generate worlds they're novel they're based in some aspect of training

成模拟世界，我问你个抽大麻时会问的问

107:47

data but like when you look at them they're they novel um that makes you

题——这会不会让你更相信，如果你曾经

107:52

think like how easy it is to do this thing how these create universes entire

有过这种想法的话，我们活在模拟世界里

107:57

like video game worlds that seem ultra realistic and photo realistic and then how easy

？一个可能由AI系统生成的模拟世界？

108:03

is it

是的。

108:03

to get lost in that world first with a VR headset and then on the

有时候，平方根函数——4的平方根没问题，2的平方根呢？好

108:12

physics based level someone said to me recently I thought it was a super profound

吧，现在我得思考这种新数字。但一旦我想出这个简单的平方根

108:20

Insight that uh there are these like very simple sounding but very psychedelic insights that

函数概念，你甚至可以向孩子解释，它通过一些简单的东西就存

108:29

exist

在。

108:29

sometimes so the square root function square root of four no problem square root of

嗯，这个话题先放一放。既然Sora能生成

108:35

two you know okay now I have to like think about this new kind of

模拟世界，那我问你一个有点“大麻”的问题

108:41

number um but once I come up with this easy idea of a square root

——这会不会让你更相信（如果你以前有过这

108:47

function that you know you can kind of like explain to a child and exists

种想法的话）我们活在模拟里？一个可能由A

108:52

by even like you know looking at some simple

I系统生成的模拟世界？会。

108:56

geometry then you can ask the question of what is the square root of1 and

几何之后，你可以问一个问题：1的平方根是什么？然后你就会发现，这就像那种迷幻的东西，把你带进另一种完全不同的现实。你可以举出很多其他例子，但我觉得，这个不起眼的平方根运算符能带来如此深刻的洞见和一个全新的知识领域，这在很多方面都适用。而且我认为，有很多这样的运算符，解释了为什么人们可能觉得他们喜欢的任何一种模拟假说版本，比他们以前认为的更有可能。但对我来说，Sora能工作这件事，连前五都排不上。我确实认为，广义上讲，AI会扮演那种

109:02

that this is you know why it's like a psychedelic thing that like tips you

入口的角色——在最理想的情况下，就像简单的迷幻入口，带你进入另一种现实，这看起来是确定的，挺让人兴奋的。我还没试过iasa，但很快会试。几周后我要去之前提到的亚马逊丛林。你兴奋吗？嗯，我兴奋的不是iasa那部分，那个挺好的，随便吧。但我要在丛林深处待几周，深入丛林，这很刺激，但也挺吓人的，因为那里有很多东西能吃掉你、杀死你、毒死你。但这也是自然，是自然的机器。在亚马逊丛林里，你没法不欣赏自然的机器，因为它就像一个系统，每秒钟、每分钟

109:08

into some whole other kind of reality and you can come up with lots of

、每小时都在自我更新，它就是那台机器。它会让你意识到，我们拥有的这个东西——这个人类的东西——是从某个地方来的，这台进化机器创造了它，而在丛林里，这一点展现得最清楚。希望我能活着出来，如果不能，这就是我们最后一次对话了，所以我真的非常感激。你觉得，像我之前提到的，宇宙中还有其他外星文明吗？有智慧的那种。当你仰望星空时，我打心底里希望答案是肯定的。我确实发现费米悖论非常非常令人费解。我觉得智慧不擅长处理——是的，非常可怕——强大的技

109:14

other examples but I think this idea that the lowly square root operator can offer

术，这让我害怕。但同时，我相当确信宇宙中存在着大量智慧外星文明。可能只是星际旅行真的很难，非常有可能。这也让我思考智慧的本质。也许我们对智慧的样子真的很盲目，也许AI会帮我们看到，它不只是IQ测试和简单的解谜，还有更宏大的东西。什么让你对人类未来抱有希望？对我们正在进行的这个人类文明？我觉得过去有很多东西。如果我们看看人类在不长的时间里做了什么，你知道，巨大的问题，深刻的缺陷，很多让人羞愧的东西，但总体上是极其鼓舞人心的。仅仅是整个

109:21

such a

轨迹就给了我很多希望。是的，我们在一起朝着更好的方向前进。

109:21

profound insight and a new realm of knowledge applies in a lot of ways and

深刻的洞见和全新的知识领域在很多方面都适用，我觉得有很多理由让人认为，他们喜欢的任何一种模拟假说版本，可能比以前想象中更有可能成立。但对我来说，Sora 能跑通这件事，连前五都排不上。我确实认为，从广义上讲，AI 在最好的情况下，会像那种迷幻剂一样的通道，带你通往另一种看待现实的视角，这听起来挺让人兴奋的。我还没试过 iasa，但很快会去试，几周后我就要去之前提到的亚马逊丛林了。你兴奋吗？嗯，我兴奋的不是 iasa 那部分，那当然也挺好，无所谓。但

109:28

I think there are a lot of those operators for why people may think that

我要在丛林深处待上几周，很刺激，也很吓人，因为那里有很多东西能吃掉你、杀死你、毒死你。但同时也是大自然，是自然的机器。在亚马逊丛林里，你没法不欣赏自然的机械性，因为它就是一个系统，每分每秒都在自我更新，它就是那台机器。它会让你意识到，我们人类拥有的这个东西，这个人类文明，是从某个地方来的，这台进化的机器创造了它，而在丛林里，这一切展现得最清楚。希望我能活着出来，如果不能，这就是我们最后一次对话了，所以我真的非常珍惜。你觉得，像我之前提到的，宇宙中还

109:35

any version that they like of the simulation hypothesis is maybe more likely than they

有其他智慧外星文明吗？当你仰望星空的时候，我打心底里希望答案是肯定的。但我确实觉得，费米悖论非常令人费解，也很吓人——智慧并不擅长处理，嗯，非常危险的强大技术。但同时，我相当确信宇宙中存在着大量智慧外星文明，可能只是星际旅行实在太难了，完全有可能。这也让我思考智慧的本质，也许我们对智慧的样子真的很盲目，而 AI 可能会帮我们看到，它并不只是 IQ 测试和简单的解谜，还有更宏大的东西。是什么让你对人类未来抱有希望？对我们正在进行的这个人类文明？我觉得

109:42

thought before but for me the fact that Sora worked is not in the top

过去已经说明了很多。如果我们看看人类在并不算长的时间里所做的事，你知道，巨大的问题、深刻的缺陷、很多让人羞愧的事，但整体来看非常鼓舞人心，光是这个轨迹就给了我很多希望。是的，我们在一起朝着一个更好、截然不同的方向前进，而这并不是因为生物上的变化，而是因为，你大概变得更健康了，有现代医学，吃得更好之类的。但真正重要的是，我们所有人共同贡献了这座脚手架，建立在它之上——没有一个人能独自造出 iPhone，没有一个人能独自发现所有科学，但你却可以用上它。

109:49

five I do think broadly speaking AI will serve as those kinds of gateways at

但问题是，而且它肯定会越来越好——你能生成全新的世界

109:54

its best simple psychedelic like gateways to another wave see reality that seems for certain

，它们基于训练数据的某些方面，但当你去看的时候，它们

110:00

that's pretty exciting I haven't done iasa before but I will soon I'm going to

是全新的。这让你觉得，做这件事有多容易？创造整个宇宙

110:05

the aforementioned Amazon jungle in a few weeks you excited yeah I'm excited for not

、整个像视频游戏一样的世界，看起来超真实、照片级真实

110:11

the iasa part that's great whatever

，然后这到底有多容易？

110:13

but I'm going to spend several weeks in the jungle deep in the jungle and

但我要在丛林深处待上几周，真正的丛林深处。这事

110:18

it's exciting but it's terrifying because there's a lot of things that can eat you

挺让人兴奋的，但也特别吓人，因为那里有太多东西

110:22

there and kill you and poison you and uh but it's also nature and it's

能吃掉你、毒死你、弄死你。不过，那也是大自然，是

110:27

the machine of Nature and you can't help but appreciate the Machinery of nature in

自然的机器。身处亚马逊丛林，你没法不欣赏自然的

110:31

the Amazon jungle cuz it's just like this system that just exists and renews itself

机械之美——它就是一个系统，存在并自我更新着，

110:36

like every second every minute every hour just in it's the machine it

每秒、每分、每时都在运转，它就是那台机器。

110:40

makes you appreciate like this thing we have here this human thing came from somewhere

有时候，平方根函数——根号4没问题

110:45

this evolutionary machine has created that and it's most clearly on display in the jungle

，根号2呢？好吧，我现在得思考一种

110:51

so hopefully I'll make it out alive if not this will be the last conversation

新的数字。但一旦我想出这个简单的平

110:56

we had so I really deeply appreciate it uh do you think as I mentioned

方根函数概念，你甚至可以跟小孩解释

111:01

before there's other alien civilizations out there intelligent ones when you look up at the

，甚至通过看一些简单的例子就能存在。

111:16

skies I deeply want to believe that the answer is yes I do find the

有时候会。比如平方根函数，根号4没问题，

111:23

kind of where I I find the firmy Paradox very very puzzling I find it

根号2呢？好吧，我得开始想一种新的数。但

111:29

scary that intelligence is not good at handling yeah very scary powerful Technologies but at

一旦我搞清楚了平方根这个简单的概念，它甚

111:36

the same time I think I'm pretty confident that there's just a very large number

至可以用小孩都能懂的方式解释，而且通过一

111:42

of intelligent alien civilizations out there it might

些简单的观察就能存在。

111:45

just be really difficult to travel through space very possible and it also makes me

穿越太空真的非常困难，但也很有可能。这也让我思考智能的本质——也许我们对智能的样子真的很盲目，而AI可能会帮助我们看清，它并不像IQ测试和简单解谜那么简单，还有更宏大的东西。你对人类的未来有什么希望？就是我们正在进行的这个人类文明。我觉得过去已经说明了很多。我的意思是，只要看看人类在并不算长的时间里所做的事—

111:52

think about the nature of intelligence Maybe were really blind to what intelligence looks like

—你知道，巨大的问题、深刻的缺陷、很多让人羞愧的事——但整体来说非常鼓舞人心，这给了我很多希望。就是整个发展轨迹。是的，我们在一起朝着一个截然不同的方向前进。而这并不是因为生物上的变化，而是因为——你变得更健康了一点，可能有了现代医学，吃得更好之类的——但真正重要的是，我们共同贡献了这种脚手架，建立在它之上。没

111:58

and maybe AI will help us see that it's not as simple as IQ tests

有一个人能独自造出iPhone，也没有一个人能独自发现所有科学，但你却可以使用它。你害怕它吗？我的意思是，如果我明天就要死了，而今天我知道了，我会觉得“哦，真可惜”。我不想错过，我想看看接下来会发生什么。是啊，多么好奇的时代，多么有趣的时刻。但我最可能的感觉是，对我所拥有的生命充满感激，对那些你确实拥有的时刻

112:04

and simple puzzle solving there's something bigger what gives you hope about the future of

。我也是。这真是一段很棒的人生。我能享受人类那些了不起的创造，我相信ChatGPT就是其中之一，还有OpenAI所做的一切。Sam，真的很荣幸也很高兴能再次和你交谈。很高兴和你聊天，谢谢你邀请我。感谢收听这次与Sam Altman的对话。为了支持本播客，请查看我们在描述中的赞助商。现在，让我用Arthur C.

112:10

humanity this thing we got

Clarke的一句话来结束：也许我们在这个星球上的角色不是崇拜神，而是创造神。感谢收听，希望下次再见。

112:12

going on this human civilization I think the past is like a lot I mean

涉及到推翻董事会之类的事情，但我觉得也有一个更积极

112:18

if we just look at what Humanity has done in a not very long period

的版本，那就是人们拥有权力，所以董事会也不能太强大

112:23

of time you know huge problems deep flaws lots to be super ashamed of but

。这里面存在一种权力平衡。权力平衡当然是好事。你害

112:29

on the whole very inspiring gives me a lot of Hope just the trajectory of

怕失去对AGI本身的控制吗？有很多人担心存在风险，

112:35

it all yeah that we're together pushing towards a better

不是因为国家行为体，也不是因为……

112:39

future it is you know one one thing that I wonder about is is is

未来嘛，你知道，我好奇的一件事是：AGI 会更像是一个单一的大脑，还是更像我们所有人之间的那种社会性“脚手架”？你和你的曾曾曾祖父母之间并没有太大的基因漂变，但你能做的事情、你知道的东西，却天差地别。这可不是因为生物上的变化，而是——我是说，你可能更健康了一点，有现代医学，吃得更好之类

112:45

Agi going to be more like some single brain or is it more like the

的——但真正关键的是，我们所有人共同贡献、搭建起来的这个“脚手架”。没有哪个人能独自造出iPhone，也没有哪个人能独自发现所有科学，但你却能用上这些。这赋予了你不可思议的能力。所以从某种意义上说，是我们所有人一起创造了这一切。这让我对未来充满希望——那是一件非常集体性的事情。没错，我们

112:51

sort of Scaffolding in society between all of us you have not had a great

真的是站在巨人的肩膀上。你之前提到，在讨论那些戏剧性的AI风险时，有时候你可能会为自己的生命感到害怕。你会思考自己的死亡吗？你害怕吗？我的意思是，如果我明天中枪了，而且我今天就知道，我会觉得“哦，真可惜”。我不想错过接下来会发生的事。是啊，多么好奇的时代，多么有趣的时刻。但我主要会感到

112:56

deal of genetic drift from your great great great grandparents and yet what you're capable

非常感激我的人生，感激我拥有的那些时刻。我也是。这真是相当精彩的一生。我能享受人类创造的伟大作品——我相信ChatGPT就是其中之一，还有OpenAI所做的一切。Sam，再次和你聊天真是荣幸和愉快。很高兴和你交流。谢谢你邀请我。感谢收听这次与Sam Altman的对话。要支持本播客，请查

113:02

of is dramatically different what you know is

看描述中的赞助商。现在，让我用Arthur C. Clarke的一句话来结束：也许我们在这个星球上的角色不是崇拜上帝，而是创造他。感谢收听，希望下次再见。

113:06

dramatically different and that is not that's not because of biological change it is because

但我接下来要在丛林里待几周，深入丛林深处。很兴

113:10

I mean you got a little bit healthier probably you have modern medicine you eat

奋，但也挺吓人的，因为那里有很多东西能吃掉你、弄

113:15

better whatever um but what you have is this scaffolding that we all contributed to

死你、毒死你。但这也是大自然，是自然的机器。在

113:20

built on top of no one person is going to go build the iPhone no

亚马逊丛林里，你没法不欣赏大自然的“机械装置”，

113:25

one person is going to go discover all of Science and yet you get to

因为它就是一个系统，每分每秒都在自我更新，它就是

113:30

use it and

那台机器。

113:31

that gives you incredible ability and so in some sense they like we all created

这赋予了你不可思议的能力，所以从某种意义上说，我们共同创造了这一切，这让我对未来充满希望——那真是一件集体协作的成果。是啊，我们确实站在巨人的肩膀上。你之前提到，在讨论戏剧化的AI风险时，有

113:37

that and that fills me with hope for the future that was a very Collective

时你也会为自己的生命感到恐惧。你会思考自己的死亡吗？你害怕死亡吗？我是说，假如我明天中枪，而今天我就知道了，我大概会觉得“啊，真遗憾”。我挺想看看未来会发生什么，对吧？这是个多么令人好奇的时代

113:43

thing yeah we really are standing on the shoulders of giants you mentioned when we

，多么有趣的时代。但我更多会是对自己的一生充满感激，感激那些你确实拥有的时刻。我也是，这真是相当精彩的一生。我能享受人类创造的伟大作品，我认为ChatGPT就是其中之一，还有OpenAI所做的

113:49

were talking about theatrical dramatic AI risks that sometimes you might be afraid for your

一切。Sam，再次和你交谈真是莫大的荣幸和愉快。很高兴和你聊天，谢谢你邀请我。感谢收听这次与Sam Altman的对话。要支持本播客，请查看描述中的赞助商信息。现在，让我用Arthur C.

113:55

own life do you think about your death

Clarke的一句话作为结尾：也许我们在这个星球上的角色不是崇拜神，而是创造神。感谢收听，期待下次再见。

113:59

are you afraid of it I mean I like if I got shot tomorrow and

回看人类文明，我觉得过去有很多……我是说，如果

114:04

I knew it today I'd be like oh that's sad I like don't you know

我们只看人类在并不算长的时间里做了什么——巨大的

114:09

I want to see what's going to happen yeah what a curious time what an

问题、深层的缺陷、很多让人羞愧的事——但整体来看

114:15

interesting time but I would mostly just feel like very grateful for my life the

，又非常鼓舞人心，给了我很多希望。就是整个发展的

114:20

moments that you did get yeah me too it's a pretty awesome

轨迹，我们在一起，朝着更好的方向推进。

114:24

life I get to enjoy awesome creations of humans of which I believe Chad GPT

生活中我能享受人类那些了不起的创造，我觉得Chad GPT就是其中之一

114:29

is one of and everything that uh open the ey is doing Sam it's uh

，还有OpenAI正在做的所有事情。Sam，真的很荣幸也很高兴能再次和你

114:33

really an honor and pleasure to talk to you again great to talk to you

对话。很高兴和你聊天，谢谢你邀请我。感谢收听这期与Sam Altman的

114:37

thank you for having me thanks for listening to this conversation with Sam Alman to

对话。要支持本播客，请查看简介中的赞助商信息。最后，用Arthur C.

114:42

support this podcast please check out our sponsors in the description and now let me

Clarke的一句话作为结尾：也许我们在这个星球上的角色不是崇拜神，而

114:46

leave you with some words from Arthur

是创造神。感谢收听，期待下次再见。

114:48

C Clark and may be that our role on this planet is not to worship

这个话题我们回头再聊。鉴于Sora能生成模拟世界，我问你个抽大麻时才会想的问题——这有没有

114:59

God but to create him thank you for listening and hope to see you next

让你更相信，如果你曾经有过这种想法的话，我们活在模拟世界里？也许就是一个AI系统生成的模拟

115:11

time

世界？

Play Queue