"最动手我就知谈谷歌相当有但愿文爱 社区，谷歌能发展到现时的范畴不外是水到渠成。"

这位谷歌首席科学家在谷歌渡过了近乎一半的东谈主生，对谷歌的宠爱不减反增，到现时还依然信守着谷歌最先的愿景并为此隆盛：

组织全球信息并使其弥远可用和有用

Jeff Dean 还牢记刚加入谷歌的时候，每到周二的流量岑岭期就动手惦念系统会不会崩溃，还好其后实时加多了开导，对代码和搜索功能作念了更多优化，谷歌搜索这才步入了正轨。

其后吴恩达在谷歌担任参谋人，Jeff Dean 和他约定了大型神经收集的计议方针，最终促成了 Google Brain 团队的开导。

2011 年，伴跟着质疑和不信任，Google Brain 终于奏凯锻练出比其时其他模子大 50 到 100 倍的神经收集。

而在兼并时期的大洋此岸，DeepMind 的计议才刚刚动手。

Jeff Dean 想作念的一直齐是高质料、大范畴的多模态模子。其时的 DeepMind 和 Google Brain 有着访佛的计议方针，只是采用了强化学习和模子蔓延两个不同的标的。

收购 DeepMind 后，Jeff Dean 鼓励了两大团队的和会，Google DeepMind 应时而生。

强强集会之下，Google DeepMind 交出了一份令东谈主现象的答卷，Gemini。

Gemini 的上风不啻在于多模态，更在于"化繁为简"的念念路。

受益于底层的 Transformer 架构，Gemini 能够并行处理多量数据，比拟传统递归模子，擢升了 10 到 100 倍。更紧迫的是，Gemini 能把不同类型的数据通过详尽障碍为相通的高维默示，把名义道理偏激之外的集会道理和默示整合起来。

举个例子，Gemini 不仅能识别"牛"这个词语，还能发散到和牛计议的语音、图片等等其他内容，反过来输入这些相关的内容也能触发 Gemini 对"牛"的多头绪解析。

对用户来说，一切齐变得粗浅、直不雅。

无需切换器具或者输入步地，用户就能通过笔墨、语音、图片等方式与系统互动。

而系统也会自动整合多样输入方式，生成最直不雅、最易于解读的间隔。文本可以滚动为图像，图像也可以滚动为语音，笔墨与图像的和会也能自动完了。

对开发团队来说，这一时代的完了相等复杂，但 Gemini 依然奏凯冲破了这些挑战。

关联词，Jeff Dean 的洪志远不啻于此。他现时努力于开发更深入东谈主们生涯的东谈主工智能器具，涵盖从日常助理到医疗、AI 种植等多个规模。

多模态模子的出息和谷歌一样充满了可能。Jeff Dean 确信，从昔日到畴昔，这一规模将握续饰献技强盛的后劲和但愿。

前几天，Jeff Dean 作客 DeepMind 播客，论说了他和谷歌的这段昔日、DeepMind 与 Gemini 背后的故事，以及我方对多模态模子的探索和解析。

齐全播客视频可以点以下畅达不雅看：

https://www.youtube.com/watch?v=lH74gNeryhQ

AI 科技驳倒摘取了部分播客内容，作念了不改原意的精编处理：

90 年代的谷歌

Hannah Fry：你在谷歌奇迹了 25 年，早期的谷歌是什么样的？90 年代刚加入的时候，是不是群众的条记本上贴满了贴纸，衣裳东谈主字拖在编程？

Jeff Dean：那时莫得条记本，咱们用的是大 CRT 高傲器，占了好多桌面空间。我那时的桌子其实是一扇门架在两只马凳上，你可以站在桌下，用背撑起来把桌子调高。

我刚动手奇迹时，咱们的办公室很小，或者惟有这个房间的三倍大。

Hannah Fry：悉数谷歌？

Jeff Dean：悉数谷歌。那时，咱们在帕洛阿尔托大学通衢上的一个小办公室里，正值在现时的 T-Mobile 手机店上头。那时候真的相等激昂，尽管咱们是个小公司，但看到越来越多东谈主使用咱们的高质料搜索服务真的很兴奋。流量每天和每周齐在连续增长。

咱们一直在努力幸免每周二中午的流量岑岭时系统崩溃。这需要咱们马上加多谋略机资源，优化代码提高速率，并开发新的功能，让相通的硬件能够服务更多用户。

Hannah Fry：有莫得哪个时刻让你们意志到——这个公司真的会变得很大？

Jeff Dean：我想，从我刚加入公司的时候，你就能看出来流量增长相等快。

咱们以为，只须专注于提供高质料的搜索间隔，快速知足用户需求——咱们其实但愿用户能尽快离开咱们的网站，找到他们需要的信息——这是一个很奏凯的想法。

用户似乎也心爱咱们的服务，是以从最动手就看起来相当有但愿。

Hannah Fry：从"相当有但愿"到终末的发展范畴之间差距不小。你感到骇怪吗？

Jeff Dean：如实，咱们的规模蔓延如实难以意想，比如自动驾驶汽车。咱们的家具组合安逸拓宽，从最先的搜索引擎到现时的多样家具，举例通过 Gmail 匡助用户管制邮件。

这种蔓延是天然的，因为它们处置了骨子问题，让咱们不单是领有一个家具，而是领有了用户日常使用的多种家具。

Hannah Fry：总结这样多年的发展，你以为谷歌长久是一个搜索公司，如故骨子上它是一个 AI 公司，只是装作是个搜索公司？

Jeff Dean：我认为公司处置的许多问题骨子上齐依赖于 AI。在这 25 年的历程中，咱们安逸攻克了一些复杂的 AI 问题，并连续取得进展。

天然谷歌一动手专注于搜索，但咱们连续将这些新的 AI 时代应用到搜索和其他家具中。因此，可以说咱们一直在诓骗 AI 鼓励公司的发展。

Hannah Fry：你认为谷歌畴昔会一直是一个搜索公司吗？或者说，它现时是否仍然是一个搜索公司？它正在发生转换吗？

Jeff Dean：我相等心爱谷歌的少许是，即便 25 年昔日了，咱们的责任依然相等有道理——"组织全球信息并使其弥远可用和有用"。

我认为，Gemini 匡助咱们在解析多样信息方面迈出了紧迫一步——包括文本数据和软件代码（它亦然一种文本，只是更复杂）。咱们不仅能阅读文本，还能通过视觉和听觉吸收信息。

咱们的方针是让模子能够处理多样输入步地，并生成相应的输出，举例文本、音频、对话、图像或图表。

咱们的确想创造的是一个能够处理通盘这些模式并凭证需要生成输出的模子。

神经收集的早期探索

Hannah Fry：你还牢记你第一次构兵神经收集的情景吗？

Jeff Dean：是的，天然。神经收集有着一段风趣的历史。

AI 其实是一个相等陈旧的学科，AI 的早期阶段是在计议怎么界说事物运作的限定。那是在 20 世纪 50、60、70 年代掌握。

神经收集约莫在 70 年代出现，在 80 年代末和 90 年代初掀翻了一阵上升。

骨子上，我在 1990 年是明尼苏达大学的本科生，其时我在上并行处理课程，这个课程探讨的是怎么将一个问题领悟成可以在不合谋略机上并行处理的部分，让这些谋略机协同奇迹来处置一个问题。

Hannah Fry：我猜那时候的谋略智商还不如现时那么强盛，你们是奈何让谋略机协同奇迹的？

Jeff Dean：神经收集是一种特等的机器学习步调，它通过模拟东谈主脑神经元的奇迹道理来进行学习。每个东谈主工神经元与基层的其他神经元相诱骗，分析吸收到的信号，然后决定是否将信号传递到更高头绪。

神经收集由多个头绪的东谈主工神经元构成，高层神经元通过分析基层神经元的信号进行学习。

举例，在图像识别任务中，最底层的神经元可能学习到基础特征，比如方法黑点或旯旮；下一层则可能识别出具有特定方法边框的花样；更高层的神经元可能识别出这些花样构成的具体物体，如鼻子或耳朵。

通过这种逐层的详尽学习，神经收集能够发展出相等强盛的模式识别智商。这亦然 1985 至 1990 年间东谈主们对神经收集充满兴奋的原因。

Hannah Fry：不外咱们说的是曲常相等小的收集，对吧？

Jeff Dean：是的，相等小的收集。是以它们无法识别出东谈主脸或汽车这样的东西，只可识别一些东谈主工生成的粗浅模式。

Hannah Fry：就像一个网格，可能能识别出一个十字形之类的东西。

Jeff Dean：或者手写的数字，比如这是一个 7 如故 8。

那时候的确算是很了不得了。但它们的智商仅限于处置这种问题，而那些基于逻辑限定的系统，比如怎么界说一个" 7 "，其实在处理多样凌乱手写体时推崇得并不太好。

是以我在听了两堂对于神经收集的课后以为很有酷好酷好，决定把我的毕业论文主题定为神经收集的并行锻练。

我认为只需要更多的谋略资源就能有所冲破。于是我想，何不诓骗系里那台 32 处理器的机器来锻练更大的神经收集？这即是我接下来的几个月所作念的事情。

Hannah Fry：间隔奏凯了吗？

Jeff Dean：是的，奏凯了。其时我以为 32 个处理器也曾豪阔让神经收集运行顺畅，间隔讲授我如故错了。其实咱们需要约莫一百万倍的谋略智商，才智的确让它们推崇出色。

运气的是，摩尔定律的跨越、处理器速率的擢升，以及多样谋略开导的发展，最终使咱们领有了强盛的一百万倍谋略智商的系统。这让我重新对神经收集产生酷好酷好。

其时 Andrew Ng（吴恩达）每周齐有一天在 Google 作念参谋人。

有一次我在 Google 的厨房遭遇他，问他在作念什么。他说："还在摸索，不外我的学生在神经收集方面取得了可以的进展。"于是我提议："为什么不锻练一些相等大的神经收集呢？"

av偶像

这即是咱们在 Google 动手神经收集计议的起原，其后咱们开导了 Google Brain 团队，专门计议怎么诓骗 Google 的谋略资源锻练大型神经收集。

咱们开发了软件，把神经收集领悟为多个部分，由不合谋略机处理，还让它们互相调换，在 2000 台谋略机上通盘锻练一个神经收集。这使咱们锻练出比其时其他模子大 50 到 100 倍的收集。这是 2012 岁首，图像识别取得要紧冲破之前的事。

其时咱们作念的如故把谋略机诱骗起来，就像我本科论文一样。此次不同的是范畴更大，而此次真的奏凯了，因为谋略机更快了，也用了更多的机器。

Hannah Fry：不外在 2011 年的时候，这嗅觉像是一场赌注吗？

Jeff Dean：天然是了。咱们其时为锻练这些神经收集而搭建的系统，并尝试多样领悟步调，我给它取名为 DistBelief（直译为"分拨信念"）。

部分原因是好多东谈主不信托它真的能奏凯，另一个原因是它是一个散布式系统，可以构建这些收集——咱们想锻练的不单是是神经收集，还有深度信念收集（Deep Belief Networks）。是以就叫 DistBelief 了。

DeepMind 和 Gemini 背后的故事

Hannah Fry：当你们在好意思国开发 DistBelief 时，大欧好意思的另一边恰是 DeepMind 的起步阶段。我知谈你是其后厚爱造访 DeepMind 的东谈主。你能讲讲这个故事吗？

Jeff Dean：是的。Geoffrey Hinton，这位驰名的机器学习计议员，2011 年夏天曾在 Google 奇迹过。那时咱们还不知谈该给他安排什么职位，终末把他归为实习生，这挺风趣的。其后他和我通盘奇迹，之后咱们得知了 DeepMind 的存在。

我想 Geoffrey 对这家公司的发源有所了解，也有其他东谈主告诉咱们，"英国有一家公司在作念些挑升念念的事情。"其时他们或者惟有四五十东谈主。于是咱们决定去望望，把它视作潜在的收购对象。

那时我在加州，Geoffrey 在多伦多，是那儿的种植。他背有问题，不成乘坐正常航班，因为他无法坐下，只可站着或躺着。而航班升起时不成站着，是以咱们安排了私东谈主飞机上的医疗床。

咱们从加州飞往多伦多接他，然后通盘飞到英国，降落在某个偏远机场。接着咱们坐上一辆大面包车，直奔 DeepMind 的办公室，应该在 Russell Square（伦敦罗素广场）隔邻。

前一晚的航行让咱们很累，接下来即是来自 DeepMind 团队的 13 场一语气 20 分钟的演讲，先容他们的多样技俩。咱们看了他们在 Atari 游戏上的一些奇迹，主淌若用强化学习玩旧版 Atari 2600 游戏，比如《Breakout》和《Pong》，这齐相等风趣。

Hannah Fry：你们其时还莫得作念强化学习的奇迹？

Jeff Dean：对，那时咱们主要专注于大范畴的监督学习和无监督学习。

Hannah Fry：强化学习更多是通过奖励来激勉的，对吧？

Jeff Dean：是的，我认为这些时代齐很有用，常常将它们结合起来使用服从会更好。

强化学习的中枢在于代理在环境中操作，每一步齐有多个采用。举例，在围棋中，你可以在多个位置搁置棋子；在 Atari 游戏中，你可以移动操控杆或按按钮。奖励时常是延伸的，在围棋中，你直到棋局收尾才智知谈每一步是否正确。

强化学习的风趣之处在于它能够处理万古辰的算作序列，并凭证这些算作的间隔来给以奖励或处分。奖励或处分的程度与这些算作的预期间隔相关。

如果你取得了奏凯，你会以为这个决定是对的，从而加多对这一计谋的信心；如果失败了，你可能会减少对这一计谋的信心。强化学习相当适用于那些间隔需要较万古辰才智长远的情况。

强化学习相当适用于那些立即无法判断横蛮的情况。

监督学习指的是你有一组输入数据和对应的真实输出。一个经典的例子是图像分类中，每张图像齐有一个标签，如"汽车"、"鸵鸟"或"石榴"。

Hannah Fry：当你们决定进行收购时，Demis 是否感到垂死？

Jeff Dean：我不笃定他是否垂死。我主要饶恕的是代码的质料。我条款巡视一些骨子代码，以了解代码圭臬和注视情况。Demis 对此有些徘徊。

我说只需要一些小片断，就能让我了解代码的骨子情况。于是，我投入了一间工程师的办公室，咱们坐下来聊了 10 分钟。

我问，这段代码作念了什么？阿谁东西呢？那是什么作用？能给我望望它的完了吗？我出来后对代码质料很现象。

Hannah Fry：在这些演示中，你的印象怎么？

Jeff Dean：我以为他们的奇迹相等风趣，尤其是在强化学习方面。

咱们其时专注于模子蔓延，锻练的模子比 DeepMind 处理的要大得多。他们在用强化学习处置游戏问题，这为强化学习提供了一个很好的应用场景。

结合强化学习和咱们的大范畴蔓延奇迹，看起来会是一个很有出息的标的。

Hannah Fry：这就像从两个标的处置问题——一个是小范畴的强化学习，如玩物模子；另一个是大范畴的解析。将这两者结合起来，服从相等强盛。

Jeff Dean：是的，如实如斯。这亦然咱们前年决定合并 DeepMind、Google Brain 和其他 Google 计议部门的主要原因。咱们决定将这些单位结合起来，造成 Google DeepMind。

Gemini 的主见骨子上早于合并的想法，但的确的宗旨是让咱们在这些问题上一心一力。

由于咱们齐努力于锻练高质料、大范畴、多模态的模子，将想法和谋略资源分开是不对理的。

因此，咱们决定将通盘资源和东谈主员整合，组建一个集会团队来处置这个问题。

Hannah Fry：为什么叫 Gemini？

Jeff Dean：骨子上是我定名的。Gemini 代表双胞胎，这个名字很好地体现了 DeepMind 和 Google Brain 的结合，象征着两个团队一心一力于一个唯利是图的多模态技俩。

这个名字还有多个含义，比如它有点像是唯利是图的天外规划的前奏，这亦然我采用这个名字的原因之一。

Transformer 与多模态处理

Hannah Fry：我想要谈谈多模态的内容。在此之前，可以告诉咱们少许对于 Transformer 的奇迹以及它的变革性影响吗？

Jeff Dean：天然可以。骨子上，处理言语和许多其他规模的问题时常触及序列问题。

举例，Gmail 的自动完奏凯能凭证你输入的内容来瞻望下一个可能的词语，这访佛于大型言语模子的锻练经由。这样的模子被锻练来逐字或逐词地瞻望文本的下一部分，就像是高等的自动补全功能。

这种序列瞻望步调在许多规模齐很有用。在言语翻译中，模子可以凭证输入的英词句子瞻望相应的法词句子。在医疗规模，它能够处理病东谈主的症状和检测间隔，瞻望可能的会诊间隔。

此外，这种步调也适用于其他数据类型，如 DNA 序列。通过掩盖序列中的部分信息，模子被动瞻望接下来会发生什么。这种步调不仅适用于言语翻译和医疗会诊，还可以蔓延到其他规模。

在 Transformer 架构出现之前，递归模子才是奏凯的模子，它们依赖里面现象来处理序列数据。处理每个词时，模子会更新一次里面现象，然后再处理下一个词。这种步调需要对每个词进行安逸处理，导致运行速率较慢，因为每一步齐依赖于前一步，存在序列依赖问题。

为了提高服从，Google Research 的计议东谈主员建议了 Transformer 架构。与其逐词更新现象，不如一次性处理通盘词，并诓骗通盘先前的现象进行瞻望。

Transformer 基于能干光机制，能够饶恕序列中的紧迫部分。这使得它可以并行处理多量词语，大幅擢升了服从和性能，比拟传统递归模子，擢升了 10 到 100 倍。

这即是跨越如斯大的原因。

Hannah Fry：也许咱们还会从言语和序列中得到一种主见解析或详尽，这是否让你感到骇怪？

Jeff Dean：是的。当咱们听到一个词时，咱们不仅预料它的名义步地，还会梦预料许多其他相关的事物。比如，" cow（牛）"会让咱们预料牛奶、咖啡机、挤奶等。在词的默示中，标的性也很有道理。举例，" walk（走）"到" walked "的变化标的与" run（跑）"到" ran "的标的相通。这种默示不是咱们有益遐想的，而是锻练经由中天然出现的间隔。

Hannah Fry：确凿太神奇了。但这只是言语方面的商议。那么，多模态处快活怎么转换呢？有什么不同？

Jeff Dean：多模态处理的枢纽在于怎么将不同类型的输入数据（如图像和笔墨）障碍为相通的高维默示。当咱们看到一头牛时，这会在咱们的大脑中激活访佛的反馈，非论是通过阅读" cow（牛）"这个词，如故看到牛的图片或视频。咱们但愿锻练模子，使其能够将这些不同输入的集会道理和默示整合起来。这样，看到一段牛在田园中来去的视频，模子会触发与看到" cow（牛）"访佛的里面反馈。

Hannah Fry：是以，多模态处理并不是将言语部分和图像部分分开处理再结合？

Jeff Dean：恰是这样。在早期模子中，天然存在这些默示，但处理起来如实更复杂。

Hannah Fry：这是否使得多模态模子的驱动建立愈加贫瘠？

Jeff Dean：是的，多模态模子的整合和锻练比单一言语模子或图像模子复杂得多。关联词，这样的模子可以带来好多克己，比如跨模态的移动学习。看到牛的视觉信息可以匡助模子更好地解析言语。这样，非论是看到" cow（牛）"这个词如故牛的图像，模子齐会有访佛的里面触发反馈。

多模态模子的风险与后劲

Hannah Fry：你认为这些多模态模子会转换咱们的种植方式吗？

Jeff Dean：我认为 AI 在种植中的后劲强盛，但咱们还在探索初期。

计议标明，一双一辅导比传统课堂服从更好，那么 AI 能否让每个东谈主齐享受到访佛的一双一辅导呢？这个方针离咱们也曾不远了。

畴昔，像 Gemini 这样的模子可以匡助你解析讲义中的内容，非论是笔墨、图片，如故视频。如果有不睬解的场合，你可以发问，模子会匡助解释，还能评估你的回应，诱导学习进程。

这种个性化学习体验能惠及全球，不仅限于英语，还将缓助全球数百种言语。

Hannah Fry：你提到的多言语和普及器具的想法很好，然而否存在这样的风险：使用这些器具的东谈主获益更多，而无法使用的东谈主会濒临更多贫瘠？这是你惦念的问题吗？

Jeff Dean：是的，我惦念可能会出现一个两级系统。咱们应该努力让这些时代普及，让它们的社会上风最大化，况且确保种植资源变得职守得起或免费。

Hannah Fry：现时谋略方式似乎也曾从笃定性转向概率，公众是否需要接管模子可能会犯错的执行？这种问题是否能处置？

Jeff Dean：两者齐有。一方面，咱们可以通落后代跨越，比如更长的高低文窗口来擢升准确性。另一方面，公众需要明白模子是器具，不成彻底依赖它们的每个输出。咱们要种植东谈主们保握为止怀疑，同期时代的跨越会减少这种怀疑，但为止审查依然紧迫。

Hannah Fry：除了高低文窗口，还有其他步调可以减少失实间隔的风险吗？

Jeff Dean：是的，另一个步调是"念念维链提醒"（chain of thought prompting）。举例，对于数常识题，让模子安逸展示解题经由比平直问谜底更有用，不仅输出更显然，正确率也更高。即使在莫得明确谜底的问题上，给出更具体的提醒也能得到更好的间隔。

Hannah Fry：这些多模态模子会解析咱们的个东谈主特色和偏好吗？

Jeff Dean：是的，咱们但愿模子能更个性化，比如凭证你是素食主义者保举素食餐厅。天然现时可能还作念不到，但畴昔会有更多适合个东谈主需求的功能，比如制作允洽孩子的插图故事书。

咱们但愿模子能处理复杂的任务。举例，你可以用粗浅的指示让机器东谈主完成婚务。天然现时的机器东谈主还作念不到这少许，但咱们正接近完了这个方针，畴昔它们能在繁芜的环境中完成许多有用的任务。

Hannah Fry：现时这些助手主要用于增强东谈主类智商，相当是在医疗和种植规模。多模态模子是否能匡助咱们更好地解析宇宙？雷峰网雷峰网

Jeff Dean：是的，跟着模子智商的擢升，它们能处理更复杂的任务文爱 社区，比如椅子租借或会议经营。模子可以像东谈主一样建议问题以明确需求，并进行高头绪的任务。此外，它们能在模拟器中测试不同遐想决议，举例遐想飞机。天然咱们不成准确瞻望这些智商何时完了，但模子在昔日 5 到 10 年里取得了显贵进展。畴昔，这些功能可能会更快完了，以至能匡助遐想特定的飞机。