GPT-4劲敌，谷歌进入高能+高产模式

出品 | 虎嗅科技组

作者 | 杜钰君

编辑 | 王一鹏

头图 | 视觉中国

在这场争夺 AIGC 话语权与领导力的追逐战里，谷歌与微软争相拼臂力秀肌肉。Gemini   1.5   Pro 的横空出世，将多模态大模型的标准提到了一个新高度。  

一、极致性能背后的模型架构

当地时间 2 月 15 日，Alphabet 与 Google 公司首席执行官 Sundar   Pichai 携首席科学家 Jeff   Dean 等众高管在 X 平台发布了多模态模型 Gemini   1.5   Pro。这是继 2 月 7 日的 Gemini   1.0   Ultra 后，谷歌在多模态大模型赛道的又一力作。

  图源：X 平台 Alphabet 与 Google 公司首席科学家 Jeff   Dean 推文

" 巧合 " 的是，Open   AI 在 Gemini   1.5   Pro 官宣两小时发布 Sora 这枚重磅炸弹，颇有 " 一较高下 " 的劲头。只是由于当下大家的视线焦点集中在视频领域，Sora   又是   OpenAI   首次发布文生视频模型，所以无奈被抢了头条。

  图源：微博评论

Gemini   1.5   Pro 建立在谷歌对 Transformer 和 MoE 架构的领先研究之上。传统 Transformer 充当一个大型神经网络，而   MoE（Mixture   of   Experts   混合专家模型）模型则分为更小的 " 专家 " 神经网络。在这一结构之下，通过将模型参数划分为多个组别而实现的计算的稀疏化，即每次执行推理任务时，根据对输入类型的判断，MoE 模型会通过门控网络选择性地激活神经网络中最契合指令的专家参与计算。

这种专业化、模块化的划分可以在提升预训练计算效率的同时提升大模型处理复杂任务的性能，更快地学习复杂任务的同时保证准确性。与稠密模型相比，MoE 模型的预训练速度更快；使用 MoE   层代替 transformer   中的前馈网络（FFN）层。因而对的采用可以弥补 Transformer 架构运算效率的问题。

在 Switch-Transformer、M4 等领域，Google   一直是深度学习   MoE   技术的早期采用者。目前大部分大语言模型开源和学术工作都没有使用   MoE   架构。有消息称，GPT-4 也采用了由   8   个专家模型组成的集成系统。2023 年 12 月 8 日 Mistral   AI   发布的   Mixtral   8x7B   同样采用了这种架构。就国内的大模型而言，只有 Minimax 采用了 MoE 架构。

二、扩容的上下文窗口意味着什么？

虽然 Gemini   1.5   Pro 是   Gemini   1.5   系列的初代版本，但初代便表现不俗。扩大上下文窗口后的高水平性能是 Gemini   1.5   Pro 的一大亮点。

多模态大模型卷到今日，上下文窗口容量已然成为提升其理解能力的关键掣肘。此前的 SOTA 模型将上下文窗口容量卷到了 20 万 token。而谷歌的 Gemini   1.5   Pro 直接将上下文窗口容量提到了 100 万 token（极限为 1000 万 token），远远超出了   Gemini   1.0   最初的   32,000   个   token，创下了最长上下文窗口的纪录。

对于文本处理，Gemini   1.5   Pro 在处理高达 530,000   token 的文本时，能够实现 100% 的检索完整性，在处理 1,000,000   token 的文本时达到 99.7% 的检索完整性。甚至在处理高达 10,000,000   token 的文本时，检索准确性仍然高达 99.2%。在音频处理方面，Gemini   1.5   Pro 能够在大约 11 小时的音频资料中，100% 成功检索到各种隐藏的音频片段。在视频处理方面，Gemini   1.5   Pro 能够在大约 3 小时的视频内容中，100% 成功检索到各种隐藏的视觉元素。

图源：Gemini   1.5   Pro 官方测试数据

Gemini   1.5   Pro 大大超过 Gemini   1.0   Pro，在 27 项基准（共 31 项）上表现更好，特别是在数学、科学和推理（+28.9%），多语言（+22.3%），视频理解（+11.2%）和代码（+8.9%）等领域。即使是对比 Gemini   系列的高端产品 Gemini   1.0   Ultra，  Gemini   1.5   Pro 也在超过一半的基准（16/31）上表现更好，特别是在文本基准（10/13）和许多视觉基准（6/13）上。在   NIAH 测试中，Gemini   1.5   Pro 能够在长达 100 万 token 的文本块中，以 99% 的准确率找出隐藏有特定信息的文本片段。

  图源：Gemini   1.5   Pro 官方测试数据

这个上下文长度使 Gemini   1.5   Pro 可以自如地处理 22 小时的录音、超过十倍的完整的 1440 页的书（587,287 字）" 战争与和平 "，以及四万多行代码、三小时的视频。

三、机器脑有多好使

除高效架构和强上下文处理能力之外，Gemini   1.5   Pro 的优秀品质还在于 " 情境学习 " 技能，它可以根据长提示，从以前从未见过的信息中学习新技能，而不需要额外的微调。强学习能力、信息检索与数据分析能力使得在知识海洋中 " 海底捞针 " 由想象映照进了现实。

根据官方发布的测试报告，当给定卡拉曼语（一种全球使用人数不足   200   人的语言）的语法手册时（500 页的语言文献，一本词典和 400 个平行句子），Gemini   1.5   Pro 模型可以学习将英语翻译成卡拉曼语，其水平与学习相同内容的人相似。

图源：Gemini   1.5   Pro 官方演示样本

当被一个 45 分钟的 Buster 基顿电影 " 小神探夏洛克 "（1924 年）（2674 帧，1FPS，684k token）提示时，Gemini   1.5   Pro 可以从其中的特定帧中检索和提取文本信息，并提供相应的时间戳。此外还可以从一张手绘素描中识别电影中的一个场景。与侧重于衡量模型检索能力的特定事实或细节的任务不同，这些问题通常需要了解跨越大量文本的信息片段之间的关系。

图源：Gemini   1.5   Pro 官方演示样本

Gemini   1.5   Pro 在处理长达超过 100,000 行的代码时，还具备极强的问题解决能力。面对庞大的代码量，它能够深入分析各个示例，提出实用的修改建议，还能详细解释代码的条例框架。给出了整个 746,152 个令牌 JAX 代码库，Gemini   1.5   Pro 可以识别核心自动微分方法的具体位置。开发者可以直接上传新的代码库，利用这个模型快速熟悉、理解代码结构。

  图源：Gemini   1.5   Pro 官方演示样本

正如 NVIDIA 高级科学家 Jim   Fan 所言，Gemini   1.5   Pro 意味着 LLM 能力的大幅跃升，这对于做个体户的小公司而言可谓一骑绝尘。

在人机协同的探索过程中，单一的文本交互很难满足多场景多样态的内容生产诉求。多模态的信息处理与生成能力显然是技术变革的发力点。纽约大学计算机助理教授谢赛宁说，人才第一，数据第二，算力第三，其他都没有什么是不可替代的。Gemini   1.5   Pro 是谷歌与巅峰对决的又一利器，或许 AGI 时代正加快到来。