Gemini贯穿一切。

这是「甲子光年」在看完2024年Google I/O开发者大会的最大感受。

5月14日，谷歌2024年I/O开发者大会如期在加州山景城拉开帷幕。今年的主题完全围绕人工智能展开，特别是生成式人工智能和其在各类应用中的实际应用，如 Workspace和Gmail的整合与优化。

首席执行官桑达尔·皮查伊（Sundar Pichai）在演讲中一共说了121次“AI”，并喊出了一句嘹亮的口号——“整合全球信息，惠及所有民众”。

现场，谷歌发布了Gemini系列的最新AI模型：Gemini 1.5 Flash。

同时，谷歌也宣布了Gemini 1.5 Pro升级，全面支持Workspace，同时向全球开发者开放。Google Workspace办公套件也宣布将进一步整合Gemini，推出基于Gemini 1.5 Pro的多种技能，如可总结邮件内容。Gmail也将深度整合Gemini，汇总邮件内容并生成更好的回复。

1.AI模型：Gemimi宇宙

皮查伊在大会上公布了一系列AI模型的动态。

首先是对Gemini 1.5 Pro模型进行了升级。

Gemini 1.5 Pro模型已全球向开发者开放。原本它的上下文窗口是100万tokens，现在增加到了200万tokens，能处理更多的数据。

谷歌I/O大会现场，来源：谷歌

用户即使提供数千页的文本或者几个小时的视频，Gemini 1.5 Pro也能够理解内容并回答相关的问题。这项升级将让模型能同时处理2小时的视频、22小时的音频、超过60000行代码，或超过140万个单词。

下个月Gemini 1.5 Pro还将在API层面推出新功能，包括视频输入、并行函数调用和文本缓存，以提高处理多个请求和问答文件时的效率。

随后他介绍了Gemini系列新模型——Gemini 1.5 Flash。

这是一个比Gemini 1.5 Pro模型运行更快，体积更小，更易于部署，支持处理多种类型的数据，它专为开发者设计。

Gemini 1.5 Flash位于Gemini 1.5 Pro和Gemini 1.5 Nano之间，通过一种称为“蒸馏”的过程，将Pro版本中的关键知识和技能转移到一个更小的模型中，使其具备与Pro相同的多模态功能和100万个token的长上下文窗口。

Gemini 1.5 Flash现在就可以使用了。

DeepMind的联合创始人兼CEO戴密斯·哈萨比斯（Demis Hassabis）提到，他们根据开发者的反馈，优化了模型的响应速度和成本效率。Gemini 1.5 Flash在处理大量数据方面表现出色，特别适用于聊天应用、视频处理和图像字幕。

Gemini 1.5 Pro将在Alphabet的内部测试实验室Workspace Labs进行测试。Gemini 1.5 Flash也将在机器学习平台Vertex AI上进行试验和使用，该平台使开发者能够训练和部署AI应用。

Gemini 1.5 Flash每百万token的标准价格为0.7美元，输出为1.05美元。对于较小的上下文（小于128k），有折扣价：输入为0.35美元/百万token，输出为0.53美元/百万token。这比GPT-3.5 Turbo的价格（输入0.5美元/百万token，输出0.15美元/百万token）要高一些。

谷歌I/O大会现场，来源：谷歌

Gemini 1.5 Pro是Google当前最强大的模型，标准价格为每百万token输入7美元，输出21美元。对于较小的上下文（同样小于128k），折扣价格为输入3.5美元/百万token，输出10.5美元/百万token。相比于GPT-4o（输入价格5美元/百万token，输出15美元/百万token）略贵一些。

目前，谷歌正在筹备一款Project Astra的通用AI代理，这是一款通过智能手机摄像头分析周围世界并与用户进行交互的应用。

Astra设计为能够记住看到和听到的内容，从而理解上下文并采取行动。为了提高实用性，谷歌优化了其处理信息的速度，通过持续编码视频帧和结合视频与语音输入到事件时间线上，并缓存信息以实现高效回忆。

此外，谷歌还通过增强语音模型，让Astra具有更广泛的语调，使其可以更自然地与用户交流，无滞后或延迟。

在实际演示中，一个人使用手机的摄像头扫描办公室，与Astra通过语言交互，比如询问“当你看到有东西发出声音时，请告诉我。”Astra不仅能识别物体和代码，还能实时进行语音互动，展现了它的实用性和交互能力。

Project Astra展示了其出色的视觉理解能力和快速的响应时间。一个人在办公室中用摄像头扫描其中的物品及场景，并用语音询问它相关问题。与GPT-4o的功能异曲同工。