经过小模型提前生成token并传递给大模型进行评价，以进步模型的总体推理速度

谷歌隐秘测验Gemini

另一边，谷歌也在开端约请部分外部开发者加急测验，即将推出的下一代多模态大模型Gemini 。

上周，The Information独家报道称，Gemini或许很快准备好进行测验发布，并会集成到像Google Cloud Vertex AI等服务中。

在本年的谷歌I/O开发者大会上，劈柴曾揭露介绍Gemini，是一个多模态模型、高效集成东西、API。

为了合力干大事，谷歌还将谷歌大脑，与DeepMind实验室进行了合并。

据称，至少有20多位高管参加了Gemini的研制，DeepMind的创始人Demis Hassabis领导，谷歌创始人Sergey Brin参加研制。

还有谷歌DeepMind组成的数百名员工，其间包括前谷歌大脑主管Jeff Dean等等。

一位测验过的人士说，Gemini至少在一个方面比GPT-4有优势：除了网络上的揭露信息外，该模型还利用了大量谷歌消费产品（查找、Youtube）的专有数据。

因而，Gemini在了解用户对特定查询的目的时应该特别准确，而且它发生的过错答案，即错觉，似乎更少。

据此前SemiAnalysis分析师的爆料，谷歌的下一代大模型Gemini，现已开端在新的TPUv5 Pod上进行练习，算力高达~1e26 FLOPS，比练习GPT-4的算力还要大5倍。

别的，Gemini的练习数据库包括Youtube上936亿分钟的视频字幕，总数据集规划约为GPT-4的两倍。

据称，谷歌下一代大模型也是由多种规划组成，或许运用了MoE架构，以及投机采样技术。

经过小模型提前生成token并传递给大模型进行评价，以进步模型的总体推理速度。

谷歌DeepMind的负责人Hassabis在采访中曾表明，Gemini预计花费数千万到数亿美元，与开发GPT-4的本钱适当。

Gemini会整合AlphaGo中运用的技术，这将赋予系统全新的规划、解决问题的才能。

可以这么说，Gemini把AlphaGo系统的一些优势，和大言语模型惊人的言语才能结合在一起了。并且，我们还有一些其他有趣的创新。

AlphaGo背后的技术，便是强化学习，这是DeepMind创始的技术。

RL代理跟着时刻的推移与环境交互，经过重复试验来学习战略，然后最大限度地进步长时间累积奖励

经过强化学习，AI可以经过重复尝试和接受反馈来调整自己的表现，因而学会处理很扎手的问题，比如在围棋或电子游戏中挑选如何采纳下一步行动。

别的，AlphaGo还运用了蒙特卡洛树查找（MCTS）办法，来探索和记住棋盘上所有或许的动作。