谷歌Gemma 3上线！单GPU最强多模态手机可跑，27B完胜o3-mini

编辑：编辑部

【本站导读】就在刚刚，谷歌Gemma3来了，1B、4B、12B和27B四种参数，一块GPU/TPU就能跑！而Gemma3仅以27B就击败了DeepSeek671B模型，成为仅次于DeepSeekR1最优开源模型。

谷歌Gemma3全家桶来了！

刚刚，在巴黎开发者日上，开源Gemma系模型正式迭代到第三代，原生支持多模态，128k上下文。

此次，Gemma3一共开源了四种参数，1B、4B、12B和27B。最最最关键的是，一块GPU/TPU就能跑模型。

在LMArena竞技场中，Gemma3拿下了1339ELO高分，仅以27B参数击败了o1-preview、o3-minihigh、DeepSeekV3，堪称仅次于DeepSeekR1最优开源模型。

Gemma3系1B、4B、12B、27B分别基于2T、4T、12T、14Ttoken数据完成训练。

它们可以理解140+语言，支持视觉输入和文本输出，以及结构化输出和函数调用。

在多项基准测试中，Gemma3全家桶相较于上一代实现了全面提升，27B模型在数学性能暴涨33-45分。

而且，与闭源Gemini1.5和2.0相比，Gemma3-27B基本上略逊色于Flash版本。

与此同时，Gemma3的26技术报告解禁。

论文地址：https://storage.googleapis.com/deepmind-media/gemma/Gemma3Report.pdf

项目地址：https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d

Gemma系模型诞生一年以来，下载量已超1亿次，超6万个Gemma衍生模型爆发。

Gemma3全新系列到来，成为谷歌在AI开源社区迈出的又一个里程碑。

27B打进全球Top10，手机笔记本轻松跑

Gemma3是谷歌迄今最先进、最便携的开源模型，采用与Gemini2.0模型相同的研究和技术打造。

专为在端侧设备上直接运行而设计——从手机和笔记本电脑到工作站，帮助开发者在需要的地方创建AI应用。

使用世界最佳单设备加速模型进行开发：Gemma3在LMArena排行榜的初步人类偏好评估中超越了Llama-405B、DeepSeek-V3和o3-mini，能在单个GPU或TPU主机上运行，开发独特的用户体验。

支持140种语言，走向全球：Gemma3为超过35种语言提供开箱即用的支持，并为超过140种语言提供预训练支持。

创建具有高级文本和视觉推理能力的AI：轻松开发可以分析图像、文本和短视频的应用程序，为交互式和智能应用开创新的可能性。

通过扩展的上下文窗口处理复杂任务：Gemma3提供128ktoken的上下文窗口，让应用程序能够处理和理解海量信息。

使用函数调用创建AI驱动的工作流：Gemma3支持函数调用和结构化输出，帮助你实现任务自动化并构建智能体验。

使用量化模型更快实现高性能：Gemma3推出官方量化版本，在保持高精度的同时减少模型大小和计算需求。

按照ChatbotArenaElo评分对AI模型进行排名；更高的分数（顶部数字）表示更受用户青睐。点状标记显示了估计所需的H100数量。Gemma327B获得了很高的排名，注意，其他模型需要多达32个GPU，但它只需要1个

如何训出？

在预训练和后训练过程中，Gemma3使用了蒸馏技术，并通过强化学习和模型合并的组合，进行了优化。

这种方法可以提升数学、编码、指令跟随方面的性能。

而且，Gemma3使用了一个全新的分词器（tokenizer），为140多种语言提供支持，并使用JAX框架在GoogleTPU对1B的2Ttoken，4B的4Ttoken，12B的12Ttoken和27B的14Ttoken进行了训练。

在后训练阶段，Gemma3主要使用了4个组件：

从更大的指令模型中提取到Gemma3预训练检查点

基于人类反馈的强化学习（RLHF），使模型预测与人类偏好保持一致。

机器反馈强化学习（RLMF），增强数学推理。

强化学习执行反馈（RLEF），提高编码能力。

这些更新显著提升了模型数学、编程、指令跟随能力，使Gemma3能在LMArena拿下1338得分。

Gemma3指令微调版本使用了与Gemma2相同对话框格式，因此，开发者不需要更新工具，直接可以进行纯文本输入。

对于图像输入，Gemma3可以支持指定与文本交错的图像。

多模态

Gemma3集成基于SigLIP集成视觉编码器，在训练过程中，视觉模型保持冻结状态，并在不同规模（4B、12B和27B）之间保持一致。

借助这一特性，Gemma3能够处理图像和视频作为输入，使其能够分析图像、回答与图像相关的问题、对比图像、识别物体，甚至读取和解析图像中的文本。

尽管该模型最初设计用于处理896×896像素的图像，但通过一种新的自适应窗口算法，该模型可以对输入图像进行分割，使Gemma3能够处理高分辨率和非正方形图像。

比如，上传一张日语空调遥控器图，问如何调高室内温度。

Gemma3根据图像中「暖房」文字，分析出在日语中，「暖房」意为「加热」，这是用于开启空调或气候控制系统的加热功能的按钮。

而带有加号（+）的按钮可能用于在选择加热模式后调整温度。

下图上传超市购物清单后，Gemma3准确回答了一片肉需要支付的金额。

LLM竞技场

LMSYS聊天机器人竞技场是让真人评委一对一匿名地对比IT27B模型和其他顶尖模型。

在表下5里列出了Elo分数。

Gemma327BIT拿到了1338分，挤进了前十名，分数比其他不会「思考」的开源模型要高，比如DeepSeek-V3（1318分）、LLaMA3405B（1257分）和Qwen2.5-70B（1257分），这些模型的规模还比它大不少。

最后，Gemma3的Elo分数比Gemma2（1220分）高出一大截。需要注意的是，Elo分数不考虑视觉能力，而且上面提到的这些模型都没有这方面的功能。

基于Elo评级系统在ChatbotArena中对Grok-3-Preview-02-24、Gemini系列、Gemma系列等AI模型的排名和性能，其中Grok-3-Preview-02-24以1412分位居榜首，Gemma-3-27B-IT的排名为第9

标准基准测试

在下表6里，展示了最终模型在各种基准测试上的表现，这里只对比了之前的模型版本和Gemini1.5。

他们没有直接拿外部模型来比，因为各家报的分数是用他们各家自己的测试条件跑出来的，再跑一遍不一定公平。

Gemini1.5、Gemini2.0以及Gemma2和Gemma3不同参数版本在各种零样本基准测试中的性能表现，包括MMLU-Pro、LiveCodeBench、Bird-SQL(dev)、MATH和HiddenMath等任务

预训练能力探测

团队在预训练过程中使用了几个标准的基准测试作为「探针」，来确保模型能够掌握一般的技能。

在下图2中，他们比较了Gemma2和Gemma3预训练模型在这些通用能力上的表现，包括科学、代码、事实性、多语言能力、推理和视觉能力。

总的来说，尽管增加了视觉能力，新的版本在大多数类别上都有了提升。研究团队特别关注了多语言能力，这直接影响了模型的质量。

然而，尽管使用了去污染技术，但这些「探针」始终存在污染风险，这使得更明确的结论变得难以评估。

无缝集成，工具生态全面升级

Gemma3带来的不仅仅是模型本身性能提升，还伴随着强大工具无缝集成，ShieldGemma2可以完美集成到现有的工作流程中。

不仅如此，它还支持灵活的开发工具。

比如HuggingFaceTransformers、Ollama、JAX、Keras、PyTorch、GoogleAIEdge、UnSloth、vLLM和Gemma.cpp。

开发者们可以在GoogleAIStudio中，立即体验Gemma3全部功能，或通过Kaggle、HuggingFace下载模型。

此外，开发者还能根据具体需求定制Gemma3。

改进的代码库支持高效微调和推理，无论是GoogleColab、VertexAI，甚至消费级GPU，都能轻松训练和微调模型。

Gemma3还提供多种部署环境，包括VertexAI、CloudRun、GoogleGenAIAPI、本地环境和其他平台，可以根据应用和基础设施选择最佳方案。

值得一提的是，英伟达针对Gemma3进行了深度优化，从JetsonNano到最新的Blackwell芯片，都能获得极致性能体验。

NVIDIAAPI中已推出Gemma3，只需一个API调用即可快速原型开发。

除此之外，Gemma3也针对GoogleCloudTPU进行了优化，并通过开源ROCm堆栈与AMDGPU集成。对于CPU执行，Gemma.cpp能够提供直接解决方案。

Gemma3技术报告

模型架构

Gemma3模型沿用了与前代版本相同的解码器Transformer结构，其大部分架构元素与前两代Gemma版本类似。

研究采用了分组查询注意力（Grouped-QueryAttention,GQA），并结合了RMSNorm的后归一化（post-norm）和前归一化（pre-norm）。

受其他团队的启发，他们用QK-norm替换了Gemma2的软上限（soft-capping）。

Gemma3相较于前代版本的一些关键区别是：

5:1的局部/全局层交错设计

研究者在自注意力机制中交替使用局部滑动窗口自注意力和全局自注意力，按照5层局部层对应1层全局层的模式排列，模型的第一层为局部层。

长上下文支持

Gemma3模型支持最长128K个token的上下文长度，但1B规模的模型例外，仅支持32Ktoken。

在全局自注意力层上，研究者将RoPE的基准频率从10K提高到1M，而局部层的频率保持在10K。此外，他们采用了位置插值方法，以扩展全局自注意力层的适用范围。

视觉模态

视觉编码器

研究采用了一种400M规模的SigLIP编码器变体，这是一种基于VisionTransformer的模型，并使用CLIP损失的变体进行训练。Gemma视觉编码器的输入为调整尺寸后的896×896像素的方形图像，并在视觉助手任务的数据上进行微调。

Pan&Scan机制

Gemma视觉编码器的固定分辨率为896×896像素，这在处理非方形比例或高分辨率图像时可能会引发问题，例如文本变得不可读，或小物体消失。

为了解决这一问题，研究者在推理阶段引入了一种自适应窗口算法将图像划分为大小相等且不重叠的裁剪区域，以覆盖整个图像，并将每个裁剪区域调整至896×896像素后再输入编码器。

预训练

研究者在预训练过程中采用了与Gemma2相似的知识蒸馏方法。

训练数据

相比Gemma2，研究者为Gemma3预训练模型分配了更大的token预算。其中，Gemma327B规模的模型在14万亿个token上进行训练，12B规模的模型使用12T个token，4B规模的模型使用4T个token，而1B规模的模型使用2T个token。

知识蒸馏

在知识蒸馏过程中，研究者为每个token采样256个logit，并按照教师模型的概率分布进行加权。学生模型通过交叉熵损失函数学习教师模型的分布。

计算基础设施

研究者使用TPUv4、TPUv5e和TPUv5p训练模型，具体配置如表2所示。每种模型配置都经过优化，以最大程度减少训练步骤的执行时间。

指令微调

预训练模型通过改进的后训练方法转变为指令微调模型，相较于之前的方法有所提升。

后训练方法依赖于一种改进版的知识蒸馏技术，该技术来自一个大型的IT教师模型，并结合了基于改进版本的BOND、WARM和WARP算法的强化学习微调阶段。

强化学习目标

使用多种奖励函数来提升模型在帮助性、数学、编程、推理、遵循指令和多语言能力方面的表现，同时最小化模型的有害性。

包括通过人类反馈数据训练的加权平均奖励模型，代码执行反馈，以及解数学问题的真实奖励。

数据过滤

研究人员对后训练阶段使用的数据进行了精细优化，以最大化模型的性能。

研究中会过滤掉包含特定个人信息、不安全或有害内容、错误的自我识别数据以及重复样本的示例。

此外，包含鼓励更准确的上下文归因、谨慎表述（hedging）和适当拒答的数据子集，有助于减少幻觉现象，同时提升事实性指标的表现，而不会影响模型在其他指标上的性能。

[BOS]token

预训练（PT）和指令微调（IT）模型，文本都以[BOS]token开头。

需要注意的是，文本字符串「[BOS]」并不会自动映射到[BOS]token，因此必须显式添加。

表4展示了IT模型的具体格式示例。