Gemma 4 26B A4B QAT对齐量化性能测试：90.3% Top-1准确率的秘密

Gemma 4 26B A4B QAT对齐量化性能测试90.3% Top-1准确率的秘密【免费下载链接】gemma-4-26B-A4B-it-qat-q4_0-mlx-aligned项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-26B-A4B-it-qat-q4_0-mlx-alignedGemma 4 26B A4B it QAT对齐4-bit模型是一款专为MLX框架优化的量化模型通过创新的QAT-lattice-aligned技术实现了90.3%的Top-1准确率在保持高性能的同时将模型大小从52GB压缩至15GB为AI开发者提供了高效且精准的文本生成解决方案。什么是QAT对齐量化QATQuantization-Aware Training量化感知训练是一种在模型训练过程中就考虑量化影响的技术能够显著提升量化模型的性能。而QAT对齐量化则是这一技术的进阶应用它通过从权重中恢复Google原始的QAT尺度而非从最小/最大统计数据重新推导确保量化后的模型与原始QAT模型保持高度一致。传统的量化方法如llama.cpp的Q4_0或MLX的默认 affine模式会导致约60-74%的MoE/MLP块重新对齐到错误的网格上而QAT对齐量化通过直接从已对齐的权重中恢复每个32块的网格步长将相对RMSE均方根误差控制在0.18-0.23%的bf16存储噪声水平达到了惊人的精度保留效果。性能测试结果90.3% Top-1准确率的突破在与bf16 QAT参考模型的对比测试中这款Gemma 4 26B A4B QAT对齐量化模型展现出卓越的性能权重空间相对RMSE对比量化方法相对RMSE默认mlx_lm convert -qaffinegs647.0–8.6%QAT对齐量化0.18–0.23%bf16存储噪声水平教师强制logits性能对比1600 token混合EN/zh/code文本变体平均KL散度Top-1一致性默认mlx_lm convert -qgs640.27782.7%MLX affine gs320.35380.1%QAT对齐量化0.09090.3%对照组bf16 匹配随机噪声σ0.185%无量化0.15187.7%测试结果显示QAT对齐量化模型不仅在平均KL散度上优于其他量化方法更以90.3%的Top-1准确率超越了无量化的噪声对照组达到了该128专家稀疏MoE架构的内在敏感性极限。这意味着剩余的KL散度完全由±1-ulp bf16舍入噪声通过离散路由翻转放大引起而非量化误差。快速开始如何使用Gemma 4 QAT对齐量化模型使用这款高性能量化模型非常简单只需几步即可在MLX框架中部署1. 安装mlx-lmpip install mlx-lm2. 加载模型并生成文本from mlx_lm import load, generate model, tokenizer load(mlx-community/gemma-4-26B-A4B-it-qat-q4_0-mlx-aligned) prompt tokenizer.apply_chat_template( [{role: user, content: Explain quantization-aware training in two sentences.}], add_generation_promptTrue, ) print(generate(model, tokenizer, promptprompt, max_tokens256))深入了解转换脚本与技术细节项目中提供了完整的转换脚本位于conversion/目录下qat_q4_recover.py晶格尺度恢复量化器通过每32块的k-sweep残差容差0.075吸收code × scale乘积的bf16舍入然后进行最小二乘拟合convert_aligned.py端到端转换器生成此 repo 的格式针对qat-q4_0-unquantized检查点运行使用--quantize-router也可量化路由器模型配置文件config.json显示该模型采用4-bit affine量化模式组大小为32与传统的Q4_0相比MLX的affine格式每个组存储一个偏差此处始终为-8·scale虽然存在冗余但为当前内核所必需。注意事项与限制文本专用mlx-lm Gemma 4实现删除了视觉塔Google并未对其进行QAT量化存储效率约5.0 bits/weight相比GGUF Q4_0的4.5 bits/weight略高字节精确恢复由于bf16尺度限制无法实现bf16检查点的字节精确恢复但达到了约90%的字节精确率其余在±1 ulp范围内处于KL控制量化的bf16噪声水平许可证与归属Gemma根据Gemma 4许可证提供Gemma 4为Apache 2.0。本模型是Google DeepMind gemma-4-26B-A4B-it-qat-q4_0-unquantized的量化衍生品模型和QAT pipeline的所有功劳归于Google。转换使用mlx-lm及包含的尺度恢复量化器完成。要获取完整项目请克隆仓库git clone https://gitcode.com/hf_mirrors/mlx-community/gemma-4-26B-A4B-it-qat-q4_0-mlx-aligned通过QAT对齐量化技术Gemma 4 26B A4B模型在保持90.3% Top-1准确率的同时实现了显著的模型压缩为AI应用在资源受限环境中的部署提供了理想选择。无论是学术研究还是商业应用这款模型都展现出了卓越的性能和实用价值。【免费下载链接】gemma-4-26B-A4B-it-qat-q4_0-mlx-aligned项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-26B-A4B-it-qat-q4_0-mlx-aligned创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考