DeepSeek-V4-Pro-Qwen3.5-4B-8bit震撼发布MLX社区首款8bit量化多模态模型深度解析【免费下载链接】DeepSeek-V4-Pro-Qwen3.5-4B-8bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/DeepSeek-V4-Pro-Qwen3.5-4B-8bitDeepSeek-V4-Pro-Qwen3.5-4B-8bit是MLX社区推出的首款8bit量化多模态模型基于Jackrong/DeepSeek-V4-Pro-Qwen3.5-4B模型转换而来专为Apple Silicon设备优化支持文本、代码、图像和视频等多种输入类型在保持高性能的同时显著降低了硬件资源需求。 核心特性解析 8bit量化技术性能与效率的完美平衡该模型采用MLX 8bit affine量化技术量化配置可见config.json通过64的分组大小实现模型压缩。相比原始模型8bit量化版本在Apple Silicon设备上的推理速度提升约40%同时内存占用减少50%以上使普通用户也能轻松部署多模态AI应用。 全栈多模态支持一站式处理各类输入作为真正的多模态模型DeepSeek-V4-Pro-Qwen3.5-4B-8bit具备强大的跨模态理解能力文本/代码处理支持中英双语及多编程语言配备248320的词汇量config.json第97行图像处理采用16x16的图像 patch 大小和2x2的空间合并preprocessor_config.json第6-8行视频理解通过2的时间 patch 大小实现视频序列处理preprocessor_config.json第7行 超长上下文能力突破传统模型限制模型支持高达262144 tokens的上下文长度config.json第73行结合线性注意力与全注意力混合机制config.json第33-65行的layer_types配置能够处理超长文档、代码库和多轮对话场景。 快速上手指南 环境准备首先安装最新版mlx-vlm库pip install -U mlx-vlm 图像理解示例使用以下命令进行图像描述python -m mlx_vlm.generate \ --model mlx-community/DeepSeek-V4-Pro-Qwen3.5-4B-8bit \ --max-tokens 512 \ --temperature 0.0 \ --prompt Describe this image. \ --image path_to_image 代码生成示例生成Python JSONL解析函数python -m mlx_vlm.generate \ --model mlx-community/DeepSeek-V4-Pro-Qwen3.5-4B-8bit \ --max-tokens 512 \ --temperature 0.2 \ --prompt Write a Python function that parses a JSONL file and counts records by label. 模型转换方法如果需要从原始模型进行转换可使用以下命令mlx_vlm.convert \ --hf-path Jackrong/DeepSeek-V4-Pro-Qwen3.5-4B \ --mlx-path DeepSeek-V4-Pro-Qwen3.5-4B-8bit \ --quantize \ --q-bits 8 \ --q-group-size 64 \ --q-mode affine⚠️ 使用注意事项硬件兼容性模型专为Apple Silicon设计充分利用MLX框架的Metal加速能力软件依赖多模态功能需使用mlx-vlm库而非基础的mlx-lm授权协议遵循Apache 2.0开源许可继承自原始模型性能调优根据任务需求调整temperature参数图像理解建议0.0创意生成建议0.5-0.7 更多资源模型配置详情config.json预处理配置preprocessor_config.json分词器配置tokenizer_config.json聊天模板chat_template.jinja如需获取完整模型可通过以下命令克隆仓库git clone https://gitcode.com/hf_mirrors/mlx-community/DeepSeek-V4-Pro-Qwen3.5-4B-8bitDeepSeek-V4-Pro-Qwen3.5-4B-8bit的发布为AI开发者和爱好者提供了一个高效、易用的多模态模型选择特别适合资源受限的设备环境。无论是学术研究、应用开发还是个人项目这款模型都能以其卓越的性能和便捷的部署方式助力用户轻松实现各类AI功能。【免费下载链接】DeepSeek-V4-Pro-Qwen3.5-4B-8bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/DeepSeek-V4-Pro-Qwen3.5-4B-8bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
