多模态大模型应用

环境1.1 硬件环境海光 K100-AI 64GDTK25.04国产DCU环境国产化信创适配验证1.2 软件环境1框架Transformers、LLaMA-Factory、Pytorch2图像预处理OpenCV、Pillow二、多模态大模型选型2.1多模态模型清单模型名称模型规格核心特性硬件适配说明Qwen2-VL-2B-Instruct2B轻量多模态推理速度快CUDA11.8/海光K100全支持Qwen2.5-VL-3B-Instruct3B轻量化多模态细节纹理识别优于2B证件纹理区分度高CUDA11.8/海光K100全支持GLM-4.6V-Flash-9B9B多模态 Flash加速版文档篡改特征识别能力突出CUDA11.8兼容海光适配需定制依赖2.2Qwen2.5-VL-3B-Instruct4bit 量化部署优势精度较高、显存占用适中、推理速度均衡、CUDA/国产海光双适配适用场景高并发批量质检。2.3 GLM-4.6V-Flash-9B优势漏检、误判指标较优细微篡改识别能力强局限算力资源消耗高并发承载量低适用场景精度要求较高场景。2.4 Qwen2-VL-2B-Instruct优势低显存、极速推理局限精度较低。适用场景精度要求不高场景。