多模态大模型实战3

第3章 CLIP深度解析——视觉-语言对齐的基石学习目标理解CLIP的双编码器架构和对比学习训练目标掌握CLIP推理实战：零样本分类、图文检索了解CLIP的变体和改进方向认识CLIP的局限性3.1 CLIP架构详解CLIP（Contrastive Language-Image Pre-training）是OpenAI在2021年提出的视觉-语言对齐模型。它是几乎所有后续VLM的基础组件。双编码器架构图像 → Image Encoder → 图像特征 [1, dim] ↘ 对比学习 → 对齐空间 ↗ 文本 → Text Encoder → 文本特征 [1, dim]Image Encoder：ViT（Vision Transformer）或ResNetText Encoder：Transformer（类似GPT的因果注意力）核心思想CLIP不