对比学习从表示空间、InfoNCE到多模态与时间序列摘要对比学习是现代自监督表示学习中的核心方法之一。它不直接要求模型预测人工定义的类别而是通过构造样本之间的匹配关系训练编码器将相关样本映射到相近的表示区域并将不相关样本映射到相对分离的位置。其核心并不只是“拉近正样本、推远负样本”而是由视图构造、关系定义、表示编码、相似度度量、概率建模和优化目标共同组成的一套表示学习机制。本文从表示学习的基本概念出发以SimCLR为主线依次解释数据增强、共享编码器、投影头、向量归一化、余弦相似度、温度缩放、Softmax、InfoNCE损失和反向传播。在此基础上进一步分析对比学习的梯度机制、表示空间几何、Alignment与Uniformity、互信息解释、完全坍塌和维度坍塌。随后介绍CPC、Instance Discrimination、SimCLR、MoCo、SupCon、CLIP以及BYOL、SimSiam、Barlow Twins、VICReg和DINO等经典方法并讨论对比表示如何迁移到分类、检索、时间序列和金融数据任务中。一、表示学习与对比学习的研究背景1.1 深度学习模型究竟在学习什么对于一个普通分类模型其计算过程可以写为其中是原始输入是编码器是编码器提取出的表示向量是任务头是最终预测结果。以图像分类为例原始图片首先经过卷积神经网络或视觉Transformer转换成一个高维向量。分类器再根据这个向量判断图片属于猫、狗、汽车还是其他类别。模型并不是直接从像素跳到类别。真正承担信息提取功能的是编码器分类头只负责把表示映射为当前任务需要的输出因此深度学习可以分为两个相互关联的过程从原始数据中学习表示根据表示完成具体任务。传统监督学习通常同时训练编码器和任务头而表示学习更关注第一个过程即如何获得具有迁移能力的表示。1.2 什么是表示向量假设一张图片经过编码器后得到这个向量并不一定能够被逐维解释。例如不能简单认为第一维表示颜色第二维表示轮廓第三维表示耳朵。深度神经网络通常采用分布式表示一个概念由多个维度共同表达一个维度也可能参与表达多个概念。单个维度的人工含义可能不明确但向量之间的整体关系具有意义。如果编码器学习得较好那么两张语义相似的图片可能满足其中和在语义上相似和在语义上差异较大。表示学习的目标不是让每个向量维度都具有清晰的人工定义而是建立一个有组织的表示空间使数据之间的关系能够通过距离、方向或局部结构体现出来。1.3 监督学习的标签依赖监督学习依赖带标签数据集人工标签能够提供明确的任务监督但也存在一些限制。第一标签获取成本较高。医学图像、遥感图像、金融事件和专业文本通常需要领域专家标注。第二标签只描述数据的一部分信息。将图片标注为“猫”并没有说明猫的姿态、背景、颜色、品种和对象结构。第三针对一个任务训练得到的表示未必适合其他任务。一个只为分类训练的模型可能倾向于丢弃位置、纹理或局部结构信息而这些信息可能对检测、分割和检索任务非常重要。第四大量真实数据没有人工标签但仍包含可以利用的内部结构例如同一对象的不同视角视频中的时间连续性图像与文本之间的对应关系时间序列中的邻近状态图结构中的邻域关系。自监督学习的基本目标就是从数据自身构造监督信号。1.4 自监督学习的基本思想自监督学习不依赖人工类别标签而是利用数据中的结构构造训练任务。例如根据句子上下文预测被遮挡的词根据图像可见区域恢复被遮挡区域根据过去状态预测未来状态判断两个增强视图是否来自同一个样本判断一段文本与哪张图片匹配。这些任务中的“答案”来自数据本身因此称为自监督信号。需要注意的是自监督学习和无监督学习并不完全等价。无监督学习是更广泛的概念包括聚类、密度估计、生成模型和表示学习。自监督学习强调从原始数据中自动构造监督目标。1.5 对比学习的定位对比学习是一类关系驱动的表示学习方法。它不直接要求模型预测固定类别而是要求模型判断哪些样本应当匹配哪些样本不应当匹配哪些变化不应改变表示哪些差异应当在表示空间中被保留。其基本目标可以简化为其中是锚点表示是正样本表示是负样本表示s表示相似度函数。二、对比学习的基本范式2.1 样本与视图给定原始样本从增强分布中随机采样两个变换生成两个视图这里的视图不一定只是图像裁剪。在不同领域中视图可以具有不同含义图像中的随机裁剪、颜色扰动和模糊视频中的不同时刻或不同空间区域文本中的不同语义改写图结构中的不同边扰动时间序列中的不同子窗口多模态数据中的图片和对应文本。对比学习假设这些视图共享某种任务相关信息。2.2 共享编码器两个视图通过参数共享的编码器参数共享保证两个分支使用相同的表示规则。如果两个视图分别使用完全独立且没有约束的编码器那么两个分支可能形成不一致的表示坐标系难以进行直接比较。在孪生网络结构中两个分支并不是两个彼此独立的模型而是同一个编码函数在不同输入上的重复调用。2.3 锚点、正样本与负样本在一次对比计算中被用于发起匹配的样本称为锚点。假设作为锚点那么来自同一个原始样本的通常作为正样本。来自其他原始样本的视图通常作为负样本。如果一个batch中有N个原始样本每个样本生成两个视图则共有2N个视图。对于其中一个锚点自身不参与匹配另一个同源视图是正样本剩余2N-2个视图通常作为负样本。因此每个锚点需要在2N-1个候选中找到唯一正样本。2.4 同一个人的不同照片考虑一个简单场景batch中包含多名学生的照片。每张原图经过随机裁剪和亮度变化产生两个视图。对于学生AA的裁剪照片是一个视图A的亮度扰动照片是另一个视图两者构成正样本对B、C和D的照片作为候选负样本。模型的训练任务可以表述为给定A的一张增强照片在候选集合中识别出A的另一张增强照片。这个任务不要求模型预测“学生A”这一固定类别而是要求模型学习能够识别同源关系的表示。随着训练进行编码器会逐渐提取对视图扰动稳定的信息。例如随机亮度变化后模型不应仅依赖绝对亮度随机裁剪后模型需要根据局部结构识别对象。2.5 正负关系不是客观真理在图像实例对比中来自不同原图的样本通常被视为负样本。然而两张不同的原图可能都属于猫。如果模型将它们强制推远就可能破坏类别级语义结构。因此正负样本定义是人为设定的学习假设而不是模型从自然世界中直接获得的真理。对比学习实际学习的是在当前数据、增强方式、采样规则和损失函数共同定义的关系体系中什么信息应当保持一致什么信息应当被区分。这也是理解对比学习科研问题的基础。三、以SimCLR为例的完整训练过程SimCLR提供了一个结构相对简洁的视觉对比学习框架。它的完整训练过程可以表示为下面沿这条计算链逐步展开。3.1 数据增强与视图生成对于每个原始样本生成两个随机视图图像对比学习中的常见变换包括随机裁剪和缩放水平翻转颜色抖动灰度化高斯模糊随机遮挡。在普通监督学习中数据增强主要用于扩大训练样本覆盖范围降低过拟合。在自监督对比学习中增强还承担了更关键的功能定义表示应当具有的不变性。如果裁剪前后的视图被作为正样本那么优化目标倾向于满足这意味着模型会弱化被增强改变的信息并保留增强前后共同存在的信息。因此数据增强不是对比学习的辅助步骤而是任务定义的一部分。3.2 编码器与表示向量增强视图进入共享编码器其中。编码器可以是ResNetVision Transformer循环神经网络时间卷积网络图神经网络Transformer编码器。编码器输出通常被称为表示、特征或隐藏向量。假设表示编码器输出维度。编码器的目标不是直接产生类别概率而是将原始输入转换成适合关系比较和下游迁移的表示。3.3 投影头与对比空间SimCLR使用投影头其中投影头通常是一个小型多层感知机。例如这里的和承担不同功能是编码器表示主要用于下游任务是投影表示主要用于对比损失。这种分离允许对比目标主要约束投影空间而编码器表示可以保留更多没有被当前对比任务直接奖励的信息。如果直接要求完全满足实例级区分编码器可能过度关注“区分每一张图片”而不是形成适合类别迁移的语义结构。投影头提供了一个缓冲层使对比目标与通用表示之间不必完全重合。3.4 向量范数与归一化对于向量其范数为归一化表示为归一化后如果不归一化模型可能通过不断增大向量范数来放大点积而不是真正改善表示方向。3.5 余弦相似度两个向量和的余弦相似度为如果已经进行归一化则余弦相似度等于两个向量夹角的余弦值其取值范围为当两个向量方向接近时相似度接近1方向垂直时相似度接近0方向相反时相似度接近-1。对比学习通常关注表示方向因此余弦相似度是一种常见选择。3.6 相似度矩阵对于2N个归一化表示可以计算相似度矩阵其中因此矩阵元素为主对角线元素满足因为每个向量与自身完全相同。但对比任务不能把自身作为正确匹配因此主对角线需要屏蔽。假设原始batch中有三个样本生成六个视图如果第一个视图作为锚点那么第二个视图是正样本其余四个视图是负样本。相似度矩阵将整个batch中的配对关系转化为可并行计算的矩阵结构。3.7 温度缩放相似度通常除以温度系数其中可以看作进入Softmax之前的logit。温度系数控制相似度差异在概率空间中的放大程度。假设三个候选相似度为当时对应概率约为当时对应概率约为较小的温度会使概率更加集中在最高相似度候选上模型判断更加尖锐较大的温度会使候选概率更加平缓。温度不仅改变概率分布还会直接缩放梯度因此是对比学习中的关键超参数。3.8 Softmax匹配概率假设视图i作为锚点视图j是对应正样本则正样本匹配概率为因此并且这使相似度比较转化为一个候选匹配概率分布。从分类角度看每个锚点都对应一个临时分类任务在当前候选集合中正样本的位置就是正确类别。3.9 InfoNCE与NT-Xent损失对于锚点i和正样本j单向损失为也可以写为其中Ⅱ是指示函数样本概率接近1损失接近0如果正样本概率很低损失会增大。展开后第一项直接奖励正样本相似度第二项通过对所有候选进行归一化形成竞争。在SimCLR中两个视图相互作为锚点因此使用对称损失batch总损失可以写为NT-Xent可以理解为在归一化表示和温度缩放条件下使用的对比交叉熵目标。3.10 InfoNCE为什么等价于候选分类对于锚点i设其正样本索引为q(i)。定义目标分布模型输出分布为$p_{ik}$则交叉熵为由于只有正样本位置为1所以这正是InfoNCE形式。因此InfoNCE并不是脱离分类原理的特殊公式。它本质上是在动态候选集合上执行交叉熵分类只是“类别”不再是猫、狗或汽车而是当前batch中的匹配位置。3.11 反向传播与参数更新损失计算完成后使用梯度下降更新参数梯度传播路径为正负样本关系由数据构造过程给出损失函数再把关系错误转化为数值惩罚梯度下降根据惩罚修改编码器参数。模型并不会理解自然语言中的“正样本应当靠近”。它只是在重复优化一个数学目标最终形成符合该目标的表示空间。3.12 预训练完成后的模型使用对比预训练完成后通常移除投影头保留编码器然后连接下游任务头投影头被移除是因为$z$主要用于满足对比目标而$h$通常保留了更丰富的通用信息。常见迁移方式包括冻结编码器只训练线性分类器使用少量标签微调编码器在检测或分割任务中初始化骨干网络直接使用表示进行检索、聚类和异常检测。四、对比目标的数学与几何原理4.1 正负样本的梯度机制对于锚点i设正样本索引为q(i)定义对相似度求偏导对于正样本因为所以梯度下降会沿偏导的反方向更新因此会提高正样本相似度。对于负样本k因此梯度下降会降低负样本相似度。这给出了“拉近正样本、推远负样本”的严格数学来源。4.2 困难负样本为何梯度更大负样本梯度大小为如果某个负样本与锚点相似度较高那么较大它获得的梯度也更大。因此模型会优先修正那些容易与正样本混淆的负样本。这类样本称为困难负样本。困难负样本可以提高判别能力但如果一个高相似度样本实际上与锚点具有相同语义只是因为构造规则被错误地标记为负样本那么它会成为假负样本并产生较强的错误梯度。4.3 温度系数的梯度作用梯度中包含较小的会直接放大梯度尺度同时使Softmax概率更加尖锐。但温度的影响不只是统一乘上一个系数因为本身也取决于当减小时高相似度候选获得更大的概率低相似度候选概率迅速下降。因此优化会更加集中于最困难的候选。过小的温度可能导致梯度过度集中对噪声和假负样本更加敏感数值不稳定表示空间过度排斥。过大的温度可能导致候选差异被弱化正负样本竞争不足梯度信号过于平均模型难以形成清晰结构。4.4 余弦相似度的向量梯度余弦相似度为对求导第一项推动z_i向z_j方向移动第二项修正向量长度和方向之间的耦合。如果表示已经归一化则相似度为对归一化表示求导因此在归一化空间中提高相似度可以理解为让一个表示沿另一个表示的方向移动。4.5 表示空间中的Alignment正样本应当在表示空间中保持接近这种性质称为Alignment。可以定义其中较小的表示正样本对具有较高的一致性。Alignment对应对比学习中的局部目标同一对象或相关对象的不同视图应具有稳定表示。但如果只优化Alignment存在一个平凡解对于所有输入都输出同一个常数向量此时所有正样本距离都为零。因此仅有正样本对齐不足以学习有用表示。4.6 表示空间中的Uniformity为避免所有表示聚集到同一点需要让整体表示在单位超球面上充分展开。一种Uniformity目标可以写为其中当不同样本表示过于接近时指数项较大当表示充分分散时指数项减小。Uniformity对应全局目标整个表示分布不能集中在极少数区域。对比学习可以从两个层面理解Alignment约束正样本局部一致Uniformity约束整体分布充分展开。负样本机制同时参与塑造这两种性质。4.7 完全坍塌完全坍塌指所有输入被映射到相同表示此时模型失去了区分不同样本的能力。如果只要求正样本相同而没有任何其他约束那么常数映射可以轻易满足目标。传统对比学习通过负样本竞争抑制完全坍塌。若所有表示都相同则所有候选相似度相同正样本概率只能达到对应损失为这不是最优解因此模型需要提高正样本相对于负样本的相似度。4.8 维度坍塌维度坍塌比完全坍塌更隐蔽。模型输出的样本可能彼此不同但所有表示主要分布在低维子空间中。设中心化表示矩阵为协方差矩阵为设其特征值为如果只有少数特征值明显大于零说明表示实际上只使用了少数方向。可以构造归一化谱有效秩为如果r_e远小于d说明表示维度利用率较低。维度坍塌可能降低表示容量即使模型没有完全输出常数也可能丢失大量可迁移信息。4.9 不变性与等变性如果输入经过变换t后表示保持不变则满足这称为不变性。如果输入变换后表示按照某个可预测规则变化则满足这称为等变性。图像分类通常希望模型对平移、轻微裁剪和颜色变化保持一定不变性。然而目标检测需要保留对象位置姿态估计需要保留旋转信息时间序列预测需要保留时间方向和动态结构。因此对比学习不能无限追求不变性。合理目标应当是对任务无关变化保持不变对任务相关变化保持敏感对结构性变化保留可预测响应。4.10 互信息基础两个随机变量X和Y的互信息为也可以写为互信息衡量联合分布与独立分布之间的差异。如果X和Y相互独立则因此如果X和Y共享较多信息则互信息较大。4.11 InfoNCE与互信息下界设正样本来自联合分布负样本来自边缘分布在一定采样假设下InfoNCE可以建立互信息下界其中$K$表示候选数量。这说明降低InfoNCE损失可以提高对共享信息的下界估计。但这一解释有明确边界。第一高互信息不一定等于高质量语义。两张视图可能共享背景、噪声、相机特征和局部纹理而这些信息未必对下游任务有用。第二原始输入之间的互信息可能非常大但模型不应保留全部输入细节。第三数据增强主动删除部分信息迫使模型保留增强视图之间稳定的部分。第四现代自监督方法的性能还受到网络结构、归纳偏置、归一化、优化动力学和数据规模影响。因此互信息是理解InfoNCE的重要理论工具但不能作为对比学习的唯一解释。五、正负样本与视图设计5.1 正样本构造方式正样本表示在当前学习目标下应当具有某种共同语义。常见构造方式包括同一实例的不同增强这是SimCLR和MoCo中的典型方式。同一类别的不同样本这是监督式对比学习中的主要方式。同一对象的不同视角例如同一个三维对象在不同相机角度下的图片。时间邻近样本常用于视频和时间序列。局部与全局表示将同一个样本的局部区域与整体表示建立正样本关系。跨模态配对例如图像与其对应文本、音频与其对应字幕。5.2 实例级与语义级正样本实例级对比将同一原始样本的增强视图视为正样本不同原始样本通常视为负样本。语义级对比允许不同原始样本成为正样本只要它们共享类别、状态、事件或领域语义。实例级关系比较容易自动构造但可能过度区分语义相同的样本。语义级关系更符合下游任务但通常需要标签、伪标签、聚类结果、邻域信息或领域知识。5.3 Batch内负样本SimCLR使用同一batch中的其他样本作为负样本。如果batch包含$N$个原始样本每个样本有两个视图则每个锚点拥有2N-2个负样本。增大batch可以提供更多负样本使候选任务更困难也有助于整体表示分散。但大batch会增加显存占用相似度矩阵计算量分布式通信成本假负样本数量。因此更多负样本并不必然单调提升效果。5.4 内存库与特征队列为了在不显著增大当前batch的情况下获得大量负样本可以存储历史表示。设队列为当前查询表示与队列中的候选比较这种方法降低了大batch依赖但引入了表示陈旧问题。队列中的历史表示由较早版本的编码器生成可能与当前编码器的表示空间不完全一致。MoCo通过动量编码器缓解这一问题。5.5 困难负样本困难负样本与锚点具有较高相似度但按照当前任务定义不属于正样本。其特点是困难负样本能够提供更强的判别训练信号因为它们更容易与正样本混淆。但困难负样本存在两类风险样本本身可能是错误标注的假负样本过度关注局部困难样本可能破坏全局表示结构。因此困难负样本挖掘通常需要结合语义过滤、类别信息、聚类结构或不确定性估计。5.6 假负样本假负样本指按照采样规则被当作负样本但实际上与锚点共享重要语义的样本。例如两张不同的猫图片同一病理类型的不同医学影像同一市场状态下的不同股票同一事件的不同新闻文本同一说话人的不同语音片段。因为假负样本往往与锚点相似度较高所以根据梯度公式它们可能产生较大的错误排斥梯度。长期训练后模型可能出现类内表示过度分散语义邻域被破坏下游分类边界复杂化局部结构不稳定。常见缓解方式包括多正样本机制聚类伪标签邻域正样本负样本去偏相似度加权软标签关系领域知识过滤。5.7 数据增强与语义保持每种增强都隐含一个假设也就是说增强前后任务语义保持不变。如果这一假设不成立正样本关系就会引入错误监督。例如数字6旋转后可能接近数字9医学图像颜色变化可能破坏病理特征遥感图像旋转可能改变地理方向语义时间序列随机打乱会破坏顺序结构金融收益缩放会改变波动率水平裁剪可能删除决定类别的关键区域。因此增强强度必须在两个目标之间平衡视图差异足够大使模型不能依赖低级捷径语义信息得到保留使正样本关系仍然成立。5.8 增强定义了模型忽略什么假设训练中经常使用颜色扰动并把扰动前后视图作为正样本那么模型会受到如下约束模型倾向于降低颜色变化对表示的影响。如果下游任务是普通对象分类这可能有利于泛化如果下游任务是识别水果成熟度或医学组织染色差异颜色可能是核心信息此时增强会与任务目标冲突。因此对比学习中的增强不是通用技术参数而是领域语义设计。六、经典对比学习方法的技术演进6.1 Contrastive Predictive CodingContrastive Predictive Coding将对比学习用于序列预测。首先将序列观测编码为潜在表示再通过上下文网络聚合历史信息模型使用上下文表示预测未来潜在变量并从真实未来表示和负样本中识别正确目标。评分函数可以写为对应损失为CPC的重要意义在于它将表示学习、序列预测和InfoNCE结合起来使模型通过预测未来潜在结构学习抽象表示而不是直接重构原始输入。6.2 Instance DiscriminationInstance Discrimination将每个训练样本视为一个独立类别。设数据集中有N个样本每个实例对应一个临时类别。模型需要识别一个增强视图来自哪个原始实例。这种方法不需要人工语义标签但隐含假设是同一实例的不同视图应接近不同实例应被区分。它为后续视觉对比学习奠定了实例级关系建模基础。早期方法通常依赖内存库保存整个数据集的历史表示以构造大量候选类别。6.3 SimCLRSimCLR的主要组成包括强数据增强共享编码器非线性投影头向量归一化Batch内负样本温度缩放NT-Xent损失。SimCLR的重要贡献不只是提出一个具体模型还系统展示了以下因素的重要性增强组合显著影响表示质量投影头改善下游线性评估更大的batch提供更多负样本更长训练时间有助于自监督预训练温度参数影响表示分布和梯度。SimCLR结构简单但计算资源需求较高因为其性能往往依赖较大的batch。6.4 MoCoMoCo引入两个编码器其中查询编码器通过反向传播更新键编码器通过动量更新其中当m接近1时键编码器变化较慢。MoCo维护一个先进先出的特征队列新键进入队列最旧键移出队列。队列提供大量负样本动量编码器则保证不同时间进入队列的键具有相对一致的编码规则。MoCo解决的核心问题是如何在有限batch下构建规模较大且相对稳定的对比字典。6.5 Supervised Contrastive Learning监督式对比学习利用类别标签定义多正样本集合。对于锚点i正样本集合为单个锚点损失为与实例级对比相比监督式对比不会把同类别不同实例作为负样本而是主动压缩类内结构。普通交叉熵直接优化类别预测监督式对比学习则先塑造表示空间使同类样本形成更紧凑的分布再训练分类器读取这些表示。但如果类别标签本身粗糙或存在噪声监督式对比也可能错误地拉近具有不同细粒度语义的样本。6.6 CLIPCLIP通过图像—文本配对数据学习跨模态表示。图像编码器输出文本编码器输出归一化后计算图文相似度一个batch中包含N个正确图文配对对于图像i正确文本为i对于文本i正确图像也为i。图像到文本损失为文本到图像损失为总损失为CLIP将图像和文本映射到同一个表示空间使匹配图文靠近不匹配图文相对分离。6.7 CLIP的零样本分类假设需要识别C个类别为每个类别构造文本描述文本编码器生成类别表示图像表示为计算类别概率预测类别为这里不需要为当前数据集重新训练一个固定分类器因为文本类别描述本身构成了类别原型。但零样本能力并不意味着模型从未接触过相关语义。模型可能在大规模图文数据中见过相同或相近概念只是没有使用当前数据集的标准类别标签进行专门训练。图文配对本身仍然是一种监督信号只是它比传统人工类别标签更加开放和弱结构化。七、表示评估与下游迁移7.1 线性评估线性评估首先冻结编码器只训练一个线性分类器类别概率为编码器参数保持不变只更新W和b。线性评估用于检验预训练表示中是否已经形成容易被线性边界读取的类别结构。如果线性分类器表现良好说明不同类别在表示空间中已经具有较清晰的分离性。7.2 KNN评估KNN不训练参数化分类头而是根据表示距离进行预测。对于测试样本x计算其与训练表示的相似度选择相似度最高的K个邻居并根据邻居标签投票。KNN能够直接检验局部表示结构。如果语义相似样本自然聚集那么最近邻通常具有相同标签。7.3 全量微调全量微调同时更新编码器和任务头其中是下游任务损失。微调能够使预训练表示适应具体任务但也可能破坏原有结构。常见策略包括编码器使用较小学习率任务头使用较大学习率先冻结后逐步解冻使用正则化限制参数偏移保留部分预训练目标进行联合训练。7.4 分类器如何理解表示向量分类器不需要知道表示每一维的人工语义。假设编码器输出线性分类器学习对于类别c分类器学习的是一个方向w_c。当表示h_i在该方向上的投影较大时类别c的logit升高。因此分类器不需要知道“第17维表示耳朵”或“第42维表示纹理”。它只需要通过标签数据学习哪些向量方向、维度组合和空间区域对应不同类别。对比预训练的作用是使这些类别关系更容易通过简单分类器读取。7.5 检索对比表示天然适合检索任务。给定查询样本q数据库样本表示为按照相似度排序如果表示空间具有良好语义结构那么排序靠前的样本应当与查询具有相似语义。常用指标包括RecallKPrecisionKMean Average PrecisionMean Reciprocal Rank。7.6 少样本迁移当下游任务只有少量标签时直接从随机初始化训练模型容易过拟合。对比预训练提供一个较好的参数起点使少量样本主要用于调整已有表示而不是从头学习底层结构。常见设置包括每类1个样本每类5个样本每类10个样本固定编码器训练原型分类器使用少量梯度步骤微调。八、经典论文阅读路线8.1 第一阶段掌握基础方法1. Unsupervised Feature Learning via Non-Parametric Instance Discrimination重点阅读实例分类思想非参数分类器内存库实例级区分如何形成表示。2. Representation Learning with Contrastive Predictive Coding重点阅读序列编码上下文表示未来潜变量预测InfoNCE互信息解释。3. A Simple Framework for Contrastive Learning of Visual Representations重点阅读SimCLR完整流程数据增强消融投影头温度系数Batch大小线性评估。4. Momentum Contrast for Unsupervised Visual Representation Learning重点阅读动量编码器特征队列字典一致性大规模负样本。5. Supervised Contrastive Learning重点阅读多正样本损失类内紧凑性类间分离与普通交叉熵的比较。8.2 第二阶段理解表示空间理论1. Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere重点阅读单位超球面AlignmentUniformity对比损失的几何性质。2. InfoNCE与互信息相关研究重点关注互信息定义负样本采样假设下界推导候选数量下界松紧互信息解释的局限。3. Hard Negative与False Negative研究重点关注困难负样本的梯度贡献假负样本偏差去偏目标软关系建模邻域正样本。4. 表示坍塌与谱分析研究重点关注完全坍塌维度坍塌协方差矩阵奇异值谱有效秩投影头作用。8.3 第三阶段理解无负样本方法1. Bootstrap Your Own Latent重点阅读Online networkTarget networkPredictor动量更新无负样本条件下的训练稳定性。2. Exploring Simple Siamese Representation Learning重点阅读Stop-gradientPredictor网络非对称性优化动力学。3. Barlow Twins重点阅读交叉相关矩阵对角一致性非对角去冗余特征维度关系。4. VICReg重点阅读InvarianceVarianceCovariance显式防坍塌机制。5. Emerging Properties in Self-Supervised Vision Transformers重点阅读Student–teacherCenteringSharpening多裁剪视图Vision Transformer的对象结构。8.4 第四阶段多模态学习Learning Transferable Visual Models From Natural Language Supervision重点阅读图像编码器文本编码器图文相似度矩阵对称交叉熵Prompt零样本迁移图文配对监督。学习CLIP时需要重点理解模型不是直接拥有开放世界知识而是在大规模图文关系中学习了视觉模式与语言概念之间的对应结构。8.5 第五阶段时间序列对比学习可以继续阅读以下方向Temporal Neighborhood CodingTS-TCCTS2VecCoST时频域对比多尺度对比非平稳时间序列表示学习。阅读时应重点记录正样本如何定义负样本如何定义是否使用时间邻近假设是否保留时间顺序是否建模多尺度结构是否使用频域信息预训练目标与预测任务是否一致。九、总结对比学习的核心不是某一个固定损失函数而是一套围绕“关系”构建表示空间的学习框架。其完整组成可以概括为其中决定如何生成视图决定哪些样本相关负责提取表示负责映射到训练空间负责度量表示关系负责将关系转化为梯度。以SimCLR为例完整计算链为正样本相似度对应的梯度为负样本相似度对应的梯度为因此正样本相似度被提高负样本相似度被降低。困难负样本由于$p_{ik}$较大会产生更强梯度假负样本也会因此造成更明显的错误排斥。从几何角度看对比学习同时塑造Alignment与Uniformity正样本需要局部对齐整体表示需要在单位超球面上充分展开。从信息论角度看InfoNCE与互信息下界存在联系但对比学习并不只是简单最大化互信息。真正决定模型学到什么的是其中表示数据分布表示视图变换表示关系定义表示模型结构表示优化目标。传统对比学习使用负样本维持表示多样性BYOL和SimSiam使用网络非对称性与停止梯度Barlow Twins和VICReg使用方差、协方差和去冗余约束DINO通过教师分布和多视图自蒸馏学习结构CLIP则将同样的匹配思想扩展到图像和文本之间。
