1. 多任务学习为何成为推荐系统的刚需想象你正在经营一家电商平台每次用户浏览商品时系统需要同时预测这个用户有多大可能点击商品CTR点击后有多大可能购买CVR传统做法是分别训练两个模型但你会发现CVR模型总是表现不佳——因为购买行为的数据量还不到点击数据的1/10。这就是推荐系统最头疼的数据稀疏性问题。多任务学习MTL的巧妙之处在于它让CTR和CVR两个任务共享商品特征编码层。CTR任务用海量点击数据训练出的商品特征会通过共享层反向传播给CVR任务。这就好比学霸CTR把笔记借给学渣CVR让后者也能考出好成绩。阿里2018年提出的ESMM模型正是利用这个原理使CVR预估效果提升37%。实际应用中多任务模型还能节省大量计算资源。某头部短视频平台测试发现将点赞、评论、分享三个任务合并训练GPU内存占用减少45%推理速度提升2.3倍。这是因为三个任务共享了80%的网络参数只需维护各自的任务专属层。2. 从硬共享到底层解耦的技术演进2.1 共享底座的原始形态最早的Shared-Bottom结构就像合租宿舍所有任务强制共用同一个特征编码网络如图1左侧。这种设计在任务高度相关时效果不错但当任务差异较大时就会出问题。比如预测视频点击率和观看时长前者关注封面吸引力后者侧重内容质量强制共享参数会导致模型精神分裂。# Shared-Bottom典型实现 shared_layer Dense(256, activationrelu)(input) task1_output Dense(1, activationsigmoid)(shared_layer) # CTR任务 task2_output Dense(1, activationsigmoid)(shared_layer) # CVR任务2.2 专家混合的突破谷歌2018年提出的MMoE模型引入了专家委员会机制。如图2右侧所示模型维护多组专家网络Expert每个任务通过门控网络Gate动态选择要咨询哪些专家。这就像公司不同部门任务可以自由选择咨询财务、法务或技术专家Expert而不是强制所有部门共用同一个顾问。实测显示在短视频多标签预测场景中MMoE相比Shared-Bottom使播放完成率提升19%。其关键创新在于门控机制的计算$$ g^k(x) \text{softmax}(W_g^k x) \ f^k(x) \sum_{i1}^n g_i^k(x) f_i(x) $$其中$W_g^k$是任务k的门控权重矩阵$f_i(x)$是第i个专家的输出。3. 分层专家网络解决任务冲突3.1 跷跷板现象的根源腾讯2020年发现多任务学习存在零和博弈提升视频点赞预测准确率3%却导致收藏预测下降1.2%。这种现象被命名为跷跷板效应Seesaw Phenomenon源于任务间共享的专家网络被迫学习矛盾的特征表达。3.2 PLE的渐进式分层腾讯的PLE模型给出了解决方案将专家明确划分为共享专家和任务专属专家图3。就像公司设立公共培训部共享专家和部门内训师专属专家既保留知识共享又避免干扰。在微信视频号的测试中PLE相比MMoE使多任务综合收益提升22%。其核心是改进的门控计算方式$$ g^k(x) \text{softmax}(W_g^k [x;e_{shared};e_k]) \ y^k h^k(\sum_{i1}^m g_i^k e_i^{shared} \sum_{j1}^n g_j^k e_j^k) $$其中$e_{shared}$代表共享专家输出$e_k$是任务k的专属专家输出。4. 前沿探索与实战建议4.1 动态权重调整策略百度GemNN提出梯度手术技术当检测到两个任务的梯度方向夹角大于90度时对冲突的梯度分量进行投影修正。这相当于给打架的两个人划定行动边界在电商场景中使冲突任务的协同效果提升15%。4.2 特征级门控网络新浪GateNet的创新在于对每个特征字段单独施加门控。比如用户年龄特征对预测点击率很重要但对购买力预测影响小模型会自动将其权重调整为[0.8, 0.2]。实践表明这种细粒度控制能使模型AUC提升0.6%-1.2%。4.3 部署时的注意事项样本加权对转化率等稀疏任务适当过采样损失平衡采用动态加权算法如Uncertainty Weight监控分离每个任务单独部署AB测试桶分阶段上线先开放少量流量观察跷跷板效应某跨境电商平台在实施多任务模型时通过逐步放开流量比例5%→20%→50%成功规避了初期因任务冲突导致的GMV波动问题。
