1. 神经架构搜索NAS的2024年技术演进全景神经架构搜索Neural Architecture Search, NAS在2024年迎来了关键的技术拐点。从早期依赖强化学习的暴力搜索到如今融合生成式AI的智能设计NAS正在从实验室走向工业界。今年ICLR收录的论文清晰地展现了三大趋势零成本评估代理的成熟应用、跨模态架构生成的突破以及量子计算与NAS的首次深度结合。以零成本代理为例SWAP-NAS论文27通过样本级激活模式分析仅需6分钟GPU时间就能完成CIFAR-10上的架构搜索。这种无需训练的评估方法其Spearman相关系数达到惊人的0.9比传统方法提升12.5%。而DiffusionNAG论文8则将架构生成建模为图扩散过程在MobileNetV3搜索空间实现20倍加速证明了生成式AI在NAS中的巨大潜力。2. 理论突破从权重共享到量子架构搜索2.1 权重共享范式的进化传统的一次性NAS存在严重的多模型遗忘问题——新采样子网络会覆盖已有架构的权重。论文5提出的正交梯度学习OGL通过数学投影强制重叠结构的梯度更新方向与历史架构正交。实测显示这种方法在保持源任务性能损失2%的同时将TransNAS-Bench-101上的架构可转移性降低50%。更革命性的突破来自论文18的混合超网络Mixture-of-Supernets。它借鉴MoE思想通过架构感知路由动态分配专家模块使单个超网络能同时维护200子架构的专属权重。在机器翻译任务中相比传统超网络其BLEU值提升3.2延迟降低40%。2.2 量子架构搜索的崛起论文4和22共同开辟了NAS的新战场——量子计算。CRLQAS算法论文4采用Pauli传输矩阵模拟噪声环境配合三维架构编码在量子化学任务上比传统QAS方法提升23%的基态能量计算精度。而论文22首次将无监督表示学习引入量子架构搜索通过潜在空间聚类相似电路使搜索效率提升5倍。量子NAS的核心挑战在于门噪声与硬件误差的耦合。实测表明当量子比特数超过15时传统架构的保真度会骤降至60%以下。而通过课程强化学习论文4和贝叶斯优化论文22的结合新架构在20比特系统中仍能保持85%以上的操作精度。3. 跨领域应用的技术适配3.1 计算机视觉从静态到动态架构MaskTAS论文17开创了自监督Transformer架构搜索的先河。其双生教师-学生框架通过掩码知识蒸馏在无人工标注情况下达到ImageNet 82.3%的top-1准确率。更值得关注的是动态架构的进化——论文7提出的差分模型缩放DMS能同时优化深度和宽度仅用0.4 GPU天就使EfficientNet-B0提升1.4%准确率。表格数据领域也迎来突破。ATLAS论文1采用两阶段过滤-精炼策略先用无训练指标筛选候选架构再用预算感知调度器分配训练资源。在医疗表格数据上其搜索耗时比传统NAS减少82倍AUC提升0.07。3.2 自然语言处理的轻量化革命论文11的W-PCA方法彻底改变了语言模型搜索规则。通过分析FFN层的主成分权重配合参数计数它在GLUE基准上以零训练代价预测架构性能Spearman系数达0.88。实际部署中基于该方法搜索的FlexiBERT模型在相同精度下比BERT-base减小50%参数量。论文16则探索了LLM作为性能预测器的新范式。GPT-4通过特定提示模板能预测架构在翻译任务中的BLEU分数MAE误差仅±0.5。将其预测蒸馏到小型回归模型后配合混合搜索算法可使NAS总耗时减少一半。4. 前沿方法的技术剖析4.1 图神经网络的架构创新GASSIP论文15通过图稀疏化与架构剪枝的联合优化在节点分类任务上实现参数量减半、精度不变的突破。其关键在于架构感知的边缘移除策略——动态计算每条边对消息传递的贡献度逐步剪枝冗余连接。在OGB-arxiv数据集上该方法使GNN训练显存占用降低60%。论文28的TAFS框架则专门优化GNN激活函数。通过双层随机优化和Lipschitz正则化它自动发现的ReLU变体在生物医学链接预测中AUROC比标准GNN提升8.3%。这表明微观组件的优化同样能带来显著增益。4.2 训练无关搜索的可靠性提升RoBoT算法论文24通过贝叶斯优化整合多种零成本指标构建出跨任务鲁棒的评估体系。在NASBench-301上的实验显示其搜索成功率比单一指标方法提高35%。而NASGraph论文12将架构转为图结构用图特征预测性能仅需217秒就能从200个候选中找到最优解。论文10的NAS-NGE从理论层面重新设计了评估指标。基于神经切线核NTK的标准化泛化误差分解其预测结果与真实排序的Kendall tau系数达到0.72特别适合早期筛选高性能架构。
