DAY11 常见的调参方式

模型算法实例化后设置的外参超参数训练后得到的内参调参原则只要调参就要考两次传统方式训练、验证、测试现代方式很多调参函数自带交叉验证 不需要验证集三种主流调参方式网格搜索穷举随机搜索随机采样贝叶斯优化智能优化随机搜索5个参数 20有的参数变化对结果没啥影响有的参数变化影响比较大---效率变高了 先观察再搜索迭代循环贝叶斯优化完整闭环笔记三步迭代 贝叶斯优化标准循环少量初始采样跑真实仪器得到\((x_1,y_1)\)训练代理模型采集函数筛选最优候选\(x_2\)\(x_2\)做真实实验得到\(y_2\)扩充数据集、重新训练代理模型重复循环迭代越多次越逼近全局最优参数完美解决 “无先验、实验昂贵” 的痛点。浙大疏锦行