7.6 超参数优化

  • 常见超参数
    1 网络结构 包括神经元的链接关系 层数、 每层神经元的数量、激活函数的类型等。
    2 优化参数 包括优化方法、学习率、小批量的样本数量等。
    3 正则化系数

7.6.1 网格搜索

网格搜索（Grid Search）是一种通过尝试所有超参数的组合来寻址合适一组超参数配置的方法．假设总共有𝐾 个超参数，第𝑘 个超参数的可以取𝑚𝑘 个值．那么总共的配置组合数量为𝑚1 × 𝑚2 × ⋯ × 𝑚𝐾．如果超参数是连续的，可以将超参数离散化，选择几个“经验”值．
可以理解为遍历所有指定的组合

7.6.2 随机搜索

  • 对给定的参数组合进行随机的组合，在实际中可行性更高。

7.6.3 贝叶斯优化

  • 贝叶斯优化(Bayesian optimization)是一种自适应的超参数优化方法，根据当前已经试验的超参数组合，来预测下一个可能带来最大收益的组合.
    图片说明
    图片说明
    图片说明

7.6.4 动态资源分配

图片说明

7.6.5 神经架构搜索

图片说明