PyTorch 9. 优化器

优化器

pytorch优化器：管理并更新模型中可学习参数的值，使得模型输出更接近真实标签

基本属性：
defaults: 优化器超参数
state: 参数的缓存，如momentum的缓存
param_groups: 管理的参数组
_step_count:记录更新次数，学习率调整中使用
操作：
zero_grad():清空所管理参数的梯度
step():执行一步更新
add_param_group():添加参数组
state_dict()：获取优化器当前状态信息字典
load_state_dict()：加载状态信息字典

  1. nn.optim.SGD
    主要参数：
    params:管理的参数组
    lr：初始学习率
    momentum:动量系数
    weight_decay:L2正则化系数
    nesterov:是否采用NAG，涅斯捷罗夫梯度优化方法
  2. nn.optim.Adagrad
    自适应学习率梯度下降法
  3. nn.optim.RMSprop
    Adagrad的改进
  4. nn.optim.Adam
    RMSprop结合Momentum
  5. nn.optim.AdamW
    增加权重的adam