多层感知机
输入,隐藏层,输出层,
激活函数:ReLU(𝑥)=max(𝑥,0). 多层线性,会叠加为一个,所以要用一个非线性的函数在中间,这个就是激活函数。
定义模型:

欠拟合和过拟合
欠拟合;机器学习模型无法得到较低训练误差
过拟合:

L2范数正则化(用于防止过拟合)
loss+
w=w-lrgrad
w=w-lr
grad-wd*w
trainer函数中的参数wd(weight_decay),是正则化,
第二课,80分钟