1. 题目描述

数据集{X, Y}
猜测 y和x之间存在函数关系

y = a e ( w x ) + E y = a e^{(wx)} + E y=ae(wx)+E, E E E ~ N ( 0 , σ ) N (0, σ) N(0,σ)

请设计一个算法拟合出 a , w a,w a,w

2. 解题思路

这个题目的特点是，已知函数关系，拟合参数，需要想到极大似然估计，就是已知分布，求参数。是用独立同分布系列连乘，而后取对数变成求和，而后再取极大值，求出带求参数。 极大似然估计

最大似然估计的一般求解步骤：

λ|w+ lna|^2
MSE = 1/n ∑(y - a e(wx))2

e^(-(Y-a e(wX))2/σ^2)/(sqrt(2 pi)σ)

log(∏p(y|x)) = K - ∑(y - a e(wx))2
∑(y - a e(wx))2

变形1：如何防止上述过拟合
添加正则项

变形2：如果不是凸函数，如何求最优解

  1. 随机撒点的方法，即在解空间内随机初始化的时候，随机撒点，比如用遗传算法等方法来撒点，而后再求解最优点，这就变成求初始化方法的问题了（面试官提示的）
  2. 带动量的梯度下降

变形3：如何证明是否是凸函数

参考：

  1. 什么是凸函数及如何判断一个函数是否是凸函数
  2. 凸优化笔记(2): 凸函数