RMSProp（Root Mean Square Propagation）是一种自适应学习率的优化算法，常用于训练神经网络和其他机器学习模型。其主要思想是通过调整每个参数的学习率来加速收敛，特别是在处理非平稳目标时。以下是RMSProp的基本过程：

  1. 初始化参数：

    • 初始化参数 θ 和均方根平方和 s。
    • 初始化学习率 α 和衰减率 γ。

  2. 计算梯度：

    • 计算损失函数对参数 θ 的梯度 g。

  3. 更新均方根平方和：

    • 计算均方根平方和 s = γ * s + (1 - γ) * g^2。

  4. 更新参数：

    • 更新参数 θ = θ - α * g / sqrt(s + ε)，其中 ε 是一个很小的正数（如 1e-8），以防止分母为零。

  5. 重复步骤 2-4，直到达到预定的迭代次数或满足停止条件。

RMSProp通过动态调整学习率，使得在梯度较大的方向上学习率较小，而在梯度较小的方向上学习率较大，从而加速收敛。

代码实现：

def rmsprop_linear_regression(X, y, learning_rate, decay_rate, epochs):
    m, n = X.shape
    theta = np.zeros((n, 1))
    s = np.zeros((n, 1))
    for _ in range(epochs):
        y_pred = np.dot(X, theta)  # 计算预测值
        error = y_pred - y  # 计算误差
        gradient = (1 / m) * np.dot(X.T, error)  # 计算梯度
        s = decay_rate * s + (1 - decay_rate) * gradient ** 2  # 更新平方和
        theta -= learning_rate * gradient / np.sqrt(s + 1e-8)  # 更新参数
    return np.round(theta.flatten(), 2).tolist()