一步步搭建多层神经网络以及应用

这一次的作业我们搭建两个神经网络，一个是两层的，一个是多层的

开始之前

开始之前，我们来看一下神经网络运行的大概步骤，先来贴一张图片

在进入神经网络之前，我们会提供所有需要用到的w和b，有几层就会有多少对这样的w和b，进入先是正向传播，直到算出了损失函数，然后就是反向传播，通过这个损失函数，反过来影响我们的w和b，不断的修改w和b最后得到一个最后的w和b，然后将这个w和b应用来预测

初始化网络参数

前向传播

2.1 计算一层的中线性求和的部分

2.2 计算激活函数的部分（ReLU使用L-1次，Sigmod使用1次）

2.3 结合线性求和与激活函数

计算误差

反向传播

4.1 线性部分的反向传播公式

4.2 激活函数部分的反向传播公式

4.3 结合线性部分与激活函数的反向传播公式

更新参数

预备

先来看一下已经提供的有哪些文件

第一项是数据集合包括测试集和训练集
剩下的三项是我们编写代码时需要用到的三个脚本，我们随后仔细解释
然后我们就要导入我们需要的库了

import numpy as np
import h5py
import matplotlib.pyplot as plt
import testCases
from dnn_utils import sigmoid, sigmoid_backward, relu, relu_backward 
import lr_utils 

这里不过多的解释了，和前两次的作业大同小异

np.random.seed(1)

这里还是要设置一个确定的种子，确保每次的随机数都是一致的

正式开始

函数1：初始化参数

def initialize_parameters(n_x,n_h,n_y):
    """
    此函数是为了初始化两层网络参数而使用的函数。
    参数：
        n_x - 输入层节点数量
        n_h - 隐藏层节点数量
        n_y - 输出层节点数量

    返回：
        parameters - 包含你的参数的python字典：
            W1 - 权重矩阵,维度为（n_h，n_x）
            b1 - 偏向量，维度为（n_h，1）
            W2 - 权重矩阵，维度为（n_y，n_h）
            b2 - 偏向量，维度为（n_y，1）

    """
    W1 = np.random.randn(n_h, n_x) * 0.01
    b1 = np.zeros((n_h, 1))
    W2 = np.random.randn(n_y, n_h) * 0.01
    b2 = np.zeros((n_y, 1))

    #使用断言确保我的数据格式是正确的
    assert(W1.shape == (n_h, n_x))
    assert(b1.shape == (n_h, 1))
    assert(W2.shape == (n_y, n_h))
    assert(b2.shape == (n_y, 1))

    parameters = {"W1": W1,
                  "b1": b1,
                  "W2": W2,
                  "b2": b2}

    return parameters  

和前几次的作业都是大同小异的，继续跟进，还是先测试一下吧

print("==============测试initialize_parameters==============")
parameters = initialize_parameters(3,2,1)
print("W1 = " + str(parameters["W1"]))
print("b1 = " + str(parameters["b1"]))
print("W2 = " + str(parameters["W2"]))
print("b2 = " + str(parameters["b2"]))

我们传入了3,2,1表明了0,1,2层的神经元个数分别为3,2,1，当然第0层的不能称作是神经元的个数，表示有3个特征属性
如果是多层了，我们一般化我们的上一个函数，要求，我们传入一个数组，数组的长度就是神经网络的层数+1(比如说3个参数，最后是两层，因为最开始表示的是特征属性)，数组的内容就是下标对应着层数,我们来看一下代码

def initialize_parameters_deep(layers_dims):

    np.random.seed(3)
    parameters = {}
    L = len(layers_dims)

    for l in range(1,L):
        parameters["W" + str(l)] = np.random.randn(layers_dims[l], layers_dims[l - 1])/ np.sqrt(layers_dims[l - 1]) 
        parameters["b" + str(l)] = np.zeros((layers_dims[l], 1))
        #确保我要的数据的格式是正确的
        assert(parameters["W" + str(l)].shape == (layers_dims[l], layers_dims[l-1]))
        assert(parameters["b" + str(l)].shape == (layers_dims[l], 1))

    return parameters

总的来说还是十分容易理解的，其中有一个地方会让我有些误解
补充一下
我们传入的是长度为三的数组，表明的是有2层的神经网络，然后看我们的循环执行的for循环，for(1,L)那么就是for(1,3),实际上的次数就1,2正好就是两层

parameters["W" + str(l)] = np.random.randn(layers_dims[l], layers_dims[l - 1])/ np.sqrt(layers_dims[l - 1]) 

为什么要np.sqrt(layers_dims[l - 1]) ，多半是为了让数更小一点
然后就是测试了

#测试initialize_parameters_deep
print("==============测试initialize_parameters_deep==============")
layers_dims = [5,4,3]
parameters = initialize_parameters_deep(layers_dims)
print("W1 = " + str(parameters["W1"]))
print("b1 = " + str(parameters["b1"]))
print("W2 = " + str(parameters["W2"]))
print("b2 = " + str(parameters["b2"]))

无论除还是不除，最后参数的规模都是不变的
至此，我们就完成了两层和多层神经网络初始参数的设置

函数2：向前传播

向前传播的线性部分

def linear_forward(A,W,b):
    """
    实现前向传播的线性部分。

    参数：
        A - 来自上一层（或输入数据）的激活，维度为(上一层的节点数量，示例的数量）
        W - 权重矩阵，numpy数组，维度为（当前图层的节点数量，前一图层的节点数量）
        b - 偏向量，numpy向量，维度为（当前图层节点数量，1）

    返回：
         Z - 激活功能的输入，也称为预激活参数
         *** - 一个包含“A”，“W”和“b”的字典，存储这些变量以有效地计算后向传递
    """
    Z = np.dot(W,A) + b
    assert(Z.shape == (W.shape[0],A.shape[1]))
    *** = (A,W,b)

    return Z,***

其中A表示的是上一层给到这一层的数，然后w，b表示的是当前层的参数，然后我们将这些传入的参数缓存起来
继续向后面传递，为什么的话我们一会再看

线性激活的部分

def linear_activation_forward(A_prev,W,b,activation):
    if activation == "sigmoid":
        Z, linear_*** = linear_forward(A_prev, W, b)
        A, activation_*** = sigmoid(Z)
    elif activation == "relu":
        Z, linear_*** = linear_forward(A_prev, W, b)
        A, activation_*** = relu(Z)

    assert(A.shape == (W.shape[0],A_prev.shape[1]))
    *** = (linear_***,activation_***)

    return A,***

一般**这个字典数据结构其中存放的都是函数传入的值，我们拿这个函数举个例子，我们执行linear_forward之后，Z就是我们执行线性操作返回的，而后面的linear_**就是我们传入的三个参数，也就是prev,W,b,同样的，activation就是我们的Z，由这两个组成了一个大的***，我们返回的值实际上就有如下的内容

A,***  ------>
A,linear_***,activation_***
A,上一层的A，这一层的W，b，这一层的Z

就相当于我们将这一层所有用到的或者产生的数都要传出去，当然还有上一层的A

这个就是我们多层神经网络向前传播的模型

向前传播的模型

def L_model_forward(X,parameters):
    """
    实现[LINEAR-> RELU] *（L-1） - > LINEAR-> SIGMOID计算前向传播，也就是多层网络的前向传播，为后面每一层都执行LINEAR和ACTIVATION

    参数：
        X - 数据，numpy数组，维度为（输入节点数量，示例数）
        parameters - initialize_parameters_deep（）的输出

    返回：
        AL - 最后的激活值
        ***s - 包含以下内容的缓存列表：
                 linear_relu_forward（）的每个***（有L-1个，索引为从0到L-2）
                 linear_sigmoid_forward（）的***（只有一个，索引为L-1）
    """
    ***s = []
    A = X
    L = len(parameters) // 2
    for l in range(1,L):
        A_prev = A 
        A, *** = linear_activation_forward(A_prev, parameters['W' + str(l)], parameters['b' + str(l)], "relu")
        ***s.append(***)

    AL, *** = linear_activation_forward(A, parameters['W' + str(L)], parameters['b' + str(L)], "sigmoid")
    ***s.append(***)

    assert(AL.shape == (1,X.shape[1]))

    return AL,***s

我们传入了X还有parameters这个就是我们的每一层的w和b，然后我们来看一下循环

    for l in range(1,L):#L表示的是神经网络的层数
        A_prev = A #每一次的循环都要获取上一层的A
        A, *** = linear_activation_forward(A_prev, parameters['W' + str(l)], parameters['b' + str(l)], "relu")
        ***s.append(***)

A, *** = linear_activation_forward(A_prev, parameters['W' + str(l)], parameters['b' + str(l)], "relu")

仔细的看一下这条执行语句，传入上一层的A，然后传入当前层数对应的W和b，获取到了A就是当前层数激活之后的内容，***就是我们上面说的(上一层的A，这一层的W，b，Z)然后看循环的代码，我们将这个内容存入到了一个集合中去了，这里我们使用的是for l in range(1,L),L如果是2，所以我们只循环一次，然后最后在执行下面的代码

AL, *** = linear_activation_forward(A, parameters['W' + str(L)], parameters['b' + str(L)], "sigmoid")
***s.append(***)

最后一层的激活函数是sigmoid，然后再存入到***s中
然后就是assert来进行确认

assert(AL.shape == (1,X.shape[1]))

返回的值如下

AL,***s

AL也就是通过所有的神经网络计算之后得到的结果，然后它的结构肯定就是一个行向量，行的大小就是样本的数量，***s就是一个集合具体的内容如下

X 第一层的w，b，z
a1 第二层的w，b，z
...
an-1 第n层的w，b，z

这个就是***s的作用

函数3：计算损失

def compute_cost(AL,Y):
    """
    实施等式（4）定义的成本函数。

    参数：
        AL - 与标签预测相对应的概率向量，维度为（1，示例数量）
        Y - 标签向量（例如：如果不是猫，则为0，如果是猫则为1），维度为（1，数量）

    返回：
        cost - 交叉熵成本
    """
    m = Y.shape[1]
    cost = -np.sum(np.multiply(np.log(AL),Y) + np.multiply(np.log(1 - AL), 1 - Y)) / m
    cost = np.squeeze(cost)
    assert(cost.shape == ())
    return cost

至此，多层神经网络的正向传播就已经完成了，然后我们来完成反向传播的代码

函数4：反向传播

反向传播的线性部分

我们知道正向传播的线性部分，就是有上一层的A和这一层的X和b推出Z，那么反向传播的线性部分就是反过来，我们要使用z反推，这里我们使用的是dz，先来看代码吧

def linear_backward(dZ,***):
    """
    为单层实现反向传播的线性部分（第L层）

    参数：
         dZ - 相对于（当前第l层的）线性输出的成本梯度
         *** - 来自当前层前向传播的值的元组（A_prev，W，b）

    返回：
         dA_prev - 相对于激活（前一层l-1）的成本梯度，与A_prev维度相同
         dW - 相对于W（当前层l）的成本梯度，与W的维度相同
         db - 相对于b（当前层l）的成本梯度，与b维度相同
    """
    A_prev, W, b = ***
    m = A_prev.shape[1]
    dW = np.dot(dZ, A_prev.T) / m
    db = np.sum(dZ, axis=1, keepdims=True) / m
    dA_prev = np.dot(W.T, dZ)

    assert (dA_prev.shape == A_prev.shape)
    assert (dW.shape == W.shape)
    assert (db.shape == b.shape)

    return dA_prev, dW, db

通过代码的参数解释，我们加深了对dz的理解，dz是相当于当前第l层线性输出的成本梯度，也就是说z是分母，而分子就是正向传播获取到的损失函数，然后就是我们的，这个我们在正向传播中着重的介绍过，可以把这个当前是这一个层的特征，这样说的话，这一层的特征一个是上一层给到这一层的输入也就是a[l-1],这上面的代码就是A_prev,还有W，b，这里没有写z

重新分析一下，反向传播的每一行代码

    dW = np.dot(dZ, A_prev.T) / m
    db = np.sum(dZ, axis=1, keepdims=True) / m
    dA_prev = np.dot(W.T, dZ)

我们已知的是dZ，在正向传播中，我们是通过w和A来推出Z的，现在我们通过dZ和A来反推出dw，其中dZ的结构是(当前层的神经元的个数，样本数)，A_prev的结构是(上一层神经元的个数，样本数)，转一下(样本数，上一层神经元的个数)，所以我们就可以推出来dw了
然后就是db，db的规模和dz的规模是相同的，直接就可以等过来了，然后就是dA_prev,先来分析一下(上一层的神经元的个数，样本数)，然后正向传播的时候，A和W一起推出了Z，现在我们知道了dZ，也知道W反过来就可以推出来了，然后测试一下

#测试linear_backward
print("==============测试linear_backward==============")
dZ, linear_*** = testCases.linear_backward_test_case()

dA_prev, dW, db = linear_backward(dZ, linear_***)
print ("dA_prev = "+ str(dA_prev))
print ("dW = " + str(dW))
print ("db = " + str(db))

激活部分

和正向传播一样，我们的反向传播也具有线性推导部分和激活函数部分，我们在回顾一下线性推导部分，我们已知dz，也知道w，a_prev,b,要推到da_prev,db,dw，现在来看激活函数部分，先不看代码，先来分析一下，原本有z通过激活函数，我们就有了a，所以我们要通过a来推导出z

def linear_activation_backward(dA,***,activation="relu"):
    """
    实现LINEAR-> ACTIVATION层的后向传播。

    参数：
         dA - 当前层l的激活后的梯度值
         *** - 我们存储的用于有效计算反向传播的值的元组（值为linear_***，activation_***）
         activation - 要在此层中使用的激活函数名，字符串类型，【"sigmoid" | "relu"】
    返回：
         dA_prev - 相对于激活（前一层l-1）的成本梯度值，与A_prev维度相同
         dW - 相对于W（当前层l）的成本梯度值，与W的维度相同
         db - 相对于b（当前层l）的成本梯度值，与b的维度相同
    """
    linear_***, activation_*** = ***
    if activation == "relu":
        dZ = relu_backward(dA, activation_***)
        dA_prev, dW, db = linear_backward(dZ, linear_***)
    elif activation == "sigmoid":
        dZ = sigmoid_backward(dA, activation_***)
        dA_prev, dW, db = linear_backward(dZ, linear_***)

    return dA_prev,dW,db

这里的***我们先忽略，对于不同的激活函数，我们采用不同的手段，这些操作都已经定义好，我们展示一下

def sigmoid(Z):
    """
    Implements the sigmoid activation in numpy

    Arguments:
    Z -- numpy array of any shape

    Returns:
    A -- output of sigmoid(z), same shape as Z
    *** -- returns Z as well, useful during backpropagation
    """

    A = 1/(1+np.exp(-Z))
    *** = Z

    return A, ***

def sigmoid_backward(dA, ***):
    """
    Implement the backward propagation for a single SIGMOID unit.

    Arguments:
    dA -- post-activation gradient, of any shape
    *** -- 'Z' where we store for computing backward propagation efficiently

    Returns:
    dZ -- Gradient of the cost with respect to Z
    """

    Z = ***

    s = 1/(1+np.exp(-Z))
    dZ = dA * s * (1-s)

    assert (dZ.shape == Z.shape)

    return dZ

这里传入的***就是Z，传入dA，然后求出sigmod的导数

def relu(Z):
    """
    Implement the RELU function.

    Arguments:
    Z -- Output of the linear layer, of any shape

    Returns:
    A -- Post-activation parameter, of the same shape as Z
    *** -- a python dictionary containing "A" ; stored for computing the backward pass efficiently
    """

    A = np.maximum(0,Z)

    assert(A.shape == Z.shape)

    *** = Z 
    return A, ***

def relu_backward(dA, ***):
    """
    Implement the backward propagation for a single RELU unit.

    Arguments:
    dA -- post-activation gradient, of any shape
    *** -- 'Z' where we store for computing backward propagation efficiently

    Returns:
    dZ -- Gradient of the cost with respect to Z
    """

    Z = ***
    dZ = np.array(dA, copy=True) # just converting dz to a correct object.

    # When z <= 0, you should set dz to 0 as well. 
    dZ[Z <= 0] = 0

    assert (dZ.shape == Z.shape)

    return dZ

总结一下，对于两个激活函数的导数的函数，我们可以知道传入的*就是Z，然后返回的是dz**
看完上面的代码，我们在返过来看看激活函数部分的反向传播

def linear_activation_backward(dA,***,activation="relu"):
    linear_***, activation_*** = ***
    if activation == "relu":
        dZ = relu_backward(dA, activation_***)
        dA_prev, dW, db = linear_backward(dZ, linear_***)
    elif activation == "sigmoid":
        dZ = sigmoid_backward(dA, activation_***)
        dA_prev, dW, db = linear_backward(dZ, linear_***) 
    return dA_prev,dW,db

dZ = relu_backward(dA, activation_),dZ = sigmoid_backward(dA, activation_)对于这两条语句我们知道了activation_***这个就是Z，激活部分的反向传播完成了之后，然后就是线性部分的反向传播

  dA_prev, dW, db = linear_backward(dZ, linear_***)

所以传入了dZ之后，又传入了linear_，这个linear_就包括w，a_prev，b
在总结一下，这一段代码传入了dA，传入了一个*，这个有两个部分，第一个部Z（activation_），第二个部分还是一个的字典，其中包括三个部分，a_prev,w,b，linear_**
这段的含义就是传入了dA,这一行用到的信息，然后还有使用的激活函数，返回这一行的da,dW,db

反向传播合在一起

然后我们就要从最后一层开始

dAL = - (np.divide(Y, AL) - np.divide(1 - Y, 1 - AL))#np.divide是除的意思，这里的意思就是多个相除

最后一层计算da，我们先来看一看具体的函数

def L_model_backward(AL,Y,***s):
    """
    对[LINEAR-> RELU] *（L-1） - > LINEAR - > SIGMOID组执行反向传播，就是多层网络的向后传播

    参数：
     AL - 概率向量，正向传播的输出（L_model_forward（））
     Y - 标签向量（例如：如果不是猫，则为0，如果是猫则为1），维度为（1，数量）
     ***s - 包含以下内容的***列表：
                 linear_activation_forward（"relu"）的***，不包含输出层
                 linear_activation_forward（"sigmoid"）的***

    返回：
     grads - 具有梯度值的字典
              grads [“dA”+ str（l）] = ...
              grads [“dW”+ str（l）] = ...
              grads [“db”+ str（l）] = ...
    """
    grads = {}
    L = len(***s)
    m = AL.shape[1]
    Y = Y.reshape(AL.shape)
    dAL = - (np.divide(Y, AL) - np.divide(1 - Y, 1 - AL))

    current_*** = ***s[L-1]
    grads["dA" + str(L)], grads["dW" + str(L)], grads["db" + str(L)] = linear_activation_backward(dAL, current_***, "sigmoid")

    for l in reversed(range(L-1)):
        current_*** = ***s[l]
        dA_prev_temp, dW_temp, db_temp = linear_activation_backward(grads["dA" + str(l + 2)], current_***, "relu")
        grads["dA" + str(l + 1)] = dA_prev_temp
        grads["dW" + str(l + 1)] = dW_temp
        grads["db" + str(l + 1)] = db_temp

    return grads

一点一点的分析，首先***s表示的就是我们每一层的那些属性，像w，b，a(a上上一层传到这一层的)，z
我们也就通过这个方法获取到了循环的次数，m没有什么好说的，这就是样本数量，Y的样子和AL的样子是相同的，都是(1,样本的数量)，然后我们就算出了 dAL = - (np.divide(Y, AL) - np.divide(1 - Y, 1 - AL))。

current_*** = ***s[L-1]

我们在上面的那个s中获取到最后一层的那些属性，然后执行linear_activation_backward(dAL, current_, "sigmoid")，传入dAL,传入最后一层的这些属性，传入最后一层使用到的sigmoid，我们将获取到的dA，dW，db这些都存到grads中，之后我们从倒数第二层开始

 for l in reversed(range(L-1)):
        current_*** = ***s[l]
        dA_prev_temp, dW_temp, db_temp = linear_activation_backward(grads["dA" + str(l + 2)], current_***, "relu")
        grads["dA" + str(l + 1)] = dA_prev_temp
        grads["dW" + str(l + 1)] = dW_temp
        grads["db" + str(l + 1)] = db_temp

我们举个简单了例子，如果是三层网络的话，那么有三对w和b，最后一层已经计算完了，所以我们从倒数第二层开始，从第二层开始，L=3，L-1=2，循环从l=1开始(我们range都是-1开始的)，然后获取到***s[1],然后执行反向传播的函数，这里的下标要注意一下，实在不行的话举一个具体的例子来算一下

执行完上面的代码，我们就知道每一层反向传播的信息了，都分别存在了grads中

函数５:更新参数

def update_parameters(parameters, grads, learning_rate):
    """
    使用梯度下降更新参数

    参数：
     parameters - 包含你的参数的字典
     grads - 包含梯度值的字典，是L_model_backward的输出

    返回：
     parameters - 包含更新参数的字典
                   参数[“W”+ str（l）] = ...
                   参数[“b”+ str（l）] = ...
    """
    L = len(parameters) // 2 #整除
    for l in range(L):
        parameters["W" + str(l + 1)] = parameters["W" + str(l + 1)] - learning_rate * grads["dW" + str(l + 1)]
        parameters["b" + str(l + 1)] = parameters["b" + str(l + 1)] - learning_rate * grads["db" + str(l + 1)]

    return parameters

每一层都要更新参数来获取到最后的值

函数6:建立模型(两层和多层)

def two_layer_model(X,Y,layers_dims,learning_rate=0.0075,num_iterations=3000,print_cost=False,isPlot=True):
    """
    实现一个两层的神经网络，【LINEAR->RELU】 -> 【LINEAR->SIGMOID】
    参数：
        X - 输入的数据，维度为(n_x，例子数)
        Y - 标签，向量，0为非猫，1为猫，维度为(1,数量)
        layers_dims - 层数的向量，维度为(n_y,n_h,n_y)
        learning_rate - 学习率
        num_iterations - 迭代的次数
        print_cost - 是否打印成本值，每100次打印一次
        isPlot - 是否绘制出误差值的图谱
    返回:
        parameters - 一个包含W1，b1，W2，b2的字典变量
    """
    np.random.seed(1)
    grads = {}
    costs = []
    (n_x,n_h,n_y) = layers_dims

    """
    初始化参数
    """
    parameters = initialize_parameters(n_x, n_h, n_y)

    W1 = parameters["W1"]
    b1 = parameters["b1"]
    W2 = parameters["W2"]
    b2 = parameters["b2"]

    """
    开始进行迭代
    """
    for i in range(0,num_iterations):
        #前向传播
        A1, ***1 = linear_activation_forward(X, W1, b1, "relu")
        A2, ***2 = linear_activation_forward(A1, W2, b2, "sigmoid")

        #计算成本
        cost = compute_cost(A2,Y)

        #后向传播
        ##初始化后向传播
        dA2 = - (np.divide(Y, A2) - np.divide(1 - Y, 1 - A2))

        ##向后传播，输入：“dA2，***2，***1”。 输出：“dA1，dW2，db2;还有dA0（未使用），dW1，db1”。
        dA1, dW2, db2 = linear_activation_backward(dA2, ***2, "sigmoid")
        dA0, dW1, db1 = linear_activation_backward(dA1, ***1, "relu")

        ##向后传播完成后的数据保存到grads
        grads["dW1"] = dW1
        grads["db1"] = db1
        grads["dW2"] = dW2
        grads["db2"] = db2

        #更新参数
        parameters = update_parameters(parameters,grads,learning_rate)
        W1 = parameters["W1"]
        b1 = parameters["b1"]
        W2 = parameters["W2"]
        b2 = parameters["b2"]

        #打印成本值，如果print_cost=False则忽略
        if i % 100 == 0:
            #记录成本
            costs.append(cost)
            #是否打印成本值
            if print_cost:
                print("第", i ,"次迭代，成本值为：" ,np.squeeze(cost))
    #迭代完成，根据条件绘制图
    if isPlot:
        plt.plot(np.squeeze(costs))
        plt.ylabel('cost')
        plt.xlabel('iterations (per tens)')
        plt.title("Learning rate =" + str(learning_rate))
        plt.show()

    #返回parameters
    return parameters

就是将上面的函数综合到一起，多层网络也是这样的

def L_layer_model(X, Y, layers_dims, learning_rate=0.0075, num_iterations=3000, print_cost=False,isPlot=True):
    """
    实现一个L层神经网络：[LINEAR-> RELU] *（L-1） - > LINEAR-> SIGMOID。

    参数：
        X - 输入的数据，维度为(n_x，例子数)
        Y - 标签，向量，0为非猫，1为猫，维度为(1,数量)
        layers_dims - 层数的向量，维度为(n_y,n_h,···,n_h,n_y)
        learning_rate - 学习率
        num_iterations - 迭代的次数
        print_cost - 是否打印成本值，每100次打印一次
        isPlot - 是否绘制出误差值的图谱

    返回：
     parameters - 模型学习的参数。 然后他们可以用来预测。
    """
    np.random.seed(1)
    costs = []

    parameters = initialize_parameters_deep(layers_dims)

    for i in range(0,num_iterations):
        AL , ***s = L_model_forward(X,parameters)

        cost = compute_cost(AL,Y)

        grads = L_model_backward(AL,Y,***s)

        parameters = update_parameters(parameters,grads,learning_rate)

        #打印成本值，如果print_cost=False则忽略
        if i % 100 == 0:
            #记录成本
            costs.append(cost)
            #是否打印成本值
            if print_cost:
                print("第", i ,"次迭代，成本值为：" ,np.squeeze(cost))
    #迭代完成，根据条件绘制图
    if isPlot:
        plt.plot(np.squeeze(costs))
        plt.ylabel('cost')
        plt.xlabel('iterations (per tens)')
        plt.title("Learning rate =" + str(learning_rate))
        plt.show()
    return parameters