机器学习之神经网络

  • 简介
    最近上课学习了机器学习的神经网络，有些数学原理搞不明白，在这里整理一下，并试图弄懂。

  • 神经网络基本思想
    人工神经网络受动物神经系统的启发，是一种仿生的方法。
    通过多个神经元的连接来实现一个复合函数，完成分类或者回归之类的任务。

  • 一个大佬的链接

  • 感知机（单层前馈神经网络）

    • 单层前馈神经网络，就是只有一个输入层和一个输出层，没有隐含层。
    • 感知机学习算法具有简单而易于实现的优点，分为原始形式和对偶形式。
    • 感知机对于输入空间中将实例划分为正负两类的分离超平面，属于判别模型。
    • 1957年由Rosenblatt提出，是神经网络和支持向量机的基础。（非常重要）
    • 使用基于误分类的损失函数，并利用梯度下降法对损失函数进行极小化。
      （感知机模型大体在我的理解：选初值w和b，然后一个一个的去算他的输入到输出的函数：y(wx+b)，然后判断是否小于0，小于0则重取w和b，直至全部输入都为正值，这里是一个循环，最后得到那个w和b就可以形成一个线性模型了，即wx+b，其中w，x都为向量，这个就是分类的那条线或者超平面了。利用这个可以形成感知机模型，加个sign（）-----理解可能有误，我尽量用我可以明白的话说出来，以便后面查看）
    • 此外，感知机学习算法还是收敛的，这里没太弄懂，等弄懂再说。
    • 感知机算法的对偶形式：这里只是把w和b迭代取值的公式变了一下。然后换了个字母a（把w换成axy）。

  • 多层前馈型神经网络

    • 输入层的个数与输入层的维数相等。
    • 这里必须有激活函数，保证神经网络的实现不是线性的

  • 正向传播和反向传播（多层前馈型神经网络中的）

    其中，在反向传播算法中，需要了解的基础知识有最优化的概念、迭代法的基本思想和梯度下降法。
    反向传播算法的数学思想：链式法则（求偏导）
    其中，具体可看大佬的链接，比我讲的明白多了。。