第8章 注意力机制与外部记忆

  • 根据通用近似定理，前馈网络和循环网络都有很强的能力．但由于优化算法和计算能力的限制，在实践中很难达到通用近似的能力．特别是在处理复杂任务时，比如需要处理大量的输入信息或者复杂的计算流程时，目前计算机的计算能力依然是限制神经网络发展的瓶颈。
  • 神经网络中可以存储的信息量称为网络容量（Network Capacity）．一般来讲，利用一组神经元来存储信息时，其存储容量和神经元的数量以及网络的复杂度成正比．要存储的信息越多，神经元数量就要越多或者网络要越复杂，进而导致神经网络的参数成倍地增加。
  • 我们可以借鉴人脑解决信息过载的机制，从两方面来提高神经网络处理信息的能力．一方面是注意力，通过自上而下的信息选择机制来过滤掉大量的无关信息；另一方面是引入额外的外部记忆，优化神经网络的记忆结构来提高神经网络存储信息的容量。

8.1 认知神经学中的注意力

  • 注意力是一种人类不可或缺的复杂认知功能，指人可以在关注一些信息的同时忽略另一些信息的选择能力．在日常生活中，我们通过视觉、听觉、触觉等方式接收大量的感觉输入．但是人脑还能在这些外界的信息轰炸中有条不紊地工作，是因为人脑可以有意或无意地从这些大量输入信息中选择小部分的有用信
    息来重点处理，并忽略其他信息．这种能力就叫作注意力（Attention）。
  • 注意力是一种人类不可或缺的复杂认知功能，指人可以在关注一些信息的同时忽略另一些信息的选择能力．在日常生活中，我们通过视觉、听觉、触觉等方式接收大量的感觉输入．但是人脑还能在这些外界的信息轰炸中有条不紊地工作，是因为人脑可以有意或无意地从这些大量输入信息中选择小部分的有用信息来重点处理，并忽略其他信息．这种能力就叫作注意力（Attention）．注意力可以作用在外部的刺激（听觉、视觉、味觉等），也可以作用在内部的意识（思考、回忆等）。
    图片说明