1. 项目介绍
项目大概介绍了半小时
结合项目提问
2. 问题
- LSTM 为什么能解决梯度消失
答案:通俗地讲:RNN中,每个记忆单元 h t − 1 h_{t-1} ht−1都会乘上一个 W W W 和激活函数的导数,这种连乘使得记忆衰减的很快,而LSTM是通过记忆和当前输入"相加",使得之前的记忆会继续存在而不是受到乘法的影响而部分“消失”,因此不会衰减。但是这种naive的做法太直白了,实际上就是个线性模型,在学习效果上不够好,因此LSTM引入了那3个门:
3. 手撕代码
- 【LeetCode】17. 电话号码的字母组合
- 【LeetCode】72. 编辑距离(动态规划 hard)
- 【LeetCode】141 环形链表 I,142. 环形链表 II(双指针 中学追及问题)