王新生

NLP学习笔记

/ 注册

全部文章 / NLP学习笔记（共1篇）

Transformer理解

Transformer Simplest Self-Attention 求xi的对应yi，首先计算xi与每个xj的点积，得到一个分数(即原序列每个token与xi的重要程度)，再经过softmax得到一个比重，最终通过每个xj的重要程度占比，用整个序列来求得yi。本质就是对整个序列加权平均得到...

2021-01-28

0 385