王新生
王新生
全部文章
分类
NLP学习笔记(1)
归档
标签
去牛客网
登录
/
注册
王新生的博客
全部文章
(共1篇)
Transformer理解
Transformer Simplest Self-Attention 求xi的对应yi,首先计算xi与每个xj的点积,得到一个分数(即原序列每个token与xi的重要程度),再经过softmax得到一个比重,最终通过每个xj的重要程度占比,用整个序列来求得yi。 本质就是对整个序列加权平均得到...
2021-01-28
0
385