TobiasLee

Paper复现

/ 注册

全部文章 / Paper复现（共1篇）

TinyBERT 蒸馏速度实现加速小记

最近做的一个 project 需要复现 EMNLP 2020 Findings 的 TinyBERT，这篇文章就是在复现过程对踩到坑，以及对应的解决方案和实现加速的一个记录。 Overview of TinyBERT BERT 效果虽好，其较大内存消耗和较长的推理延时会对其上线部署造成一定挑战。内存...

Compression NLP TinyBERT

2021-04-27

0 1322