Attention-is-all-you-need

Attention-is-all-you-need , NIPS’17

background

RNN based model 在实际序列问题上取得了可观的效果

RNN based model 主要通过 ht来进行长期记忆，基于此有很多不错的work，但是时序计算的限制仍然存在

之前也有attention based的工作，但是他们主要结合recurrent网络work

提出的transfomer ，避免了recurrent的结构，通过权重来结合全部时序以来关系

method

Transfomer

Attention