位置编码

Positional Encoding 怎么解决词序问题

Transformer 刚出来时，很多人把注意力都放在 self-attention 上。那当然没错，因为它确实重新定义了模型怎么看上下文。但如果只盯着 attention，你会漏掉另一个同样关键的问题：模型怎么知道词序？ 这是我看完这期视...