跳到主要内容
赞助推荐 搬瓦工怎么选:三网直连 CN2 GIA-E

Toy的文章

Positional Encoding 怎么解决词序问题-80aj

Positional Encoding 怎么解决词序问题

Transformer 刚出来时,很多人把注意力都放在 self-attention 上。那当然没错,因为它确实重新定义了模型怎么看上下文。但如果只盯着 attention,你会漏掉另一个同样关键的问题:模型怎么知道词序? 这是我看完这期视频后最强烈的感受。Transformer 的突破,不只是让每个词都能看见别的词,

赞(0)ToyToy架构设计 阅读(71)