跳到主要内容
赞助推荐 搬瓦工怎么选：三网直连 CN2 GIA-E

Toy的文章

Self-Attention 为什么成了 Transformer 的核心机制-80aj

Self-Attention 为什么成了 Transformer 的核心机制

软件模型有过一个很长的阶段：它们能读句子，却不太会“理解句子”。问题不在词表，也不完全在参数规模，而在于早期模型看待语言的方式太像流水线——前一个词处理完，才能轮到后一个词。这样一来，句子一长，前面的信息就会慢慢变模糊。 这就是我看完这期视频后最想记住的一点：Transformer 真正改变局面的地方，不是简单把模型做

赞(0)ToyToy架构设计 阅读(94)
Multi-Head Attention：一句话有歧义怎么办？多看几遍-80aj

Multi-Head Attention：一句话有歧义怎么办？多看几遍

自然语言天生有歧义。 "The detective followed the spy with binoculars." 这句话有两个完全合理的理解：侦探拿着望远镜跟踪间谍，或者间谍带着望远镜刚好被侦探跟上了。人脑能瞬间意识到两种可能，但早期的 AI 模型做不到——它只会 picks up 其中一种，另一种直接丢掉。

赞(0)ToyToy架构设计 阅读(63)