
Positional Encoding 怎么解决词序问题
Transformer 刚出来时,很多人把注意力都放在 self-attention 上。那当然没错,因为它确实重新定义了模型怎么看上下文。但如果只盯着 attention,你会漏掉另一个同样关键的问题:模型怎么知道词序? 这是我看完这期视频后最强烈的感受。Transformer 的突破,不只是让每个词都能看见别的词,

Transformer 刚出来时,很多人把注意力都放在 self-attention 上。那当然没错,因为它确实重新定义了模型怎么看上下文。但如果只盯着 attention,你会漏掉另一个同样关键的问题:模型怎么知道词序? 这是我看完这期视频后最强烈的感受。Transformer 的突破,不只是让每个词都能看见别的词,

自然语言天生有歧义。 "The detective followed the spy with binoculars." 这句话有两个完全合理的理解:侦探拿着望远镜跟踪间谍,或者间谍带着望远镜刚好被侦探跟上了。人脑能瞬间意识到两种可能,但早期的 AI 模型做不到——它只会 picks up 其中一种,另一种直接丢掉。

ECS / OSS / CDN / 云数据库一站采购,常用云资源集中选配;新用户与续费均有专场优惠,适合个人开发者与小团队长期使用。
该研究提出基于 Clifford 几何代数 Cl(4,1) 的新型神经网络架构,试图解决传统 Transformer 将 Token 语义与上下文状态混合的根本缺陷。通过将向量分离为承载原始语义的“不变核”和承载推理状态的“等变分量”,实验...
本文深入探讨了大型语言模型(LLM)是否真正具备“理解”世界的能力。作者反对将LLM简单视为概率预测机器的观点,提出“理解”不应局限于人类认知模式,类比于猫狗等生物的非人类智能。文章同时指出了一个矛盾现象:尽管LLM基于不可解释的高维向量计...
针对Transformer嵌入(Embedding)的内存成本问题,文章提出了一种结合PCA与二次多项式解码器的压缩方法。传统的PCA是线性投影,无法捕捉神经网络嵌入中的非线性结构,导致检索质量下降。新方法通过多项式升维和岭回归构建了一个闭...
AI创新企业Subquadratic正式发布SubQ 1M-Preview,这是全球首个基于全亚线性架构的大语言模型。该模型通过重构底层注意力机制,彻底解决了传统Transformer算力随上下文长度呈“二次方增长”的瓶颈,实现了计算量的线...
本文深入探讨了与Transformer模型高效交互的四大核心原则,旨在纠正当前泛滥的低效提问方式。首先,作者主张使用特定领域语言精准传达意图,通过“概率锥”收紧而非堆砌瀑布流上下文;其次,利用注意力机制的零和博弈特性,通过前置指令和特定符号...
商汤科技开源了全新的多模态模型家族 SenseNova-U1,打破了 Stable Diffusion 的传统范式,无需 VAE 和独立视觉编码器,仅通过一个端到端的 Transformer 实现像素级与文本的统一处理。该模型在文字渲染上取...
开发者Carlo Valenti在Hacker News展示了其最新项目TRiP,这是一个完全使用C语言从零构建的完整Transformer引擎。该项目不依赖Python或现成的深度学习框架,而是直接用C语言实现了核心功能。这种底层实现方式...
针对大模型(LLM)推理中KV Cache占用内存过大的行业痛点,最新研究提出了一种“顺序KV压缩”技术。不同于TurboQuant等方法逼近的单向量Shannon极限,该方法利用KV Cache本质上是模型训练语言的“样本”这一特性,创新...