Positional Encoding 怎么解决词序问题
Transformer 刚出来时，很多人把注意力都放在 self-attention 上。那当然没错，因为它确实重新定义了模型怎么看上下文。但如果只盯着 attention，你会漏掉另一个同样关键的问题：模型怎么知道词序？ 这是我看完这期视...
标签索引
transformer
这个标签下有 60 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
Multi-Head Attention：一句话有歧义怎么办？多看几遍
自然语言天生有歧义。 "The detective followed the spy with binoculars." 这句话有两个完全合理的理解：侦探拿着望远镜跟踪间谍，或者间谍带着望远镜刚好被侦探跟上了。人脑能瞬间意识到两种可能，但早...
挑战Transformer架构：受DNA启发的几何代数模型实现显存恒定
该研究提出基于 Clifford 几何代数 Cl(4,1) 的新型神经网络架构，试图解决传统 Transformer 将 Token 语义与上下文状态混合的根本缺陷。通过将向量分离为承载原始语义的“不变核”和承载推理状态的“等变分量”，实验...
LLM的“理解”是伪命题吗？从概率计算到思维链的认知迷思
本文深入探讨了大型语言模型（LLM）是否真正具备“理解”世界的能力。作者反对将LLM简单视为概率预测机器的观点，提出“理解”不应局限于人类认知模式，类比于猫狗等生物的非人类智能。文章同时指出了一个矛盾现象：尽管LLM基于不可解释的高维向量计...
无需神经网络训练：多项式自编码器在向量压缩任务上显著超越PCA
针对Transformer嵌入（Embedding）的内存成本问题，文章提出了一种结合PCA与二次多项式解码器的压缩方法。传统的PCA是线性投影，无法捕捉神经网络嵌入中的非线性结构，导致检索质量下降。新方法通过多项式升维和岭回归构建了一个闭...
突破Transformer瓶颈：全球首个全亚线性大模型SubQ发布，支持1200万Token上下文
AI创新企业Subquadratic正式发布SubQ 1M-Preview，这是全球首个基于全亚线性架构的大语言模型。该模型通过重构底层注意力机制，彻底解决了传统Transformer算力随上下文长度呈“二次方增长”的瓶颈，实现了计算量的线...
像对待编译器一样设计Prompt：与Transformer高效对话的四大法则
本文深入探讨了与Transformer模型高效交互的四大核心原则，旨在纠正当前泛滥的低效提问方式。首先，作者主张使用特定领域语言精准传达意图，通过“概率锥”收紧而非堆砌瀑布流上下文；其次，利用注意力机制的零和博弈特性，通过前置指令和特定符号...
商汤颠覆性开源 SenseNova-U1：摒弃 VAE，原生统一图文理解与生成
商汤科技开源了全新的多模态模型家族 SenseNova-U1，打破了 Stable Diffusion 的传统范式，无需 VAE 和独立视觉编码器，仅通过一个端到端的 Transformer 实现像素级与文本的统一处理。该模型在文字渲染上取...
纯C语言手搓Transformer引擎：开发者推出TRiP项目
开发者Carlo Valenti在Hacker News展示了其最新项目TRiP，这是一个完全使用C语言从零构建的完整Transformer引擎。该项目不依赖Python或现成的深度学习框架，而是直接用C语言实现了核心功能。这种底层实现方式...
超越Shannon极限：新研究实现KV Cache压缩百万倍，彻底突破LLM推理瓶颈
针对大模型（LLM）推理中KV Cache占用内存过大的行业痛点，最新研究提出了一种“顺序KV压缩”技术。不同于TurboQuant等方法逼近的单向量Shannon极限，该方法利用KV Cache本质上是模型训练语言的“样本”这一特性，创新...