挑战Transformer架构:受DNA启发的几何代数模型实现显存恒定
该研究提出基于 Clifford 几何代数 Cl(4,1) 的新型神经网络架构,试图解决传统 Transformer 将 Token 语义与上下文状态混合的根本缺陷。通过将向量分离为承载原始语义的“不变核”和承载推理状态的“等变分量”,实验...
该研究提出基于 Clifford 几何代数 Cl(4,1) 的新型神经网络架构,试图解决传统 Transformer 将 Token 语义与上下文状态混合的根本缺陷。通过将向量分离为承载原始语义的“不变核”和承载推理状态的“等变分量”,实验...
随着AI Agent技术的飞速迭代,现有的基础通信角色(如System、User、Tool)已难以满足复杂交互需求。开发者常被迫通过或等非标准标签“强行”注入环境信息。文章提出一种前瞻性设想:若在模型训练阶段引入名为“Memory”的原生角...

ECS / OSS / CDN / 云数据库一站采购,常用云资源集中选配;新用户与续费均有专场优惠,适合个人开发者与小团队长期使用。
近日有开发者提出了一种基于“主模型+子模型”的AI Agent协作架构思路。在该架构中,主模型充当“大脑”角色,负责任务的整体规划、工作包拆分以及产出开发文档和准则;而Sub-agent则作为执行者,专注于具体的代码开发任务,完成后向主模型...
AI创新企业Subquadratic正式发布SubQ 1M-Preview,这是全球首个基于全亚线性架构的大语言模型。该模型通过重构底层注意力机制,彻底解决了传统Transformer算力随上下文长度呈“二次方增长”的瓶颈,实现了计算量的线...
本文深入探讨了构建大模型应用时Skill(技能)与MCP(模型上下文协议)的本质区别与最佳实践。Skill侧重于对团队经验、业务流程及操作规范的静态沉淀,主要负责定义“怎么做”,但在版本管理和加载效率上存在挑战;而MCP则具备更强的工程化能...
文章提出了一种创新的“外置大脑”架构,旨在打破大模型在性能、成本与自然语言表达之间的“不可能三角”。该方案将擅长深度推理的Codex作为后台计算引擎,利用其强大的逻辑能力处理复杂Bug定位和代码分析;同时将价格亲民、表达友好的国产大模型作为...
普林斯顿 AI Lab Fellow、前字节跳动研究员 Yifan Zhang 近日透露,中国 AI 独角兽 DeepSeek 的下一代旗舰模型 V4 可能于下周发布。尽管 DeepSeek 官方尚未回应,但 Zhang 凭借其清华姚班及普...
本文深入探讨了AI智能体开发中的“Harness”工程模式,即用于编排和控制长时间运行AI应用程序的底层框架。作者通过对比Anthropic和OpenAI的工程实践,分享了个人在构建包含共识记忆、规划、执行、评估及调度等复杂层级系统时的经验...
月之暗面Kimi团队近日发布研究,提出名为“Attention Residuals”(AttnRes)的创新架构技术。针对大语言模型在加深网络时常见的层级贡献稀释问题,该技术摒弃了传统的固定权重残差连接,转而引入跨层级的动态注意力机制。这使...
该资源库汇集了当前最前沿的开源大语言模型架构图与详细参数表,由 AI 专家 Sebastian Raschka 整理发布。内容不仅涵盖了 Meta Llama 3、DeepSeek V3/R1、Mistral 等国际主流模型,还重点收录了包...