标签索引

大模型架构

这个标签下有 14 篇文章。按时间回看相关判断与实践记录。

标签精选

挑战Transformer架构：受DNA启发的几何代数模型实现显存恒定

该研究提出基于 Clifford 几何代数 Cl(4,1) 的新型神经网络架构，试图解决传统 Transformer 将 Token 语义与上下文状态混合的根本缺陷。通过将向量分离为承载原始语义的“不变核”和承载推理状态的“等变分量”，实验...

2026-05-111 分钟阅读37 阅读

随着AI Agent技术的飞速迭代，现有的基础通信角色（如System、User、Tool）已难以满足复杂交互需求。开发者常被迫通过或等非标准标签“强行”注入环境信息。文章提出一种前瞻性设想：若在模型训练阶段引入名为“Memory”的原生角...

2026-05-101 分钟阅读66 阅读

近日有开发者提出了一种基于“主模型+子模型”的AI Agent协作架构思路。在该架构中，主模型充当“大脑”角色，负责任务的整体规划、工作包拆分以及产出开发文档和准则；而Sub-agent则作为执行者，专注于具体的代码开发任务，完成后向主模型...

2026-05-071 分钟阅读66 阅读

AI创新企业Subquadratic正式发布SubQ 1M-Preview，这是全球首个基于全亚线性架构的大语言模型。该模型通过重构底层注意力机制，彻底解决了传统Transformer算力随上下文长度呈“二次方增长”的瓶颈，实现了计算量的线...

2026-05-061 分钟阅读241 阅读

本文深入探讨了构建大模型应用时Skill（技能）与MCP（模型上下文协议）的本质区别与最佳实践。Skill侧重于对团队经验、业务流程及操作规范的静态沉淀，主要负责定义“怎么做”，但在版本管理和加载效率上存在挑战；而MCP则具备更强的工程化能...

2026-05-061 分钟阅读57 阅读

文章提出了一种创新的“外置大脑”架构，旨在打破大模型在性能、成本与自然语言表达之间的“不可能三角”。该方案将擅长深度推理的Codex作为后台计算引擎，利用其强大的逻辑能力处理复杂Bug定位和代码分析；同时将价格亲民、表达友好的国产大模型作为...

2026-04-221 分钟阅读141 阅读

普林斯顿 AI Lab Fellow、前字节跳动研究员 Yifan Zhang 近日透露，中国 AI 独角兽 DeepSeek 的下一代旗舰模型 V4 可能于下周发布。尽管 DeepSeek 官方尚未回应，但 Zhang 凭借其清华姚班及普...

2026-04-191 分钟阅读144 阅读

本文深入探讨了AI智能体开发中的“Harness”工程模式，即用于编排和控制长时间运行AI应用程序的底层框架。作者通过对比Anthropic和OpenAI的工程实践，分享了个人在构建包含共识记忆、规划、执行、评估及调度等复杂层级系统时的经验...

2026-04-121 分钟阅读149 阅读

月之暗面Kimi团队近日发布研究，提出名为“Attention Residuals”（AttnRes）的创新架构技术。针对大语言模型在加深网络时常见的层级贡献稀释问题，该技术摒弃了传统的固定权重残差连接，转而引入跨层级的动态注意力机制。这使...

2026-03-161 分钟阅读245 阅读

该资源库汇集了当前最前沿的开源大语言模型架构图与详细参数表，由 AI 专家 Sebastian Raschka 整理发布。内容不仅涵盖了 Meta Llama 3、DeepSeek V3/R1、Mistral 等国际主流模型，还重点收录了包...

2026-03-161 分钟阅读206 阅读