DeepSeek重磅开源Engram：首创“查算分离”革新大模型架构
DeepSeek今日宣布开源新论文与模块“Engram”，提出大模型“查算分离”新机制。该方法通过引入可扩展的查找记忆结构，在保持同等参数与算力条件下，显著提升了模型在知识检索、逻辑推理及代码数学任务上的表现。此举为大模型架构优化提供了新思...
标签索引 / 第 184 页
大模型
这个标签下有 2417 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
技术指南：利用分布式数据并行在云端从零训练基础模型
本文详细介绍了如何在云端环境中利用PyTorch的分布式数据并行（DDP）技术，从零开始训练一个基础大模型。内容涵盖了云端资源配置、分布式训练环境搭建、代码实现细节以及性能优化技巧。对于希望在云上构建自定义大模型的开发者和工程师而言，这是一...
编程语言 Token 效率排名：Clojure 最强，C/C++ 排名垫底
在 LLM 上下文窗口受限且全球面临内存短缺的背景下，编程语言的 Token 效率成为影响 AI 开发成本的关键因素。一项基于 RosettaCode 数据的研究对比了 19 种主流语言，发现最高与最低效率之间存在 2.6 倍差距。结果显示...
AI辅助编程实测：大模型助力3天完成在线尺子开发，效率显著提升
一位AI产品经理通过实际项目验证了大模型的编程能力，仅用三天时间便开发完成一款在线尺子，并上线了西班牙语版本以测试小语种SEO效果。作者对比指出，若人工编写该功能预计需耗时十天，而AI辅助开发不仅大幅缩短工期，代码质量仍能保持在85分左右。...
传奇程序员新作：基于大模型的文本压缩工具ts_zip发布
传奇程序员Fabrice Bellard推出了基于大语言模型的文本压缩工具ts_zip。该工具利用RWKV模型预测概率并配合算术编码，压缩率远超xz等传统工具，部分测试低至1.08 bpb。尽管目前依赖GPU且速度较慢，仅支持文本，但这标志...
仅用19世纪数据训练：TimeCapsuleLLM重现维多利亚时代AI
TimeCapsuleLLM是一个独特的语言模型，完全基于1800年至1875年的历史文本从零训练。该项目旨在消除现代偏见，通过“选择性时间训练”技术，让AI真实还原维多利亚时代的语言风格、词汇和世界观。它不仅展示了数据对模型行为的深刻影响...
DeepSeek开源Engram：引入稀疏性新轴，重塑大模型记忆架构
DeepSeek在GitHub发布了名为Engram的新项目，提出了一种“通过可扩展查找的条件记忆”技术方案。该项目通过引入“稀疏性的新轴”，旨在解决大语言模型在处理长上下文时的记忆瓶颈。Engram利用条件记忆机制，在不显著增加推理成本的...
DeepSeek mHC 复现：颠覆传统残差连接，重塑 Transformer 架构
自2016年以来，无论是GPT-5、Claude还是Gemini，所有主流Transformer模型均沿用单一残差连接设计 $x + F(x)$。本文深入探讨了DeepSeek提出的mHC架构，该设计大胆挑战了这一传统范式，通过拓宽残差连接...
开发者API使用偏好：高性价比模型成主流，高端推理遇冷
本文分享了开发者在不同场景下对大模型API的选择偏好。对于翻译和简单代码提交等日常任务，用户倾向于使用DeepSeek、Qwen等访问快、成本低的高性价比模型；在专业代码生成领域，则偏好GPT、Claude等强模型。值得注意的是，日常对话中...
精选 AI 学习资源：从 LLM 底层逻辑到 MCP 协议实战路径
该 GitHub 仓库汇集了关于大语言模型底层逻辑、上下文工程以及 Model Context Protocol (MCP) 协议的核心学习资源与实战路径。对于想要深入理解 AI 技术原理及最新协议的开发者而言，这是一份极具价值的系统性学习...