跳到主要内容
赞助推荐 搬瓦工怎么选:三网直连 CN2 GIA-E

Toy的文章

Dense vs MoE:大模型架构的选择题-80aj

Dense vs MoE:大模型架构的选择题

选 Dense 还是选 MoE?这个问题在 2025 年之后已经不怎么争议了——大多数顶级闭源模型(GPT-4 系列、Gemini、DeepSeek-V3)都用了 MoE。但这不意味着 Dense 没用了。两种架构各有清晰的能力边界,选错架构的代价远大于选错模型大小。 Dense 模型就是传统的 Transformer

赞(4)ToyToy架构设计 阅读(322)
QMD 实战:让 Agent 的知识检索从 grep 升级到 BM25+向量混合搜索-80aj

QMD 实战:让 Agent 的知识检索从 grep 升级到 BM25+向量混合搜索

Agent 有个老问题:它知道怎么写代码、怎么查资料、怎么调用工具,但它不知道你自己的东西在哪里。 我说的不是联网搜索——Google 和 Bing 它已经会用了。我说的是你自己沉淀下来的那堆 Markdown:项目文档、SOP、会议纪要、故障排查记录、个人笔记。这些东西分散在十几个目录里,几百个 `.md` 文件,A

赞(4)ToyToy架构设计 阅读(384)