美团开源560B参数大模型LongCat：攻克Lean4数学形式化推理
美团正式开源了代号为LongCat-Flash-Prover的大模型。这是一个拥有5600亿参数的旗舰级MoE（混合专家）模型，旨在推进原生形式化推理技术。该模型采用了Agent智能体与工具集成的推理机制，专门针对数学证明语言Lean4进行...
标签索引
MoE
这个标签下有 3 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
大模型、蒸馏、MoE：一篇讲人话的 AI 科普
你可能经常看到”大模型””蒸馏””MoE”这些词。它们到底是什么？为什么 DeepSeek 能用六分之一的成本干翻硅谷？为什么 Anthropic 说中国公司在R...
大模型面试100问07：特殊架构篇
TL;DR 稠密模型的参数规模竞赛已经到头，MoE用稀疏激活让470亿参数的模型跑出130亿的速度；多模态让LLM能看图说话，GPT-4V的视觉编码器是关键；Diffusion模型让AI能画画，DDPM和DDIM是两条技术路线。本文从6个高...