智谱GLM-5架构大曝光：复用DeepSeek-V3设计，模型参数或达800B
据Hugging Face最新合并的代码请求显示，智谱AI下一代模型GLM-5在架构上进行了重大调整，不再沿用旧路线，而是全面复用了DeepSeek-V3的DSA稀疏注意力机制与多标记预测（MTP）技术。GLM-5采用78层Transfor...
标签索引
MoE混合专家
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
标签索引
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
据Hugging Face最新合并的代码请求显示，智谱AI下一代模型GLM-5在架构上进行了重大调整，不再沿用旧路线，而是全面复用了DeepSeek-V3的DSA稀疏注意力机制与多标记预测（MTP）技术。GLM-5采用78层Transfor...