大模型面试100问07：特殊架构篇
TL;DR 稠密模型的参数规模竞赛已经到头，MoE用稀疏激活让470亿参数的模型跑出130亿的速度；多模态让LLM能看图说话，GPT-4V的视觉编码器是关键；Diffusion模型让AI能画画，DDPM和DDIM是两条技术路线。本文从6个高...
标签索引
Sparse MoE
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
标签索引
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
TL;DR 稠密模型的参数规模竞赛已经到头，MoE用稀疏激活让470亿参数的模型跑出130亿的速度；多模态让LLM能看图说话，GPT-4V的视觉编码器是关键；Diffusion模型让AI能画画，DDPM和DDIM是两条技术路线。本文从6个高...