AI编程 · 架构思考 · 技术人生
共 1 篇文章

标签:MoE

大模型面试100问07:特殊架构篇-Toy's Tech Notes

大模型面试100问07:特殊架构篇

TL;DR 稠密模型的参数规模竞赛已经到头,MoE用稀疏激活让470亿参数的模型跑出130亿的速度;多模态让LLM能看图说话,GPT-4V的视觉编码器是关键;Diffusion模型让AI能画画,DDPM和DDIM是两条技术路线。本文从6个高...

赞(0)ToyToyAI情报局 阅读(23)去评论

十年稳如初 — LocVPS,用时间证明实力

10+ 年老牌云主机服务商,全球机房覆盖,性能稳定、价格厚道。

老品牌,更懂稳定的价值你的第一台云服务器,从 LocVPS 开始