大模型面试100问07：特殊架构篇
TL;DR 稠密模型的参数规模竞赛已经到头，MoE用稀疏激活让470亿参数的模型跑出130亿的速度；多模态让LLM能看图说话，GPT-4V的视觉编码器是关键；Diffusion模型让AI能画画，DDPM和DDIM是两条技术路线。本文从6个高...
持续更新
更多文章
大模型面试100问06：评估与安全篇
TL;DR 评估和安全是LLM落地的两大关键——不能衡量就无法改进，不能保护就不敢上线。BLEU/ROUGE适合机器翻译但不适合开放生成，困惑度只能评估语言建模能力；幻觉检测用语义熵，偏见测量用CrowS-Pairs；红队测试模拟攻击，差分...
大模型面试100问05：RAG与Agent篇
TL;DR LLM的知识有截止日期，RAG让它能查最新资料；LLM只会聊天，Agent让它能干活。RAG的核心是检索+生成，文档分块策略直接影响效果；Agent的核心是感知+规划+记忆+工具，ReAct架构让它能像人一样思考和行动。本文从8...
大模型面试100问04：Prompt工程篇
TL;DR Prompt工程是让LLM听懂人话的艺术——同样的问题，换个问法效果天差地别。”让我们一步步思考”这句话为什么能让GPT-4准确率从17%提升到79%？Tree of Thoughts如何让模型像下棋一样...
大模型面试100问03：推理与部署篇
TL;DR 推理才是大模型的真正战场——训练一次，推理百万次。标准Attention的内存带宽成为瓶颈，Flash Attention通过Tiling技术让速度提升5倍；KV Cache让解码快10倍，但长上下文会吃掉几十GB显存；vLLM...
大模型面试100问02：训练与优化篇
TL;DR 全参数微调一个7B模型要14GB显存，65B模型要130GB——普通人根本玩不起。但LoRA只需要0.1%的参数，QLoRA更狠，单张24GB显卡就能训65B模型。本文从10个高频面试题入手，带你搞懂大模型训练的核心技术：LoR...
大模型面试100问01：基础概念与架构篇
TL;DR 面试官问你Transformer原理，你能答到什么深度？本文从12个高频面试题入手，带你搞懂大模型的底层架构——不是背概念，是真正理解为什么GPT用单向注意力、LLaMA为什么选RoPE、多头注意力到底在干什么。读完这篇，你能用...
大模型面试100问：从基础到实战的完整指南
大模型面试100问：从基础到实战的完整指南 为什么需要这个系列？ 大模型面试不是背八股文——面试官要的是系统性理解和实战经验。市面上的面试题要么太碎片化（100个孤立问题），要么太理论化（只讲公式不讲应用）。 这个系列不一样： ✅ 系统化：...
Karpathy神经网络零基础课程：从零手撸到GPT
TL;DR Andrej Karpathy（前特斯拉AI总监、OpenAI创始成员）做了个神经网络课程，从零开始手撸代码，一路搞到GPT。不讲虚的，全是实战。你要是会Python和高中数学，就能跟着学。 为什么值得看？ 先说重点：这课程跟市...
Claude Code 架构深度解析：Commands、Skills、Agents、Plugins 一文说清
TL;DR 你可能听说过 Claude Code 的 Commands、Skills、Agents、Plugins，但搞不清它们到底有啥区别？ 简单说： – Commands = 你按的按钮（手动触发） – Skil...
程序员数学扫盲课：10年经验程序员的数学补习指南
为什么10年经验的程序员还需要补数学？ 你写了10年代码，却看不懂Redis的SINTER为什么这么快？ 你做过无数次容量规划，却不知道为什么缓存命中率从90%提升到95%，性能能翻倍？ 你天天用负载均衡，却不明白一致性哈希为什么能解决扩容...
程序员数学10：组合数学 - 容量规划
本文是《程序员数学扫盲课》系列文章 ← 上一篇：程序员数学09：信息论 – 数据压缩 TL;DR 为什么100万用户需要多少台服务器？为什么数据库连接池要设置多大？为什么缓存命中率从90%提升到95%，性能能翻倍？答案都藏在组合...
程序员数学09：信息论 - 数据压缩
本文是《程序员数学扫盲课》系列文章 ← 上一篇：程序员数学08：哈希与模运算 – 负载均衡 | → 下一篇：程序员数学10：组合数学 – 容量规划 TL;DR 为什么ZIP能把文件压缩到原来的1/10？为什么HTTP...
程序员数学08：哈希与模运算 - 负载均衡
本文是《程序员数学扫盲课》系列文章 ← 上一篇：程序员数学07：线性代数 – 推荐系统 | → 下一篇：程序员数学09：信息论 – 数据压缩 TL;DR 为什么负载均衡能把请求均匀分配到服务器？为什么一致性哈希能解决...
程序员数学07：线性代数 - 推荐系统
本文是《程序员数学扫盲课》系列文章 ← 上一篇：程序员数学06：统计学 – P99延迟监控 | → 下一篇：程序员数学08：哈希与模运算 – 负载均衡 TL;DR 为什么推荐系统能猜出你喜欢什么？为什么协同过滤这么准...
程序员数学06：统计学 - P99延迟监控
本文是《程序员数学扫盲课》系列文章 ← 上一篇：程序员数学05：概率论 – 系统可用性 | → 下一篇：程序员数学07：线性代数 – 推荐系统 TL;DR 为什么监控报警不看平均值要看P99？为什么1%的慢请求能毁掉...
程序员数学05：概率论 - 系统可用性
本文是《程序员数学扫盲课》系列文章 ← 上一篇：程序员数学04：图论 – 微服务依赖管理 | → 下一篇：程序员数学06：统计学 – P99延迟监控 TL;DR 为什么三个99.9%的服务串联后，整体可用性只有99....
程序员数学04：图论 - 微服务依赖管理
本文是《程序员数学扫盲课》系列文章 ← 上一篇：程序员数学03：集合论 – Redis与SQL | → 下一篇：程序员数学05：概率论 – 系统可用性 TL;DR 为什么微服务会出现循环依赖？为什么CI/CD流水线要...
程序员数学03：集合论 - Redis与SQL
本文是《程序员数学扫盲课》系列文章 ← 上一篇：程序员数学02：对数Log – 数据库索引 | → 下一篇：程序员数学04：图论 – 微服务依赖管理 TL;DR 为什么Redis的SINTER能瞬间找出共同好友？为什...
程序员数学02：对数Log - 数据库索引
本文是《程序员数学扫盲课》系列文章 ← 上一篇：程序员数学01：破冰篇 – 数学符号就是代码 | → 下一篇：程序员数学03：集合论 – Redis与SQL TL;DR 为什么MySQL能在1000万条数据里瞬间找到...