Karpathy神经网络零基础课程：从零手撸到GPT

TL;DR

Andrej Karpathy（前特斯拉AI总监、OpenAI创始成员）做了个神经网络课程，从零开始手撸代码，一路搞到GPT。不讲虚的，全是实战。你要是会Python和高中数学，就能跟着学。

为什么值得看？

先说重点：这课程跟市面上那些”21天精通深度学习”完全不是一回事。

Karpathy这人什么来头？特斯拉Autopilot的AI负责人，OpenAI创始团队成员，斯坦福PhD。他讲课的特点就是——不装。

别人教神经网络，上来就扔一堆公式，搞得像在背咒语。他不一样，直接带你写代码，一行一行解释为什么这么写。你写完了，神经网络也就懂了。

课程大纲与学习路径

整个课程8个模块。建议按顺序学习，每节课都为你准备了详细的图文笔记。

第一阶段：地基篇

01. Micrograd – 手撸一个AI大脑

一句话价值：不用PyTorch，纯Python手写一个自动求导引擎，理解”梯度”到底是什么。
– 视频时长：2小时25分钟
– 核心概念：反向传播、计算图、导数是敏感度

02. Makemore – 语言模型入门

一句话价值：用统计学方法（bigram）训练一个能生成名字的AI，打破”AI就是魔法”的迷信。
– 视频时长：1小时57分钟
– 核心概念：概率统计、最大似然估计、训练循环

第二阶段：进阶篇

03. MLP – 多层感知机

一句话价值：开始搭建真正的神经网络，让AI学会”寻找规律”而不是”死记硬背”。
– 视频时长：1小时15分钟
– 核心概念：Embedding向量、全连接层、过拟合

04. BatchNorm – 解决训练崩盘

一句话价值：揭秘为什么深层网络那么难训练，以及BatchNorm这个”神药”是怎么救命的。
– 视频时长：1小时55分钟
– 核心概念：梯度消失/爆炸、Kaiming初始化、Batch Normalization

05. 反向传播 – 徒手写梯度

一句话价值：抛弃自动求导，手推每一个算子的梯度。这是成为AI高手的必经之路（痛并快乐着）。
– 视频时长：1小时55分钟
– 核心概念：链式法则、矩阵求导、交叉熵损失

第三阶段：大模型篇

06. WaveNet – 神经网络大升级

一句话价值：引入卷积和树状结构，让AI看得更远（上下文更长），为Transformer打基础。
– 视频时长：56分钟
– 核心概念：卷积神经网络、空洞卷积、分层融合

07. GPT – 从零实现ChatGPT

一句话价值：终极一战！从零复现Attention Is All You Need，亲手造一个能写莎士比亚剧本的GPT。
– 视频时长：1小时56分钟
– 核心概念：Self-Attention、Transformer架构、多头注意力

08. Tokenizer – 为什么AI不识数

一句话价值：揭秘GPT的”翻译官”（分词器），理解为什么AI会犯一些低级拼写错误。
– 视频时长：2小时13分钟
– 核心概念：BPE算法、UTF-8编码、词表构建

学完能干什么？

说实话，学完这个课程，你不会立刻变成AI专家。但你会获得：

1. 真正理解神经网络：不是背公式，是知道每一层在干什么
2. 能看懂论文：Transformer、GPT这些论文，你能看懂在说啥
3. 能写代码：从零实现一个语言模型，不是调API
4. 知道坑在哪：训练不收敛、梯度爆炸这些问题，你见过也解决过

适合谁学？

适合：
– 会Python
– 记得高中数学（求导、矩阵乘法）
– 想真正搞懂神经网络，不是只会调API

不适合：
– 完全不会编程
– 想速成（这课程得花时间啃）
– 只想用现成工具，不关心原理

怎么学？

Karpathy建议按顺序学，因为后面的课程会用到前面的知识。

每节课都有配套代码，建议边看边写。别只看视频，一定要自己敲一遍代码。

课程还有个Discord社区，遇到问题可以去问。

课程链接

官网：https://karpathy.ai/zero-to-hero.html

所有视频都在YouTube上，免费看。

我的看法

这课程最大的优点是实在。

不吹牛，不画饼，就是带你一行行写代码。你写完了，神经网络也就懂了。

Karpathy讲课有个特点：他会告诉你”为什么这么设计”，而不是”这么写就对了”。这种理解深度，是看十本教材都学不来的。

如果你想真正搞懂神经网络，而不是只会调sklearn和PyTorch的API，这课程值得花时间。

就这样。

参考链接

• Neural Networks: Zero to Hero
• Andrej Karpathy YouTube频道