LLM by Hand

亲手搭一个 GPT。

从一次点积开始,到一个你亲手写出来、真能运行的模型结束。
每一步都小到能用纸笔算。第一步就在这里试试。

cat = [2, 0]
dog = [1, 1]
cat · dog =2×1 + 0×1 =
对应相乘,再相加

第一次来?先读一下导读:开始前需要会什么,一关该怎么学。 已经有基础?每一关开头都有“用小测跳过”:答对几道题,这一关就算通关。也可以在 ⚙ 设置里打开阅读模式只看不做,或者 从第 11 关开始。

地图

先学基础,再学原理。支线是可选的(主线从不依赖它们),画在它们开放的那一关旁边。另外还计划了三个部分。

一关 Boss:自己动手搭 ★★★你得到的星

支线:深入底层
PyTorch 替你藏起来的机制:内存里的张量、计算机里的数字、自己写的自动求导、把数据喂给模型、调试模型(Boss 关),以及注意力的反向传播。每一关在它开始有用的那一关主线之后开放:U1–U5 在基础部分,U6 在第 17 关之后。
支线:经典网络
Transformer 之前的网络,以及一步步通向它的路:卷积、残差、循环网络、LSTM、最早的注意力、自编码器,以及 2017 年的编码器–解码器 Transformer。在第 10 关之后开放;2017 年的 Transformer(N7)在第 17 关之后开放。
支线:扩散模型
另一种生成方式:从噪声出发,一步步把它清理干净。D1 和 D2 在基础部分之后开放;D3 用到注意力和 Transformer 块(第 14–16 关)。
基础原理深入底层支线 · 第 1 关之后开放U1. 内存里的张量U1内存里的张量深入底层支线 · 第 3 关之后开放U2. 计算机里的数字U2计算机里的数字深入底层支线 · 第 6 关之后开放U3. 自己写一个自动求导U3自己写自动求导深入底层支线 · 第 9 关之后开放U4. 把数据喂给模型U4喂数据U5. 调试模型U5调试模型经典网络支线 · 第 10 关之后开放N1. 卷积N1卷积N2. 残差与归一化N2残差与归一化N3. 循环神经网络N3循环神经网络N4. LSTM 与 GRUN4LSTM 与 GRUN5. Seq2seq 与最早的注意力N5Seq2seq 与注意力N6. 自编码器与 VAEN6自编码器扩散模型支线 · 第 10 关之后开放D1. 加噪与去噪D1加噪与去噪D2. 采样与引导D2采样与引导扩散模型支线 · 第 16 关之后开放D3. 潜空间与 DiTD3潜空间与 DiT经典网络支线 · 第 17 关之后开放N7. 2017 年的编码器–解码器 TransformerN72017 Transformer深入底层支线 · 第 17 关之后开放U6. 注意力的反向传播U6注意力反向传播1. 矩阵与形状1矩阵与形状两张数字表怎么相乘?结果是什么形状?你在这里2. 梯度下降2梯度下降机器怎样从错误中学习?你在这里3. 神经元与分类损失3神经元与损失模型怎样回答“是”或“否”?答错了又怎样衡量错了多少?你在这里4. 激活函数4激活函数网络为什么需要一个非线性的步骤?该用哪一种?你在这里5. 多层感知机5多层感知机把一层层神经元叠起来,能多得到什么?你在这里6. 反向传播6反向传播Boss · 自己动手搭梯度怎样一层一层地流回网络?你在这里7. 优化7优化在真实数据上,怎样让训练又快又稳?你在这里8. 泛化8泛化怎样训练出一个在没见过的数据上也管用的网络?你在这里9. 从 NumPy 到 PyTorch9从 NumPy 到 PyTorchPyTorch 替你做了什么?哪些事仍然要你自己来?你在这里10. 概率与采样10概率与采样模型怎样“掷骰子”来挑下一个词?你在这里11. 什么是语言模型?11语言模型预测下一个词,怎么就变成了写文章?你在这里12. Token:从字符到 BPE12Token 与 BPE文本在哪里被切成小块?切法为什么重要?你在这里13. 嵌入与相似度13嵌入与相似度一个 token id 怎样变成一串有意义的数字?你在这里14. 自注意力14自注意力一个词怎样“看向”其他词?你在这里15. 掩码与多头注意力15掩码与多头怎样不让一个词看到某些词?怎样同时用几种方式去看?你在这里16. Transformer 的组成部分16Transformer 组件位置编码、前馈网络、残差连接和 LayerNorm 各自做什么?它们怎样组成一个解码器块?你在这里17. 完整的 Transformer17完整的 Transformer模型怎样一次一个词地生成文本?你在这里18. 生成策略18生成策略有了模型给出的分数,到底怎样挑出下一个词?你在这里19. 现代模型的模块19现代模块如今的模型在每个块里改了什么?为什么要改?你在这里20. 推理成本:显存与速度20推理成本模型每写一个 token,要花多少显存和时间?你在这里21. 写一个你自己的 GPT21写一个你自己的 GPTBoss · 自己动手搭给你一个只有名字、没有代码的起始文件,你能写出一个能用的模型吗?你在这里工程14 关 · 计划中· 算力账本· 加速器· 算子与 FlashAttention· GPU 之间的通信还有 10 关训练大模型5 关 · 计划中· 预训练:数据与规模· 训练稳定性· 微调与 LoRA· 指令微调与对齐还有 1 关应用7 关 · 计划中· 提示词与上下文学习· 结构化输出与工具调用· 检索· RAG还有 3 关
  1. 基础
  2. 1矩阵与形状两张数字表怎么相乘?结果是什么形状?
  3. 支线:深入底层在第 1 关之后开放PyTorch 替你藏起来的机制:内存里的张量、计算机里的数字、自己写的自动求导、把数据喂给模型、调试模型(Boss 关),以及注意力的反向传播。每一关在它开始有用的那一关主线之后开放:U1–U5 在基础部分,U6 在第 17 关之后。
    1. U1内存里的张量
  4. 2梯度下降机器怎样从错误中学习?
  5. 3神经元与损失模型怎样回答“是”或“否”?答错了又怎样衡量错了多少?
  6. 支线:深入底层在第 3 关之后开放
    1. U2计算机里的数字
  7. 4激活函数网络为什么需要一个非线性的步骤?该用哪一种?
  8. 5多层感知机把一层层神经元叠起来,能多得到什么?
  9. 6反向传播Boss · 自己动手搭梯度怎样一层一层地流回网络?
  10. 支线:深入底层在第 6 关之后开放
    1. U3自己写自动求导
  11. 7优化在真实数据上,怎样让训练又快又稳?
  12. 8泛化怎样训练出一个在没见过的数据上也管用的网络?
  13. 9从 NumPy 到 PyTorchPyTorch 替你做了什么?哪些事仍然要你自己来?
  14. 支线:深入底层在第 9 关之后开放
    1. U4喂数据
    2. U5调试模型
  15. 10概率与采样模型怎样“掷骰子”来挑下一个词?
  16. 支线:经典网络在第 10 关之后开放Transformer 之前的网络,以及一步步通向它的路:卷积、残差、循环网络、LSTM、最早的注意力、自编码器,以及 2017 年的编码器–解码器 Transformer。在第 10 关之后开放;2017 年的 Transformer(N7)
    1. N1卷积
    2. N2残差与归一化
    3. N3循环神经网络
    4. N4LSTM 与 GRU
    5. N5Seq2seq 与注意力
    6. N6自编码器
  17. 支线:扩散模型在第 10 关之后开放另一种生成方式:从噪声出发,一步步把它清理干净。D1 和 D2 在基础部分之后开放;D3 用到注意力和 Transformer 块(第 14–16 关)。
    1. D1加噪与去噪
    2. D2采样与引导
  18. 原理
  19. 11语言模型预测下一个词,怎么就变成了写文章?
  20. 12Token 与 BPE文本在哪里被切成小块?切法为什么重要?
  21. 13嵌入与相似度一个 token id 怎样变成一串有意义的数字?
  22. 14自注意力一个词怎样“看向”其他词?
  23. 15掩码与多头怎样不让一个词看到某些词?怎样同时用几种方式去看?
  24. 16Transformer 组件位置编码、前馈网络、残差连接和 LayerNorm 各自做什么?它们怎样组成一个解码器块?
  25. 支线:扩散模型在第 16 关之后开放
    1. D3潜空间与 DiT
  26. 17完整的 Transformer模型怎样一次一个词地生成文本?
  27. 支线:经典网络在第 17 关之后开放
    1. N72017 Transformer
  28. 支线:深入底层在第 17 关之后开放
    1. U6注意力反向传播
  29. 18生成策略有了模型给出的分数,到底怎样挑出下一个词?
  30. 19现代模块如今的模型在每个块里改了什么?为什么要改?
  31. 20推理成本模型每写一个 token,要花多少显存和时间?
  32. 21写一个你自己的 GPTBoss · 自己动手搭给你一个只有名字、没有代码的起始文件,你能写出一个能用的模型吗?
    1. 计划中
    2. 工程 · 14 关,计划中
    3. 训练大模型 · 5 关,计划中
    4. 应用 · 7 关,计划中