LLM by Hand

开始之前

LLM by Hand 用一种办法讲大语言模型:每一个数都由你亲手算出来。这一页说清楚开始前需要会什么、要准备什么、一关是怎么进行的,以及怎样学效果最好。

需要会什么

Python 基础

变量、列表、for 循环、用 def 写函数。题目里要你补的代码都很短。NumPy 和 PyTorch 不用先会,课程会教:NumPy 从第 1 关开始用,PyTorch 在第 9 关。

中学数学

四则运算和初中代数就够了。其他用到的数学(e 和 ln、求和符号 Σ、均值和方差、导数、链式法则)都在数学页上,每样配一个带数字的小例子。课程里用到时会链接过去。

不需要

  • 先修线性代数或微积分
  • 机器学习经验
  • GPU 或付费服务

要准备的东西:一个浏览器(手机也能用,但写代码的题在电脑上更顺手),以及纸和笔。几乎所有内容都直接在浏览器里运行,包括 Python 代码题。只有少数部分要在你自己的电脑上跑:用 PyTorch 训练真模型的 Boss 关,和几个可选的实验。用到时,本地运行指南会带你装好,大约十分钟。

一关怎么进行

每一关回答一个问题,就写在标题下面。答案用一个小到能在纸上算的例子讲出来:两三个词、二维的向量、三个点。

通关后会得到星:★★★ 每题都是自己做出来的;★★☆ 有题看了答案;★☆☆ 有题没做完就过了。星只是给你自己看的。

从第 2 关开始,每关顶部有两道热身题,来自前面的关卡,帮你在忘掉之前复习一下。如果你已经会了,可以点“已经会了?用小测跳过”:独立答对几道题,这一关就算通关。

怎样学效果最好

  1. 先在纸上算,再填答案。例子特意做得很小,就是为了能手算。亲手算一遍,比读十遍都记得牢。
  2. 先猜再看。“先猜一猜”只有在你真的下了判断时才有用。猜错的那一刻,正是学到东西的时候。
  3. 看提示,再试一次。“显示答案”留到真的卡住时再用:看了答案,这一关最多两颗星。
  4. 玩实验台。改一个数之前,先猜会发生什么,再动手验证。
  5. 按顺序走主线。每一关都建立在前面的关卡上。支线是可选的,好奇时再去。
  6. 回头复习。答错过的题会进错题本,过几天再做一遍。热身题也会把旧题带回来。
  7. 想快速浏览?在设置(⚙)里打开阅读模式:实验台数值全部显示,不记录答题,也不给星。

学习路线

主线有 21 关,分两部分。从第 1 关一直走到第 21 关,你会亲手写出一个能学会两位数加法的 GPT。

基础 · 数字怎样学习

  1. 1矩阵与形状
  2. 2梯度下降
  3. 3神经元与损失
  4. 4激活函数
  5. 5多层感知机
  6. 6反向传播
  7. 7优化
  8. 8泛化
  9. 9从 NumPy 到 PyTorch
  10. 10概率与采样

原理 · 模型在算什么

  1. 11语言模型
  2. 12Token 与 BPE
  3. 13嵌入与相似度
  4. 14自注意力
  5. 15掩码与多头
  6. 16Transformer 组件
  7. 17完整的 Transformer
  8. 18生成策略
  9. 19现代模块
  10. 20推理成本
  11. 21写一个你自己的 GPT

支线在主线上的某一关之后打开,侧栏和地图会把它们放在那一关旁边:深入底层(U1–U6)讲 PyTorch 替你藏起来的机制;经典网络(N1–N7)讲 Transformer 之前的网络,一直到 2017 年最早的 Transformer;扩散模型(D1–D3)讲另一种生成方式。主线从来不依赖支线。

已经熟悉神经网络了?可以直接从第 11 关开始,前面的关卡用小测跳过即可。

你的进度

不用注册账号。答题记录和星只存在这个浏览器里。要换浏览器或换电脑,在设置(⚙)里导出进度文件,再在另一边导入。

从第 1 关开始 矩阵与形状