开始之前
LLM by Hand 用一种办法讲大语言模型:每一个数都由你亲手算出来。这一页说清楚开始前需要会什么、要准备什么、一关是怎么进行的,以及怎样学效果最好。
需要会什么
Python 基础
变量、列表、for 循环、用 def 写函数。题目里要你补的代码都很短。NumPy 和 PyTorch 不用先会,课程会教:NumPy 从第 1 关开始用,PyTorch 在第 9 关。
中学数学
四则运算和初中代数就够了。其他用到的数学(e 和 ln、求和符号 Σ、均值和方差、导数、链式法则)都在数学页上,每样配一个带数字的小例子。课程里用到时会链接过去。
不需要
- 先修线性代数或微积分
- 机器学习经验
- GPU 或付费服务
要准备的东西:一个浏览器(手机也能用,但写代码的题在电脑上更顺手),以及纸和笔。几乎所有内容都直接在浏览器里运行,包括 Python 代码题。只有少数部分要在你自己的电脑上跑:用 PyTorch 训练真模型的 Boss 关,和几个可选的实验。用到时,本地运行指南会带你装好,大约十分钟。
一关怎么进行
每一关回答一个问题,就写在标题下面。答案用一个小到能在纸上算的例子讲出来:两三个词、二维的向量、三个点。
- 实验台图和数字一起动。拖一拖、改一个数,看哪里跟着变。
- 数字 / 形状填一个数或一个形状,比如
(2, 3)。答错了会给提示,提示一次比一次具体。 - 先猜一猜在看到结果之前先选一个答案。猜错没关系,重要的是先下判断。
- 代码补全几行 Python,在浏览器里运行并通过测试。
- 往下读题目不会挡住内容,卡住了可以先往下读。答完题才计星。
- 我卡在这里了别的学习者在这里真实问过的问题和解答。“深入一点”则讲推导和设计原因,都可以不看。
- 小结通关后展开:你学会了什么、要记住的公式和形状、常见错误。
通关后会得到星:★★★ 每题都是自己做出来的;★★☆ 有题看了答案;★☆☆ 有题没做完就过了。星只是给你自己看的。
从第 2 关开始,每关顶部有两道热身题,来自前面的关卡,帮你在忘掉之前复习一下。如果你已经会了,可以点“已经会了?用小测跳过”:独立答对几道题,这一关就算通关。
怎样学效果最好
- 先在纸上算,再填答案。例子特意做得很小,就是为了能手算。亲手算一遍,比读十遍都记得牢。
- 先猜再看。“先猜一猜”只有在你真的下了判断时才有用。猜错的那一刻,正是学到东西的时候。
- 看提示,再试一次。“显示答案”留到真的卡住时再用:看了答案,这一关最多两颗星。
- 玩实验台。改一个数之前,先猜会发生什么,再动手验证。
- 按顺序走主线。每一关都建立在前面的关卡上。支线是可选的,好奇时再去。
- 回头复习。答错过的题会进错题本,过几天再做一遍。热身题也会把旧题带回来。
- 想快速浏览?在设置(⚙)里打开阅读模式:实验台数值全部显示,不记录答题,也不给星。
学习路线
主线有 21 关,分两部分。从第 1 关一直走到第 21 关,你会亲手写出一个能学会两位数加法的 GPT。
原理 · 模型在算什么
支线在主线上的某一关之后打开,侧栏和地图会把它们放在那一关旁边:深入底层(U1–U6)讲 PyTorch 替你藏起来的机制;经典网络(N1–N7)讲 Transformer 之前的网络,一直到 2017 年最早的 Transformer;扩散模型(D1–D3)讲另一种生成方式。主线从来不依赖支线。
已经熟悉神经网络了?可以直接从第 11 关开始,前面的关卡用小测跳过即可。
你的进度
不用注册账号。答题记录和星只存在这个浏览器里。要换浏览器或换电脑,在设置(⚙)里导出进度文件,再在另一边导入。
从第 1 关开始 矩阵与形状