LLM by Hand

在你的电脑上运行

大多数关在浏览器里就能做,什么都不用装。有几部分要在你自己的电脑上运行: 用 PyTorch 训练真实模型的 Boss 关,以及几个可选的运行。这些只需设置一次,大约十分钟。

1. 拿到文件

每个要在你电脑上运行的部分,都会给出它需要的文件链接,比如 boss.py。建一个课程文件夹, 在里面为每一关各建一个文件夹。把这一关的文件下载到它的文件夹里,这一关的所有命令都在这个文件夹里运行。 第 6 步的表格列出了所有文件。

在那个文件夹里打开一个终端。终端是一个用来输入命令的窗口。在 macOS 上,它是“终端”这个应用 (应用程序 → 实用工具)。在 Windows 上用 PowerShell(在开始菜单里)。在终端里,cd 后面跟上文件夹的路径,就会进入那个文件夹。

2. 安装 Python

你需要 Python 3.10 或更新的版本。先看看你装的是哪个版本:

python3 --version

macOS

从 python.org 安装,或者用 Homebrew:brew install python。

Windows

从 python.org 安装,并勾选“Add python.exe to PATH”。之后凡是本页写 python3 的地方,都改用 py。

Linux

用你的包管理器,比如 sudo apt install python3 python3-venv。

3. 建一个虚拟环境,安装需要的包

虚拟环境是这门课专用的一个装包的文件夹,这样就不会和电脑上的其他东西冲突。只需建一次, 建在放各关文件夹的那个文件夹里(比如 llm-by-hand/):

python3 -m venv .venv
# Windows 上用:  .venv\Scripts\activate
source .venv/bin/activate
pip install numpy torch

环境激活后,命令提示符的开头会出现 (.venv)。打开新的终端时,先再运行一次source 那一行,再开始做课程。

4. 运行一个脚本

环境激活后,进入这一关的文件夹,运行里面的文件。比如支线 N4:

cd lstm          # 放 boss.py 的文件夹
python boss.py

脚本会把它们生成的文件(训练好的模型、下载的数字图片)写到这个文件夹里,或者写到你主目录下的一个缓存里。

5. CPU、NVIDIA GPU 还是 Apple GPU

所有内容在普通 CPU 上都能运行。有些脚本找到更快的设备时会用它:在有 NVIDIA 显卡的电脑上用"cuda",在 Apple 芯片(M1 或更新)的 Mac 上用 "mps",否则用"cpu"。可以这样查看 PyTorch 能用哪些设备:

python -c "import torch; print(torch.cuda.is_available(), torch.backends.mps.is_available())"

6. 所有可以运行的文件,以及要花多久

时间是在一台较新的笔记本上测的;没有 GPU、只用 CPU 时可能慢 2–3 倍。

关卡文件时间
9 从 NumPy 到 PyTorchfirst_run.py约 1 秒
U5 调试模型broken_train.py、check.py几秒
N4 LSTM 与 GRUboss.py几分钟
N5 Seq2seq 与最早的注意力boss.py几分钟
N6 自编码器与 VAEdemo.py约 12 秒(第一次会下载数字图片)
D3 潜空间与 DiTboss.py约 2–3 分钟(第一次会下载数字图片)
21 写一个你自己的 GPTskeleton.py、skeleton_hints.py、check.py、check_weights.json你的模型训练约 2 分钟

7. 出了问题怎么办