大多数关在浏览器里就能做,什么都不用装。有几部分要在你自己的电脑上运行: 用 PyTorch 训练真实模型的 Boss 关,以及几个可选的运行。这些只需设置一次,大约十分钟。
每个要在你电脑上运行的部分,都会给出它需要的文件链接,比如 boss.py。建一个课程文件夹, 在里面为每一关各建一个文件夹。把这一关的文件下载到它的文件夹里,这一关的所有命令都在这个文件夹里运行。 第 6 步的表格列出了所有文件。
在那个文件夹里打开一个终端。终端是一个用来输入命令的窗口。在 macOS 上,它是“终端”这个应用 (应用程序 → 实用工具)。在 Windows 上用 PowerShell(在开始菜单里)。在终端里,cd 后面跟上文件夹的路径,就会进入那个文件夹。
你需要 Python 3.10 或更新的版本。先看看你装的是哪个版本:
python3 --version从 python.org 安装,或者用 Homebrew:brew install python。
从 python.org 安装,并勾选“Add python.exe to PATH”。之后凡是本页写 python3 的地方,都改用 py。
用你的包管理器,比如 sudo apt install python3 python3-venv。
虚拟环境是这门课专用的一个装包的文件夹,这样就不会和电脑上的其他东西冲突。只需建一次, 建在放各关文件夹的那个文件夹里(比如 llm-by-hand/):
python3 -m venv .venv
# Windows 上用: .venv\Scripts\activate
source .venv/bin/activate
pip install numpy torch环境激活后,命令提示符的开头会出现 (.venv)。打开新的终端时,先再运行一次source 那一行,再开始做课程。
环境激活后,进入这一关的文件夹,运行里面的文件。比如支线 N4:
cd lstm # 放 boss.py 的文件夹
python boss.py脚本会把它们生成的文件(训练好的模型、下载的数字图片)写到这个文件夹里,或者写到你主目录下的一个缓存里。
所有内容在普通 CPU 上都能运行。有些脚本找到更快的设备时会用它:在有 NVIDIA 显卡的电脑上用"cuda",在 Apple 芯片(M1 或更新)的 Mac 上用 "mps",否则用"cpu"。可以这样查看 PyTorch 能用哪些设备:
python -c "import torch; print(torch.cuda.is_available(), torch.backends.mps.is_available())"时间是在一台较新的笔记本上测的;没有 GPU、只用 CPU 时可能慢 2–3 倍。
| 关卡 | 文件 | 时间 |
|---|---|---|
| 9 从 NumPy 到 PyTorch | first_run.py | 约 1 秒 |
| U5 调试模型 | broken_train.py、check.py | 几秒 |
| N4 LSTM 与 GRU | boss.py | 几分钟 |
| N5 Seq2seq 与最早的注意力 | boss.py | 几分钟 |
| N6 自编码器与 VAE | demo.py | 约 12 秒(第一次会下载数字图片) |
| D3 潜空间与 DiT | boss.py | 约 2–3 分钟(第一次会下载数字图片) |
| 21 写一个你自己的 GPT | skeleton.py、skeleton_hints.py、check.py、check_weights.json | 你的模型训练约 2 分钟 |
py)。source .venv/bin/activate 那一行。pip install --upgrade pip),再检查你的 Python 是 64 位的,而且不比 PyTorch 支持的最新版本更新。还是不行的话,安装只用 CPU 的版本:pip install torch --index-url https://download.pytorch.org/whl/cpu。在浏览器里做的关完全不需要 torch。pip install -i <镜像地址> numpy torch,填上你所在国家的一个 PyPI 镜像的地址。source 那一行。