7. 一张值得留着的对照表
以后你写 PyTorch 时,大多数代码行都是一行你已经会的 NumPy。这张表列的是你在
这一页用过的。
这一页用过的
| NumPy | PyTorch | 例子 |
|---|
np.array(x, dtype=float) | torch.tensor(x, dtype=torch.float32) | torch.tensor([[0., 1.]]) 的形状是 (1, 2) |
A @ B、A.T、x.sum(0)、x.mean() | 一样 | x.sum(0) 沿着行往下加:每列一个总和 |
np.exp、np.log、np.tanh | torch.exp、torch.log、torch.tanh | torch.tanh(torch.tensor(0.)) 是 0. |
X @ W + b,W 的形状是 (in, out) | nn.Linear(in, out) | 存成 (out, in),计算 x @ W.T + b |
一个带 forward 的类 | nn.Module 的子类 | model(x) 运行 forward(x) |
| 手写的反向传播和更新 | loss.backward()、opt.step()、opt.zero_grad() | 每次 backward 之前先 zero_grad |
| 从数组里取出一个数 | loss.item() | torch.tensor(0.5).item() 是 0.5 |
深入一点 后面几关的参考:更多 PyTorch、你会读到的 Python、一轮训练
现在先跳过这个框。等后面某一关让你回来时再看。
后面几关会用到的(最后一列是需要它的那一关)
| NumPy | PyTorch | 例子 | 关 |
|---|
softmax,再 -np.log(p[correct]) | F.cross_entropy(logits, target) | 接收原始分数,不是概率 | 10、20 |
| 损失里跳过某些目标值 | F.cross_entropy(..., ignore_index=0) | 等于 0 的目标值不计入 | 17、20 |
E[ids],在形状 (V, d) 的表里查 | nn.Embedding(V, d)(ids) | ids (2, 5) → 向量 (2, 5, d) | 13、20 |
| 一个你自己建的权重 | nn.Parameter(torch.ones(d)) | 存成 self.g,它就会出现在 parameters() 里 | 16、20 |
| 一列层 | nn.ModuleList([Block(), Block()]) | 普通 Python 列表会把它们藏起来,parameters() 看不到 | 20 |
np.triu(np.ones((L, L)), k=1) | torch.triu(torch.ones(L, L), diagonal=1) | 对角线上方是 1;PyTorch 里参数名是 diagonal,不是 k | 15、20 |
np.where(mask, -np.inf, s) | s.masked_fill(mask, float('-inf')) | mask 在被挡住的地方是 True | 15、20 |
x.reshape(B, L, h, d_k) | x.view(B, L, h, d_k) | view 要求内存是按顺序排的 | U1、20 |
x.transpose(0, 2, 1, 3) | x.transpose(1, 2) | PyTorch 只交换正好两个轴 | U1、20 |
转置之后,reshape | x.transpose(1, 2).contiguous().view(...) 或 .reshape(...) | 刚 transpose 完就 view 会报错 | U1、20 |
np.argmax(p, axis=-1) | logits.argmax(-1) | 最大分数的下标 | 17、18、20 |
| — | model.train() / model.eval() | 打开或关闭只在训练时才有的行为 | 20 |
| — | with torch.no_grad(): | 不记录梯度:更快,用于测试 | 20 |
你会读到的 Python,在后面几关的代码里:
| Python | 例子 | 结果 |
|---|
| 列表推导式 | [x * 2 for x in [1, 2, 3]] | [2, 4, 6] |
enumerate | list(enumerate("ab")) | [(0, 'a'), (1, 'b')] |
| 字典推导式 | {c: i for i, c in enumerate("ab")} | {'a': 0, 'b': 1} |
| 切片 | s = [5, 6, 7]:s[:-1]、s[1:] | [5, 6]、[6, 7] |
range(a, b) 在 b 之前停 | list(range(1, 4)) | [1, 2, 3] |
zip | list(zip([1, 2], "ab")) | [(1, 'a'), (2, 'b')] |
| 随机顺序 | torch.randperm(3) | 比如 tensor([2, 0, 1]) |
| 加一个轴 | torch.tensor([1, 2]).unsqueeze(1) | 形状 (2, 1) |
一轮(epoch)训练,你会一遍又一遍地写这个循环(一轮 = 把全部训练数据过一遍):
for epoch in range(n_epochs):
for xb, yb in batches(train, size=64): # 打乱的小批量(支线 U4 会写 batches)
logits = model(xb) # (64, V):词表里每个词一个分数
loss = F.cross_entropy(logits, yb)
opt.zero_grad()
loss.backward()
opt.step()
8. 你的第一次 PyTorch 运行(可选,在你的电脑上)
可选。 如果你还没装 PyTorch,就跳过这一节;这一页没有任何内容依赖它,
不做它也能通关。这是这一页唯一需要 PyTorch 的练习(在你的电脑上运行)。
把下面几行复制到文件 first_run.py 里(或者下载 first_run.py),然后运行 python first_run.py。
随机种子让随机的初始权重在每台电脑上都一样,所以每个人得到的损失都一样。
import torch, torch.nn as nn, torch.nn.functional as F
torch.manual_seed(0)
X = torch.tensor([[0., 0.], [0., 1.], [1., 0.], [1., 1.]])
y = torch.tensor([[0.], [1.], [1.], [0.]])
model = nn.Sequential(nn.Linear(2, 6), nn.Tanh(), nn.Linear(6, 1))
opt = torch.optim.SGD(model.parameters(), lr=0.5)
for step in range(100):
loss = F.binary_cross_entropy_with_logits(model(X), y)
opt.zero_grad()
loss.backward()
opt.step()
print(round(loss.item(), 3))
9. 自己写这个循环
最后,是这一关要练的本领:训练的四步,按正确的顺序。下面的 Param 是第 4 节的
那个盒子,模型是一条直线 w · x + b。backward 往 .grad 里加,和 PyTorch 一样。写出
内层循环的循环体:三个调用,每行一个。
代码写出内层循环的循环体:训练一步的三个调用,按正确的顺序。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行