1. 整台机器
按从输入到输出的顺序:一张 token 表把每个 id 变成一个向量。然后加上第 16 关的位置数值。 然后是一叠解码器块、一个最终的 LayerNorm,以及一个给每个 token 打一个分数的输出层。 选一个块,看它的输入、输出,以及它有多少参数。 这些形状对应一个 8 个 token 的序列,也就是这个任务里最长的输入。
整个模型,一块一块地看
选一个方块,看它的输入、输出和它有多少参数。在下面改变大小。
每个块:LayerNorm,带掩码的自注意力(4 个头,每个大小 16;每个位置只看到自己和前面的位置),加回 x;然后 LayerNorm,FFN(64 → 128 → 64),再加回去。一个块有 33,280 个参数:注意力 16,448,FFN 16,576,两个 LayerNorm 256。
参数: 66,560(占全部的 92.3%)
d_model = 64。logits 是什么形状?d_model 保持 64,把头的数量从 4 改成 8。参数的数量……大部分参数都在块里,而在每个块里,大部分参数又集中在两个地方: 注意力的矩阵和 FFN。一个 FFN 的参数你可以手算出来。
d_model = 64,d_ff = 128。一个 FFN 有多少个参数?它是 Linear(64 → 128)、ReLU、Linear(128 → 64)。权重和偏置都要算。深入一点 72,106 个参数都在哪里
默认大小下(d_model 64,4 个头,2 个块,d_ff 128):
| 部分 | 参数 |
|---|---|
| token 表:42 × 64 | 2,688 |
一个注意力块:W_Q、W_K、W_V(各 64 × 64)+ W_O(64 × 64 + 64) | 16,448 |
| 一个 FFN | 16,576 |
| 一个块:注意力 + FFN + 2 个 LayerNorm(各 128) | 33,280 |
| 最终的 LayerNorm | 128 |
| 输出层:64 × 42 + 42 | 2,730 |
| 合计:2 个块 + token 表 + 最终的 LayerNorm + 输出层 | 72,106 |
位置数值是加上去的,不是学出来的,所以没有参数。
头的数量在这张表里哪儿也没出现。它只决定 64 列怎样切成若干片。
42 个 token 是 <pad>、<eos>、十个数字、=,以及 29 个单词:zero 到 nineteen、八个整十的词,还有“hundred”。