现在在实验台里检查一下,也可以随便输入别的文字。
字符分词器
随便输入一些文字。把鼠标指向一个字符、点一下或用 Tab 键选中它,就能看到它出现的每一处。
词表:4 个不同的字符,已排序。小数字是 id。
编码结果:5 个 token,每个字符下面是它的 id。
词表给出两个字典:stoi(字符串到 id)和 itos(id 到字符串)。
构造它们的代码用到两个 Python 工具:
list(enumerate(["e", "h", "l"])) # [(0, 'e'), (1, 'h'), (2, 'l')] 每一项带上它的位置
{c: i for i, c in enumerate(["e", "h"])} # {'e': 0, 'h': 1} 一行建好一个字典这种一行的写法叫字典推导式。用 [ ] 的同样写法会建一个列表(列表推导式)。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
编码就是查出每个字符。解码是反过来。中间什么都不会丢。
Enter 保持缩进 · Tab 缩进 · 先按 Esc 再按 Tab 离开编辑框 · ⌘/Ctrl + Enter 运行
我卡在这里了 为什么要给字符排序?哪个字符得到哪个 id 有关系吗?
完全没关系。任何固定的顺序都行,只要编码和解码用的是同一个。 排序只是一个简单的办法,让你每次运行代码都得到同样的顺序。
id 是名字,不是数量:“l”是 2,并不代表它是“h”的两倍。第 13 关会讲模型怎样避免把它们当成数量来读。