- 这个仓库是对论文Attention is All you Need (neurips.cc)框架的复现；
- 复现时采用的代码来自harvardnlp/annotated-transformer: An annotated implementation of the Transformer paper. (github.com)；
- 在复现过程中，为代码加入了详细的注释
transformer代码解析.md是对transformer框架各个部分代码的解析记录transformer_a_first_example.md对应harvardnlp/annotated-transformer: An annotated implementation of the Transformer paper. (github.com)中的A First Example，即一个复制任务的例子；transformer_a_real_example.md对应harvardnlp/annotated-transformer: An annotated implementation of the Transformer paper. (github.com)中的A Real World Example，即实现了一个德语-英语翻译任务的例子；transformer_annotated_paper目录即为复现使用的代码（加入了详细的注释）