Skip to content

Commit

Permalink
docs: what I learned
Browse files Browse the repository at this point in the history
  • Loading branch information
xhiroga committed Jan 6, 2024
1 parent 10e9437 commit 68e89ab
Showing 1 changed file with 6 additions and 0 deletions.
Original file line number Diff line number Diff line change
Expand Up @@ -4,3 +4,9 @@
conda env create understanding-transformer-with-pytorch
conda run -n understanding-transformer-with-pytorch poetry run python src/train.py
```

## 学んだこと

- Decoderがニューラルネットワークの中でどこに位置するのかわかった
- Decoderの訓練時の入力と出力が2組のトークンの配列で、片方はもう片方を1つづつずらしたものであることがわかった
- 訓練データをミニバッチに分割し、その数だけイテレーションを回すことと、Epochはその処理自体を何回繰り返すかを表すことがわかった

0 comments on commit 68e89ab

Please sign in to comment.