feat: seq2seq

computer-science/machine-learning/README.md

@@ -56,6 +56,8 @@
 
 ### 機械学習の学習手法
 
+モデルの評価にあたって、性能が過学習によるものではないことを示す必要がある。そこで、データセットを学習用とテスト用にランダムに分けることが考えられる。また、ハイパーパラメータの調整用に、さらに検証データを分けることもある。
+
 #### MinMax法
 
 WIP
@@ -340,6 +342,14 @@ RNNでは、隠れ層の状態を次のタイムステップにおける同じ
 
 セル状態について、隠れ状態と入力を元に何を忘れるかを選択する部品をforgetゲートと呼ぶ。また、隠れ状態と入力を元に新たなタイムステップの情報を追加する部品をinputゲート、セル状態と隠れ状態を合わせて出力する部品をoutputゲートと呼ぶ。セル状態と3つのゲートを備えたRNNをLSTMと呼び、短期記憶を長期に渡って保持することを指す。
 
+Elman RNN(LSTMではないシンプルなRNNを指す)やLSTMは、分類や予測・生成タスクに用いることができる。分類タスクの場合は最後のタイムステップの出力のみを用いる。
+
+#### seq2seq
+
+LSTMでは、系列の分類タスクや、系列のタイムステップと出力が1:1で対応するようなタスクを処理できた。次に、系列から系列を予測・生成するが、タイムステップどうしが必ずしも1:1で対応しないタスクを考える。例えば、日本語から英語への翻訳である。
+
+系列から系列の変換タスクでは、一度全ての入力情報が隠れ状態に含まれるのを待ち、それから出力を始める。したがって、入力が完了したことを示す工夫などが求められる。そこで、入力を隠れ状態へと変換するLSTM（エンコーダ）と、隠れ状態を元に系列を生成するLSTM（デコーダ）を繋げることを考える。2つのLSTMで役割を分担することで、エンコード・デコードに特化した学習や機能の導入が簡単になる。このようなアーキテクチャをエンコーダ・デコーダモデルといい、エンコーダ・デコーダモデルを含む系列から系列への変換を行うモデルをseq2seqという。
+
 #### グラフニューラルネットワーク (GNN)
 
 （要レビュー）ニューラルネットワークは一般的に、データを多次元変数として捉えた上で、変数の重み付きの和を新たな次元とすることで特徴量を自動で作る。CNNでは周辺のマスの重み付き和を、Transformerでは全範囲の重み付き和を用いる。これは、入力の範囲をグラフ構造で与えることで一般化できる。物体の各点が近い点からの相互作用を受けることに着目し、GNNを用いて自然なシミュレーションを行った応用などがある。[^joisino_2024]
@@ -515,6 +525,8 @@ ROUGE (Recall-Oriented Understudy for Gisting Evaluation, ルージュ)は、要
 
 #### Transformer (2017)[^vaswani_2017]
 
+
+
 [^vaswani_2017]: [A. Vaswani et al., “Attention is All you Need,” in Advances in Neural Information Processing Systems, Curran Associates, Inc., 2017.](https://proceedings.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html)
 
 - Self-Attention