NNNS

このレポジトリはNNNS (Numerai Neural Network Studies)という、neural networkを使ってNumerai Tournamentで勝ちたい人たちの勉強会（モブプロ会）の資料を置いておく場所です。

NNNSの目的

NumeraiはいまだKaggleのようにNN無双になっておらず、NNが活躍できる余地は十二分にあるように思えます。しかし、NNのNumeraiのようなテーブルデータにおける利用のベストプラクティスはまだまだないのが現状です。そのため、最新の技術を含めNNについて学びどんどん実装をしていくことで、Numerai Tournamentで勝てるNNを見つけていくことが本勉強会の狙いです。超えるぞXGB！

実際にやること

週１（？）1時間くらいでオンライン開催。モブプロ形式（５名程度参加？初心者と経験者両方いるのがBest）で実装を行う？

• 画面共有 --> Google Meets (会直前にリンク共有)
• モブプロ --> VScode Live Share (Google Meets内でリンク共有)

簡単な自己紹介。

Goal、実装の方針を決める（書く）。

<モブ> 共有画面を見ながら、解決すべき課題や問題に集中し、解決策を考えてディスカッション、提案する <タイピスト> モブ全員の合意が取れた操作やコードを入力する

Goalが達成できたら、みんなで喜ぶ。

モブプロ終了時に、次回のモブプロに向けて振り返り。

• 心理的安全性
• Time keeping

計算環境

GCP Deep Learning VM Imageを使う予定。Notebookいるか？ このリポジトリでそのままコードをGit管理する

使用データ

Numerai Tournament Legacy Data

https://numer.ai/tournament

Validation Strategy

使用データのdata_typeに準ずる (要はtime-series split)

評価指標

Sharpe ratio...Numerai Diagnostics toolを使った方がいいかも

特徴量エンジニアリング

しない（あくまでNN力を高める目的のため）

NN Framework

kerasを予定（pytorchわからんので教えてくれる人いたらpytorchでも）

Agenda

• Baseline model (simple MLP)
• Normalization
• Batch size
• Activation function
• Optimizer
• Learning rate scheduler (reducelronplateau, cosine annealing)
• Loss function (MSE, BCE, crossentropy, weighted kappa, corr)
• Wide & Deep
• Deep & Cross
• Gated residual and variable selection network
• Neural decision forest
• Tabnet
• TabTransformer
• Denoising Auto Encoder
• 1DCNN
• evojax

and more...