適当に調べた。 Adam arxiv.orgおなじみのやつ。欠点 最初だけ学習率を小さくする"warmup"をしないと発散することがある。 最終的に収束したときの精度がSGDよりなぜか悪い。 ハイパーパラメータの設定によって精度が良かったり悪かったりする。 そもそも玄…