学習率は高すぎるといけない

前回エージェントがゆっくりだが成長しているかもしれないと書いた。 実際のところ、成長しているかどうかはもっと長期間トレーニングをしてみないとわからない気がする。 スマブラとは別によくわかっている系での強化学習で、data-efficient Rainbowの学習率を変えて実験してみた。 結果、与えられた0.0001という学習率では、10万ステップ以降の学習が困難になり、0.000025あたりだと学習することがわかった。 この数字をガオガエンに適用した結果、ほどなくしてLv1のマルスを倒すようになった(半分強程度の確率で)。 小さいが重要な変更である。深層学習の教科書にも学習率は最も大事なハイパーパラメータだと説明されている。 よりよい値があるかもしれないが、とりあえずしばらくこれでいこうと思う。 この結果に気をよくし、Lv8のマルスと戦わせることにした。もしLv8にも勝てるようになったらまた動画を上げよう。