Lv4における2週間の停滞

何が成長を阻害している…?

もちろんLv3も順調ではなかったが、無事にLv3を乗り越えて帰ってきたLv4も順風満帆とはほど遠いものだった。Lv3を終えてからの二週間の修行の結果がこちらである。

(Reward: 報酬、 Episode Length: 各エピソードの長さ、 Q: 報酬予測値、 Loss: 予想と現実の差、 それぞれ20試合分くらいの移動平均)

何か変わった? むしろ悪くなってない…? 11000エピソードあたりから少し上昇した気はするけれど、最後下がってるし…。

また何週間かすれば上がってくるのかもしれないし、このまま落ちていくのかもしれない。

この間何もなかったわけではない。このエージェントのコードが公開された。整理するのは大変だったけれど、環境を綺麗にしておくと開発が楽になるので自分のためになる。

そして開発を楽にした結果、実際に開発を始めたのである。リカレント(再帰・回帰)レイヤーを含むエージェントである。これについての詳細は次項に持ち越すことにする。