マルチスレディングと氷嚢

 ガオガエンはまだLv1のマルスと戦っている。前回戦わせた時よりも成長速度が速い気がする。明日くらいまでには勝率5割程度になっているかもしれない。

昨日は本質的なところではいところに変更を加えた。学習を別スレッドで実行することによって学習のために割かなければいけない時間でもデータ集めに使えるようにした。これによってCPU使用率をほぼ常時最大にできる。一応の欠点は、学習のステップ数がデータ収集のステップ数と合わなくなってくることか。特に大きな問題ではないだろう。

昨日は実験的に配信もした。https://www.youtube.com/watch?v=b5iezNghvoE 配信をするとOBSがリソースを食うので学習効率が落ちるのだが、これに放熱の問題が絡んでいることが発覚した。M1 の Macbook Air には排熱ファンがなく筐体内部に熱がこもるようになっている。M1の消費電力は低いので通常の使用には問題ないが、強化学習のようにCPU使用率を常に高い状態にするようなものだとこれが問題になることもある。配信中の学習は氷嚢なしのときは 3.5 it/s 程度だったが、氷嚢の上にMacbookを乗せると9.5 it/sまで上昇した。約3倍である…。想像以上の効果だった。

できることの大半はやった。ここからしばらくは淡々と学習を続けることになるだろう。次に変更があるとしたらリカレントネットワークか。