王手局面のみ更新したデータを200万局面分作成し、勝率を確認しました。前回50万局面分確認した結果を載せていたのですが、マイロ将棋1.0との対局条件が他と異なっていたので、今回新たに確認し直しています。結果は以下のようになりました。学習経過のほぼ…
教師データを更新してもなかなか勝率が上がらず、更新の効果を実感できない状態が続いています。もっと多くのデータを更新することで改善の効果が確認できるのかもしれないですが、データの更新には非常に時間が掛かり、確認できたとしても数か月とか数年先…
改善後(80)のデータを120万局面分作成し終えました。以下グラフのオレンジ色の棒が改善後(80)のデータで学習した結果とマイロ将棋1.0を対局させた結果の平均勝率です。 学習を進めるにつれて改善後データが多いものほど勝率が高くなっていくようには見えます…
改善後(80)のデータを100万局面分作成し終えました。以下グラフのオレンジ色の棒が改善後(80)のデータで学習した結果とマイロ将棋1.0を対局させた結果の平均勝率です。 学習量が100万局面に近づくにつれて若干勝率が上向いていますが、勝率は改善後(70)より…
最近、マイロ将棋への取り組みが教師データ作成のみになりつつあります。毎日24時間ひたすら教師データを更新し、ある程度データが溜まったところで、勝率の確認をしています。改善後(70)のデータは100万局面分作成し終えました。 前回は40万局面分までの教…
教師データ、改善後(70)の作成を進めています。データの内訳は以下図の通りで、改善後(60)にダーツ法での10局分の対局結果を追加したものです。 現在40万局分まで作成を終えたところで、この教師データを用いて学習した結果は以下グラフのようになっています…
７３法で作成した教師データとダーツ法で作成した教師データとで学習結果に差が生じるのかを確認しています。改善後(60)がこれまでの７３法で作成したデータ、改善後(d60)は改善後(60)の内の10局分をダーツ法での結果に置き換えたデータです。 現在改善後(d6…
同一展開の回避方法がよくないのではないかと思い始めています。これまで取っていた方法は自称７３法というものです。候補手の中で最も予測勝率が高い手を7割の確率で選択し、残りの３割を勝率が二番目に高い手とするという方法です。 この方法だと、一局面…
教師データを改善しているはずなのに、対マイロ将棋1.0の勝率が上がらない原因、50万局面より多くの学習データを学習させると勝率が下がってしまう原因を考えています。戦いの様子を確認すると、マイロ将棋1.0に対して無謀な王手を繰り返して駒を取られ、自…
前回、最善手のみ指す方法で、マイロ将棋1.0に対して平均勝率5割に迫る結果があったことから、この調子で教師データを更新していけばどんどん強くなっていくはずという思いが湧いてきていました。ですが、期待は裏切られました。 勝率データの内訳を以下とす…
将棋プログラムでほぼ避けて通れないのが、同一展開の回避方法検討です。プログラムで将棋を指す場合、乱数要素を入れない限り同じ局面では必ず同じ手を指すようになります。どんなに強い将棋プログラムでも毎回同じ手を指すようでは、必勝法を編み出されて…
改善後の教師データの効果が中々見えず、何とかして確認できないものかと考えていたところ、よさそうな案を思いつきました。これまで効果を確認するのにマイロ将棋1.0というマイロ将棋界では強めの相手と対局させていたのですが、教師データ作成に用いたモデ…
改善後の教師データを作り続け、ようやく100万局面分の教師データができました。前回50万局面分のデータで確認したときは、若干ですが改善前よりも勝率が悪いという理解しがたい結果でした。もっと教師データを作れば、勝率が上がるかもしれないという期待も…
苦戦しています。現在も改善後の教師データを作成し続けていて、50万局面分の改善後教師データが溜まりました。これを使って学習をして、強くなったかの確認をしているのですが、結果が芳しくないです。これまで教師データの作成に使っていたマイロ将棋0.1と…
改善した教師データが本当に正しく反映されているのか、そして教師データ改善によって本当に棋力が上がるのかを確認しようとしています。改善後の教師データは改善前と比べて少ししか変えていません。改善前はマイロ将棋0.1で40局対局した結果を勝率データと…
教師データの改善に取り組んでいます。教師データを用いての学習を繰り返した結果、誤差が縮まることはわかったのですが、あまり強くならないという問題に悩まされてきました。王手されたら負けを回避し、それ以外はでたらめに指すというマイロ将棋1.0との対…
過学習の発生具合確認を続けています。同じデータでの学習量を増やせば、過学習によって誤差が悪化するはずだと思うのですが、なかなかそうはなりません。10万局面分の学習データを一定量学習した後に入れ替えているので、そこで過学習によって悪化した内容…
過学習の発生具合を確認します。前回までの学習率の確認では過学習の影響を抑えるため、教師データ毎の学習量を少なめにしていました。今回は過学習の状況を確認するため、単位教師データあたりの学習量を増やして誤差がどうなるかを確認してみます。学習量…
前回、学習率による傾向を確認するため、800万局面分まで学習を進めましたが、それでも違いがわからなかったので、1500万局面分まで学習を進めました。ですが結果は前回とあまり変わらず、学習率の違いによる大きな差は確認できませんでした。しいて言えば、…
前回、学習率の違いについて調べましたが、0.05、0.1、0.15と3種類実行した結果は大きくは変わらない結果でした。結局、学習率は大きめの方がよいのか、小さめの方がよいのかがまだわからないので、もう少し学習を進めています。そのうち差が出てくるだろう…
以前、過学習について確認しようとしていましたが、その前に学習率について確認します。これまでのところマイロ将棋では、最適化手法としてSGD（確率的勾配降下法）を使用しています。ディープラーニングでは、教師データを元にパラメータの調整を行いますが…
突然ですが、マイロが使用していたPCのディスク（SSD）が壊れてしまいました。一部のプログラムやデータは別のディスクに残っているのですが、大部分のプログラム、データは無くなってしまいました。残念ではありますが、これを機に、新たにコンピュータ将棋…
グラフを見ていて気付いたのですが、どうやら過学習を起こしているようです。以下は前回の結果を一部拡大したグラフです。この学習は10万局面分のデータ毎に行っていて、横軸の数字5、6、７・・・と書かれているところが学習データの切り替えタイミングにな…
前回の続きです。前回、100万局面分の教師データを使って持ち駒分離と持ち駒分離ResNet1の誤差の減り具合を比較しました。ですが、あまり違いが判らなかったため、もう100万局面分の教師データを使って、合計で200万局面分の教師データで学習を行いました。 …
持ち駒分離モデルにResNetの層を追加します。これまでの結果でCNNだけでも通常のニューラルネットワークに比べて学習の効果が高まることを確認しました。ですが2015年にMicrosoft Researchにより提案されたResNet（Residual Network、残差ネットワーク）の考…
全結合でも王手局面を除外した教師データで学習してみました。 全結合では王手局面を除外した教師データで学習をしても勝率に大きな差は出ませんでした。持ち駒分離の方が王手の効果をより強く学習し、全結合は王手局面の効果をそれほど強くは学習しなかった…
学習を進めていくと無駄な王手が増えてしまうことへの対処として、教師データの改善を考えます。本当はより強いモデルで教師データを作れば自然と解消されると思うのですが、データ作成時間の問題もあり、すぐにはできないので、別のやり方を考えます。現状…
全結合とCNN（持ち駒分離）モデルとマイロ将棋1.0を対局させ、強さを比較しました。全結合よりは少し上回っていますが、マイロ将棋1.0に対してはまだまだです。 CNN（持ち駒分離） 対 マイロ将棋1.0 対局の様子を眺めていると、持ち駒分離モデルが無駄に王手…
全結合とCNN（持ち駒分離）モデルをマイロ将棋0.1と対局させて強さを比較しました。全結合でもマイロ将棋0.1には圧勝していましたが、CNN（持ち駒分離）モデルではさらに勝率が高くなり、マイロ将棋0.1にほとんど勝っています。ただ惜しくも全勝には至らず、…
CNN（持ち駒分離）の学習結果として、誤差がどのくらい縮まるのかを見ます。100万局面単位で処理すると時間が掛かりすぎるので、ここからしばらくは10万局面単位で100万局面（学習回数1000回）程度までの結果を確認します。全結合のモデルでは1000回学習した…
