Python(オセロ12_強めのロジックで対戦2_まとめ)
■前回の続きと生成AIでオセロの対戦相手を作ることのまとめ。
前回出力(思考)トークンの制限を5000までにしたものの方が成績が良さそうだったので、もう少しデータを追加して検証。結果的には増やした方が良い成績となった(ばらつきではなさそう)。
Chat GPTで出してもらった強めのロジック(複数組み合わせ)で、トークンの制限を700(20ゲーム)、5000(10ゲーム)のデータを見た。今回、さらに35000(20ゲーム)で確認するとともに、5000のものを10ゲーム追加した。
結果が下。700は前回のデータだけど、四隅の数や平均トークンなども追加している。



700→5000→35000にすると、きれいに勝率も上がっているし、最終的に取得した石の数や四隅を取った数も増えている。出力トークンを増やせばより良い手を選択すると言えそう。出力トークンは35000を上限としているけど、上限まで使用している感じでもない(平均は22000程度)。おそらくこれ以上、上限を増やしても成績が改善されることはないと思う。これでも複数組み合わせより勝率は低い。
35000の設定では、1ゲームを行うために、約50分、400円弱かかっている。
以下、まとめ。
・Gemini 3 Flashの有料版で実施
(無料版はRPD(1日のリクエスト制限)が20のためゲーム成立しない。)
・入力内容は前回記事(オセロ11)参照。
・置ける場所のリストを示すなどの下準備は行っている。
・想定外のレスポンスや不要な回答を処理するための後処理を行っている。
・中程度の強さ
(単純なランダムロジックよりは強い。優位な手を打つロジックを組合わせたものよりは弱い。)
・max_output_tokensの設定(ゲーム成立には700は必要)で強さが変わる。
・1ゲームは最短で3分程度、費用は12円程度(max_output_tokens=700時)。
今まで有料版で行ってきて36000円ほどかかっている($300のクレジットで相殺)。生成AIで対戦相手を作ることは可能だけど、安価に強い相手を作るというのはまだ厳しそう。Geminiで見てきたけど、他の生成AIのAPIでも同様に作れると思う。そのあたりの違いを見るのも面白いかも。
クレジットの期限もあるので、ここで一端終了。

