2022年8月12日

ゲーム『ああ播磨灘』でAI開発をしているとAIがバグ技を使いだした「品格以前の問題」

186
模範的工作員/赤野工作 @KgPravda

もうちょっと、本当、信じられん……。播磨灘AI、なんかおかしいなと思ったら、ゲームを確定でバグらせる挙動発見して、相手力士をフリーズさせるパターンを起こしてタイムアップまで生き延びてやがる……。

2022-08-11 23:40:27
模範的工作員/赤野工作 @KgPravda

【AIああ播磨灘進捗】 五日目。25000000回プレイ。信じられない不正が発覚。相手がフリーズするバグを確定で発現させられるパターンを編み出し、バグを利用してタイムアップまで生き残っていた。動画を見ても何がバグの原因になっているか分からないため禁止も出来ない。再現率100%。品格以前の問題。 pic.twitter.com/pYMkgsdvQZ

2022-08-11 23:52:27
模範的工作員/赤野工作 @KgPravda

そんなに、王道の相撲、とりたくないか?

2022-08-11 23:56:21
模範的工作員/赤野工作 @KgPravda

今後このバグを常態的に使うようなら、記憶を消去して0から再稼働するしかないかもしれない。

2022-08-12 00:04:34
模範的工作員/赤野工作 @KgPravda

あーもうダメ本当!技の一つとして使ってるコイツ! pic.twitter.com/AB73PxKCY0

2022-08-12 00:05:56
模範的工作員/赤野工作 @KgPravda

だんだんボス倒した後のカービィのダンスに見えてきたわ……。完全に味占めてるもん……。 pic.twitter.com/XQrq5Pe4tG

2022-08-12 00:27:11
模範的工作員/赤野工作 @KgPravda

播磨灘のゲームシステムとしてバグ使ってタイムアップ勝利を狙うならまだ許容範囲なんだけど、ここでいうタイムアップってプログラムが無限ループに陥ったとき用のエラー処理として俺が定めてる制限時間のタイムアップだから、それをメタってゲーム内の戦果上がってる扱いはちょっとな〜〜!?

2022-08-12 01:11:55
模範的工作員/赤野工作 @KgPravda

AI播磨灘プロジェクトは「AIにゲームをああ播磨灘を遊ばせるとどう楽しむか?」を見守るプロジェクトなんだから、俺が正しい勝ち方を決めてAIに指示通りに勝たせたら何の意味もないでしょ!でもそれはそれとして臆面もなく盤外戦術使ってこられたら一人のゲーマーとして俺が怒るのも両立するでしょ!

2022-08-12 10:31:21
模範的工作員/赤野工作 @KgPravda

ゲーム内でバグ技駆使して勝利してるならまだしも、「○○君もうすぐ塾の時間だからここで悩んでるふりしよ。タイムアップさせて終わった時点では俺の体力が多かった〜って言えば、平均すると俺の方がちょっと勝ってることになるな」みたいなテクなんだから!

2022-08-12 10:35:38
模範的工作員/赤野工作 @KgPravda

もっと言うと、タイムアップ狙いは別にゲーム的な最適解ではない。現状三日目を抜けられないAIが最低限のスコアを保とうとしてる苦肉の策なので、苦肉の策の先にスコア平均が上がってこればいつかはまた勝利を目指し始める。1000万戦の結果で判断するのは早すぎる、俺は10億戦後の遊び丸を信じます。

2022-08-12 10:47:41
長井ずみ @zumix30contacts

@KgPravda 私たちの知っていた最強の播磨灘と、AIの望む最強の播磨灘にミスマッチがあるようですね…AIにとっては無敗こそが最強なのでしょう…そこに勝利の有無、グリッチの倫理などありはしない…

2022-08-12 00:03:54
模範的工作員/赤野工作 @KgPravda

@tamanegi_itame 特定のコマンド入力の制限、とかならまだ大丈夫なんですが、特定の状況下で特定のコマンドを特定のタイミングで、みたいなバグだとコードで制限かけるのはもう不可能なんですよ……!

2022-08-11 23:58:37
新天馬おらもう owata13 @owata131

@KgPravda 膨大な回数やるととんでもない発見するものですね

2022-08-11 23:53:31
模範的工作員/赤野工作 @KgPravda

あと5000万回も土俵に上げれば、遅延戦術よりも安定して相手に勝てるパターン・スコアが高くなるパターンを見つけるはずなので、信じて土俵に送り出し続けるしかない。

2022-08-12 01:23:59
タマネギ炒め @tamanegi_itame

@KgPravda 投げのタイミングで何かしら起こってるぽいですが、、、

2022-08-11 23:57:16
RWB (PS4) @RandmWalkinBear

@KgPravda AIに、ゲームの勝ち負けだけじゃなくスポーツマンシップまで理解させるのは、ネイチャー掲載の論文になってるぐらいなので、相当レベル高そう natureasia.com/ja-jp/ndigest/…

2022-08-12 11:20:07
訃霞 神威 @Fugasumi

負けない為に何でもやる手段を選ばないAI……か twitter.com/KgPravda/statu…

2022-08-12 17:44:21
べね @_nanjakore

これが…AIを進化させることで制御できなくなる未来への暗示…。 twitter.com/KgPravda/statu…

2022-08-12 17:17:44
カシロマ カドワカ @fullbuckfire

ゲーム会社、バグ洗い出しはaiに任せる時代きたか? twitter.com/KgPravda/statu…

2022-08-12 14:47:34
いざなみ @iz39

@KgPravda AIに出直してこんかい!!言われる日が来ましたね…

2022-08-11 23:55:13
タマネギーニョ @tamanegi_nyo_2

絵を描くAIより、こっちのほうが凄いと思ったw またコメント欄にAIがコメントしてる(的外れな漫画の話題)のが浮き彫りになってて、AIの限界と現実を感じるのが秀逸 twitter.com/KgPravda/statu…

2022-08-12 14:39:52
我破 レンジ @RenziWareha

AI自身がプログラムの不備(バグ)を突くというこの皮肉、たまらない。 twitter.com/KgPravda/statu…

2022-08-12 12:50:15
残りを読む(39)

コメント

Kongo @kongo_kirishima 2022年8月12日
待って、そもそも令和の世になんでAIにメガドラのゲームである播磨灘なんてプレイさせてんの??
106
じろう @PrBZjuirFtL6Tnm 2022年8月12日
ああ播磨灘とかクッソ懐かしくて草 そしてキレてる気持ちもわかるけど内容に草
56
無味乾燥 @UnaKiri_Megane 2022年8月12日
新しいゲームとかだと難しいかもしれないけど、こういうの見てるとデバック作業とかAI得意そうだよね
46
あめ玉10えんの助 @awadama10 2022年8月12日
原作漫画なら読むと強くなる。アニメなら見ると強くなる。そしてこのゲームは遊ぶと強くなるのだ。
12
@heysazoome 2022年8月12日
kongo_kirishima 工作員さんにとっては父親に初めて買ってもらった特別なゲームだから。 本人は面白く遊んでいたのに雑誌で酷評されたことでゲームをクソゲー呼ばわりすることを許さなくなり、低評価ゲームの魅力を再検証するゲームレビューを配信するようになる。
155
のび @Novifam 2022年8月12日
ゲームギア版もやろう(提案)
3
絶対 @2BenKi 2022年8月12日
1日で600万回≒1秒で70回 恐ろしい速さで回してるな...
15
Fox(E) @foxe2205 2022年8月12日
「ああ播磨灘」は10月発売予定のメガドライブミニ2で採用されているので、興味のある人は購入をお薦めする。個人的には、原作の破天荒さをメガドライブというハードで可能な限り再現しつつ、格闘ゲームとして充分遊べるバランスを維持できており、セガの「優れたキャラゲーを作る」という美点が発揮された佳作だと思う。
46
プヨぷよ @Puyo2 2022年8月13日
バグか仕様か学習させるロジック入れとくか仕様インプットしとかんとそらそうなるでしょ…
4
ドラもこまる @mokkomin 2022年8月13日
持ち上げるとバグるのかな
1
マリコ🌧 @nekoi016 2022年8月13日
なんかこの話愛おしくてたまらなくなる。謎。
11
れレヽナニωナニ″ょ @i_am_reitan 2022年8月13日
「AIああ播磨灘」って言葉だけで反則レベルに面白いよね
57
けろりん @shnider326 2022年8月14日
AIにキレてるのおもろ(小並感)
6
kumonopanya @kumonopanya 2022年8月14日
怒鳴っている方が老害に見えてしまっている。 AIは自分のできる能力をすべてつぎ込んでいるだけだよなぁ・・・と。
1
とりあ えず @toria_ezu2 2022年8月14日
息子の成績が上がらずにキレてる教育ママか
0
water20 @water20 2022年8月14日
メガドラ2が発売されたら、このバグ技を手動で再現する人が出るだろうな
3
すみひら @sumisumi_hira 2022年8月14日
本人も言っているとおり、全体最適解じゃなさそうだから、いわゆる局所解に落ちた状態なんだろうか。としても、それがバグ技ゴリ押しなのはおもしろいな
7
あまる @amal_xyz 2022年8月14日
先行のまとめ( https://togetter.com/li/1929437 )の後半部分にも、もうちょっと多めにまとめられているのでそちらも
9
Shin @HShin615 2022年8月14日
toria_ezu2 むしろ子供が絶対にバレないカンニング法を編み出して、その結果と(方法は明かさずに)カンニングした事実を嬉々と報告してきて困惑するママの図だろう イカサマされてるのがわかってるのに手口がわからないギャンブルを見せられてるようなもの
43
レンタ英雄 @renta_hideo 2022年8月14日
UnaKiri_Megane 見つけられても、それをバグと認識して報告してくれないだろうから、そこをどうするかだなぁ。
10
無味乾燥 @UnaKiri_Megane 2022年8月14日
renta_hideo AIの動作を人間が監視するしかないね。一人で操作と報告するより監視報告だけになったほうが作業量は増やせるだろうし改善はできるんじゃないかな
7
ma08s@フォロー外からごめんなさい @bygzam_ma08s 2022年8月14日
異なる分野では、AIを画像診断(CTやMRI)に応用した際に、この種の問題が生じているんよな。診断は正しいんやけど、その過程と根拠が示されない(人間には分からない)から、患者にも説明できない。「AIがそう言ってますので」で納得する患者はおらんやろ。この手の「AIと人間のコミュニケーション断絶」は、これからもちょくちょく起きてくると思う。
51
volshichi @volshichi 2022年8月14日
最初のツイート見てタイムアップをタイムアップ勝ちの事だと思ってそれでも勝ちなんだから別にいいだろと思った その後のツイートでタイムアップ勝ちの事じゃなくてAI無限ループのタイムアップの事だと分かって納得したけど
9
高嶺おろし @t_oroshi 2022年8月14日
AIにバグは発見できてもこの例だと肝心の「どんな条件でバグが発生するかが不明」という状態だから、デバッグに役立つのか微妙な気も。しかもバグの発生要件が「人間には実質不可能なタイミングでの操作」だったりするとゲームでは修正する優先度も低いし…。
23
UZIRO @UZIRO 2022年8月14日
播磨灘「わしが最強の横綱や」
7
ひなゆ @hinayu_nyc444 2022年8月14日
bygzam_ma08s ちょくちょく起きつつ、もうちょっと普及すれば「AIがそう言ってますので」で納得するひとが増えてきそうな気はする。
2
Tomonori Iwanaga @Tombu 2022年8月14日
人間は「ゲーム性を破壊する挙動」をバグとみなすから、プログラムミスによる異常動作も仕様の穴を付いたハメ技みたいなのもバグ扱いできるけど、AIには仕様の穴による異常動作をバグとは判断できないでしょ ヘタしたらプログラムミスの異常動作もバグとは判断できない
18
mina @mina_BDR529 2022年8月14日
ゲームとしてのああ播磨灘の評価が低評価なのはあくまでもキャラゲーとして見ると劇中の播磨灘ならやらないような派手な戦い方や技が出来てしまうってところだからなぁ ああ播磨灘を厳密に再現するとそれは登場シーンだけはド派手で取組そのものはものすごく地味な相撲ゲームが出来てしまうのでそれは”ゲーム”としての面白さをスポイルする結果になりかねない、という理由でああなってしまったんだろうなと思う(その結果キャラゲーとしても格闘ゲームとしても中途半端な出来になってしまった)
18
yousuké@ビースト戦士 @yt00k 2022年8月14日
そのAIには相撲への愛が足りなかったのだろう。AIなだけに。
3
luckdragon2009(rt多) ワクチン×3済 @rt_luckdragon 2022年8月14日
というか、違反パターンのフレームモデル(こっちも AI判定)を行為AIに与えて修正するのでは?
2
luckdragon2009(rt多) ワクチン×3済 @rt_luckdragon 2022年8月14日
実装モデルが良くわからないので、系のフィードバックが良くわからないのだが。
1
jaaaaaaaaaaaaaaaaaaaaaaaaappp @jaaaaaapppp 2022年8月14日
t_oroshi 不具合修正の一番の難所は不具合を再現させることだから、再現できるなら修正は容易
1
💡おちんぎんたくさん欲しがるよーこ @YOKO0713 2022年8月14日
このツイートにぶら下がってるリプライが「ああ播磨灘」だけを拾って全くそぐわないツイートをしてるBOTがたくさんいるのが地獄。
4
アルビレオ@炙りカルビ @albireo_B 2022年8月14日
Puyo2 「ごく稀に力士の体力を0にしても倒れずフリーズする、というバグがある」のように、勝利扱いで学習してほしいバグもあるのでそんなに単純じゃない
7
akkr @akkr333 2022年8月14日
遊ぶ(限られたルール内でプレイする)ことよりも、「新しいコマンド・行動を見つける」ためのAIになってしまっている感があるなぁ。勝つために裏技を見つけたというより、技を探せと言われたから探したら裏技が見つかった的な。
5
きっど @r4XhN70TH3NG4dE 2022年8月14日
hinayu_nyc444 既に「よく分からないけれどもAIが正しいって言ってるのだから、人間はつべこべ言わずに従え!」って勝手に神格化している層は実在していて、無数の苦情をも無視して社会に害を与えているかと(最近のつべとかね……)
7
はげはげちゃびん @hagehagechabin 2022年8月14日
AIに「外連味」「美学」「粋といなせ」「やせ我慢」「記録より記憶に残る生き様」あたりを学ばせるのはまだまだ難しそうですね >RT
3
NORt @NORt18953368 2022年8月14日
AIがバグを理解しているのではなく理解できないから単なる「相手の動きを止める技」として使うのだろう
11
NORt @NORt18953368 2022年8月14日
いい点取って帰ったら100円と約束する→たまに台風や事故で答案提出できない日があってその時使ってた教科書は要らないと思って捨ててしまう→途中で返されたらそこまでの正答率と時間に応じて10円まであげる事にする→試験場着いて名前書いたら最速で火災報知器鳴らして帰って来るようになる。AI「最後までやってもいい点取れるかわからないし確実に10円貰う方が得やな」
16
ざっぷ @zap3 2022年8月15日
人だったらその時期時期で「ルールを理解する」「技の出し方を探る」「敵の種類により有効な行動を探る」とかで目的を段階的に変えていくものを、最初から「勝ち抜くこと」を至上命題にされたらこうもなろう、というやつ
2
vandalise @vandalise7 2022年8月15日
強化学習なんだから報酬で調整すればいい話なのでは?
1
ざっぷ @zap3 2022年8月15日
「この勝ち方は気に入らない」って評価方式にしたら誘導できるだろうけど、方針的にも手間的にもそうはしたくないんでしょ
2
TANABE Toshiharu @itinoe 2022年8月15日
原作の破天荒さを覚えてると二重に草
1
ゴロニャーゴ @nukopoint 2022年8月15日
状況がよくわからんけど、エミュをノーウェイトで回してるってこと?
0
Kitty_Guy_Records @cherry_ITO 2022年8月15日
「お」「と」「こ」(化粧まわし)
0
NORt @NORt18953368 2022年8月16日
「フリーズしてもAIには何が悪いか分からずそれまでの学習を捨ててしまう」という前提だったけど「AIにはフリーズの仕方が分かる」事が既に判明したんだから時間切れ報酬なしでも「フリーズしない戦い方」を覚えてくれるんじゃないかと思う。将棋のAIとかでも途中部分点あげるより最終的な勝敗だけで評価した方が良くなったみたいな話もあるらしいし
3
ドラゴンチキン 古式ガンプラマイスター @dragonchicken19 2022年8月16日
「2人の力士はそれぞれ新幹線の突入を防ぎつつ子犬を庇っていた事が30数年後に判明」
0
黒色球体 @OdfXg0NlZSuazxT 2022年8月17日
というかこういうのって、何千〜何万回分学習させて結果を見て学習条件を微調整して学習をリセットしてゼロから再学習、を何回も何回も繰り返し続ける事で理想の条件を模索していって、これぞ理想の学習条件ってのが完成した所で満を持して何億回分の学習ってやるもんなんじゃないの?初手の条件が間違ってたら試行回数をいくら積み重ねたって正解には辿り着けないでしょ
2