【人狼スポーツ】Google Vertex AI（AutoML）を用いた視点配信動画の分析＾ー＾

葵@令和の人狼を考える会 会長 @aoi_no_oheya

【2021年版】狼見つけ学校 入試問題 人狼スポーツ「スタンダード・13」において、狼勝率の高い盤面について考察せよ

葵@令和の人狼を考える会 会長 @aoi_no_oheya

【回答例】 葵が過去対戦した全131村の統計より、占い・狩のCO数に関わらず、初日霊1COの村は110村あり（131村の84%）、狼勝率は45%。一方、霊2COの村は20村あり（131村の15%）、狼勝率は55%であることから、霊2COの方が狼勝率が10%高い。尚、霊内訳は真狼でも真狂でも狼勝率は約55%でほぼ変わらない pic.twitter.com/h2NeCS4Ne5

拡大

拡大

葵@令和の人狼を考える会 会長 @aoi_no_oheya

霊1COの村（全110村）を深堀りすると、占い・狩のCO数に関わらず、初日に灰狼が吊られた村は23村あり、狼勝率は17%。一方、回避含めて灰狼が吊られなかった村は87村あり、狼勝率は52%であることから、灰狼は初日吊りを回避した方が狼勝率が35%高い。これは、霊2COした場合の狼勝率55%とほぼ変わらない pic.twitter.com/77oC0l4emK

拡大

葵@令和の人狼を考える会 会長 @aoi_no_oheya

霊1COかつ初日に灰の狼が吊られなかった村（全87村）を深堀りする。真役職の初日露呈数に着目すると、霊のみ1枚露呈した場合の狼勝率は44%である一方、2枚以上露呈した場合の狼勝率は60%を超える pic.twitter.com/5j79Anj52s

拡大

葵@令和の人狼を考える会 会長 @aoi_no_oheya

次に狼の初日露呈数に着目すると、0枚のときの狼勝率は52%、1枚のときの狼勝率は57%であり、1枚露呈してもほぼ変わらない。2枚露呈すると狼勝率が38%に下がるが、該当する村数が8村しかないため、誤差が大きい pic.twitter.com/6YvADp4Ois

拡大

葵@令和の人狼を考える会 会長 @aoi_no_oheya

更に真役職と狼の露呈数の組み合わせを見ると、霊のみ1枚露呈かつ狼0枚露呈の狼勝率は41%だが、真役職が霊含めて2枚露呈かつ狼0枚露呈の狼勝率は71%に跳ね上がる。村側の視点に立つと、真占い&真狩は初日COせずに潜伏した方が村勝率は高い。 それ以外の露呈数の組み合わせは、データが少ないため割愛 pic.twitter.com/ai5amOD91Z

拡大

葵@令和の人狼を考える会 会長 @aoi_no_oheya

最後に、初日霊1COのみかつ灰狼が吊られず、初日灰噛みの場合に、占い又は狩が抜ける確率を考える。理論的には2/8=25%だが、葵の統計によると該当する26村の内、11村で占い又は狩が抜けており、42%という確率を叩き出している。これは、人狼スポーツ民の単体精査が抜群であると言わざるを得ない pic.twitter.com/lP61ZMopPV

拡大

葵@令和の人狼を考える会 会長 @aoi_no_oheya

【まとめ】 ・霊1COより霊2COの方が狼勝率は高い ・霊1COでも初日に灰狼吊り回避することで、霊2COと同等の狼勝率になる ・霊1COのとき、真役職が露呈すると狼勝率は高くなるが、狼が1枚露呈しても変わらない ・初日噛みで役職が抜ける確率は理論値よりも高く、数学では語れない ・葵は人狼引退すべき

葵@令和の人狼を考える会 会長 @aoi_no_oheya

GoogleのAutoMLで機械学習させてみたいが、必要なデータ数が1,000村以上なため、今は視点配信を見返しながら手動で集計してるが、ここの自動化が必須。 まずは文字起こしとして、YouTubeの自動字幕やVrew、Rimoを試してみたが結果はイマイチ pic.twitter.com/RIHn8NuFYp

葵@令和の人狼を考える会 会長 @aoi_no_oheya

2021/8/12時点で集計済の131村のデータを以下にて公開。今後自動集計するためにやりたいことは： １．視点配信の音声認識（文字起こし・プレイヤー識別・CO数の理解） ２．吊り先・噛み先・勝者の理解（画像認識？） docs.google.com/spreadsheets/d…

葵@令和の人狼を考える会 会長 @aoi_no_oheya

Google Vertex AIを使ってみた。 データセットは3動画（全7村）で、吊りのシーン全34か所に「吊り」ラベルを付与した（添付画像1）。 トレーニング後のモデル評価（添付画像2）は、イマイチ内容理解できず pic.twitter.com/6pn6qv9iVz

拡大

拡大

葵@令和の人狼を考える会 会長 @aoi_no_oheya

このモデルに対し、別の1動画（全1村）の吊りシーンを予測させたところ、信頼度98%以上の5結果に、正しい吊りシーン全4件が含まれていた。 但し何故か「Day 3」のシーンも信頼度99%で含まれていた。 費用はトレーニング250円、予測51円 pic.twitter.com/SarRRHLlkA

拡大

葵@令和の人狼を考える会 会長 @aoi_no_oheya

人狼スポーツの吊りシーン予測くらいであれば、それなりに納得感のあるAIモデルを半日+300円で作れることがわかった。 ここまでで感じた課題は： ・モデルに対して追加トレーニングはできず、毎回最初からトレーニングする必要がありそう ・予測結果をサムネで表示してほしい ・判断の根拠を知りたい

葵@令和の人狼を考える会 会長 @aoi_no_oheya

データセットを11動画に増やして、霊CO（全26か所）、占いCO（全37か所）、狩CO（全23か所）のシーンにそれぞれラベルを付与し、新たなモデルを作成。 このモデルに別動画を見せて、霊CO・占いCO・狩COのシーンを予測させたところ、霊COと占いCOのシーンはそれっぽいところを返してきた（添付は霊CO） pic.twitter.com/q7Hn6weZxX

葵@令和の人狼を考える会 会長 @aoi_no_oheya

こちらの添付は、モデルが予測した占いCOのシーン。 一方、狩COについては、適切なシーンを予測することができなかった。サンプル数が少ないことに加え、実際は「狩人」と言ったり「騎士」と言ったり、COするときもボソッと「騎士」としか言わないことがあったりすることから、予測が難しそうではある pic.twitter.com/4LVtZuyyTp

葵@令和の人狼を考える会 会長 @aoi_no_oheya

ここまでの検証より、映像から一目瞭然な「吊り」シーンのみでなく、発言を聞かないと理解できない「役職CO」シーンまでAIが判断できていることから、時間と金さえかければあらゆるものが判断できそう

葵@令和の人狼を考える会 会長 @aoi_no_oheya

ただ、次に疑問となるのが「何故AIはそう判断したのか」という部分だが、この説明機能（Explainable AI）は動画データに基づいたモデルには現状使えないらしいので、ここで頓挫しそう。 また次の5年後を待つか

葵@令和の人狼を考える会 会長 @aoi_no_oheya

5年前にも人狼知能ってプロジェクトでAI人狼作ろうとして、当時はTensorFlow組まなきゃかなって思って挫折したけど、今はまさにNo Codeでここまで出来るようにになっててワクワクする。更に5年後が楽しみだねえ

葵@令和の人狼を考える会 会長 @aoi_no_oheya

わこゆびー（棒読み） 【人狼スポーツ】Google Vertex AI（AutoML）を用いた視点配信動画の分析＾ー＾ youtu.be/oYLSYwyyaHc @YouTubeより pic.twitter.com/tiD8QPbcLz

拡大

葵@令和の人狼を考える会 会長 @aoi_no_oheya

2年前にAI人狼的な動画上げたんだけど、久しぶりに見たけど神動画じゃない…？？？ 2年経って、Vertex AIはどれくらい進化したのだろうか。 ちなみに人狼スポーツは2年経って消えて無くなりました 【人狼スポーツ】Google Vertex AI（AutoML）を用いた視点配信動画の分析 youtu.be/oYLSYwyyaHc?si…

葵@令和の人狼を考える会 会長 @aoi_no_oheya

当時は Explainable AIが動画データに対応してなく、今も未対応みたい。 最近のリリースノート見たけど、まずはテキスト・表・画像データに注力してるのかな？ Discord人狼を分析する場合、音声と表（投票等）がメインのデータになるのかな？ 人狼スポーツと違って、動画の動きは重要じゃないよね

葵@令和の人狼を考える会 会長 @aoi_no_oheya

でも動画データなら、どのサムネの人がどの声で喋ってるかがセットになるのか