コンピュータビジョンベースの「社交性（シャイさ）の計測」というアイデアについての議論

お好み焼き @jellied_unagi

social behavior analysis系の研究でのvisual cueはまだまだ簡易な画像処理にとどまってると思った．「もっとガンガン認識系入れたら？」と聞いたら，表情と視線ぐらいは入れる予定ある，みたいな感じに言ってた．ということで，ねらい目はジェスチャ認識導入か

Masaki Hayashi @payashim

Social behavior analysis系の研究あまり詳しくないけども、画像から「社交性の高さ」を測るはなしってどこかでやられたりするのかな？つまり恥ずかしがってるとか逆に積極的かを表情や仕草から判断するみたいな話。

Masaki Hayashi @payashim

（続き）顔をふさぎ込んだり、つい髪をさわってしまうみたいなのが恥ずかしがってるか打ち解けてるかの判断基準に使えるだろうけど、相手の異性の容姿が良い時に出てくる程度のちがいが難しそう。

Masaki Hayashi @payashim

@HirokiMori RTされたので発達心理の話も絡めて聞きます。例えば一人っ子の女の子が居ると、その子はシャイガールに育つことが多いですが、この通りに発達心理学では「幼児期の社交性スキル獲得は経験値の問題」と考えられてるんでしょうか。

Masaki Hayashi @payashim

@T_K これは昨年のMIRUで拝見しました！これはダイアログ中に感情が複数人のあいだで近いか遠いかの話ですが、私の言ってる「恥ずかしさ計測」は、ダイアログの中身に関係なく「相手の人に慣れて居るか、慣れてないか」を見たい、という感じです。

Hiroki MORI (森 裕紀) モデルナワクチン三回済 @HirokiMori

@payashim 僕も社会性発達の専門家ではないので詳しくはないですが、器質的な違いが社会的な相互作用のフィードバックループを変化させて、結果として社会性の乏しい性格に育つということはあるでしょうね。

Hiroki MORI (森 裕紀) モデルナワクチン三回済 @HirokiMori

@payashim 自閉症の原因は分かっていませんが、感覚や知覚の過敏や鈍感などが極端なことや、感覚からの情報統合が難しく、それが結果として社会性を乏しくするという主張もあります。

Hiroki MORI (森 裕紀) モデルナワクチン三回済 @HirokiMori

@payashim 蛇足ですが「自閉症」という用語を原因からに基づいた名称に代えられないかという問題意識を持っている研究者もいます。基本は相互作用ですので、どちらか一方ということはないのだと思います。

Masaki Hayashi @payashim

@HirokiMori なるほど。いや、出自というか育ちによってシャイな性格のレベルがある程度決まっているなら、画像処理して表情や仕草だけからシャイかどうか判定するよりは、一人っ子かとか男子校・女子校育ちかとかいう情報も同時に使わないといけないなと思いまして。

Masaki Hayashi @payashim

@HirokiMori 母親がガイドヘルパーでお世話してる（自閉症に限らず精神系の）子供の行動の話は昔からよく聞いてるのですが、たくさん暴れてしまう系の子も閉じこもっちゃう系の子も「基本的なインタラクション」はできるんですよね。挨拶とか。それが複雑になると普通レベルでできない。

Masaki Hayashi @payashim

@HirokiMori で、蛇足で仰ったことの理解確認ですが、自閉症の原因はスキル獲得失敗なのかそもそもの脳の能力不足かは（鬱病などと同じで）解明しきってはないわけで、裏を返すと健常者も「長年のスキル構築の結果」かはまだ不明、という話ですよね？

Masaki Hayashi @payashim

@HirokiMori そうなると、原因がわかってないものを観察してどれくらいシャイかどうかを測るというのは、まだサイエンス後ろだてにしては研究できなさそうですね。シャイさを表す行動を適当に定義して測ってみるのは面白そうなので、個人的にはやってみたくはありますけども。

Hiroki MORI (森 裕紀) モデルナワクチン三回済 @HirokiMori

@payashim 「シャイ度」を環境や他者から切り離された器質とみれば、その場限りの解析では決定できませんが、「その時の振る舞いはシャイだった」という意味で判別できるかもしれません。人は他人の性格をその人固有のものとして判断できてしまっているのでそのレベルではできるかも？

Hiroki MORI (森 裕紀) モデルナワクチン三回済 @HirokiMori

@payashim 「長年のスキル構築の結果」かどうかというより、そもそも健常者／自閉症に限らず「性格」「社交性」なるものは環境や他者から切り離しては定義できないということだと思います。極端に言えば、どんなに社交性のある人でも外国語の環境になればコミュニケーションは難しいですよね

Masaki Hayashi @payashim

@T_K いま横で別の方とメンションしてるのでそちらも見ていただくとよいかもです。環境や生まれ育ちとどれくらい切り離せるか、それとも一緒に重み付けして評価するかがポイントでしょうね。

Masaki Hayashi @payashim

@HirokiMori となるとまとめますが、環境・過去の経験がpriorとして考慮された上でその場かぎりでの社交性が判定と重み付けして、最初的な社交性のposteriorを推測すると面白そうです。環境や過去の経験のコンテキストが無限にある中で、どう限定するかが鍵ですね。

Hiroki MORI (森 裕紀) モデルナワクチン三回済 @HirokiMori

@payashim 最終的に「社交性」を社交性以外のパラメータで記述できれば面白いですね。僕が関わっているプロジェクトにも関係があるので、僕なりに考えてみたいです。データドリブンで全部できればいいんですけど（出て来た結果を後で解釈）、ある種のモデルは事前に必要なんでしょうかね

Masaki Hayashi @payashim

@HirokiMori （性格でも同じですが）社交性を論じるときに人間には内的なシャイさ（その人の心の中）と外的なシャイさ（周りと人が行動を見てシャイだと判定）があります。データでその場判定だと後者の話しかできないかなと。事前知識があれば内的なものも外的な観察から推測できます。

Masaki Hayashi @payashim

@HirokiMori つまりは事前知識があると「見た目は笑ってても内心怒ってる」がごとく「見た目は照れてるけど、実はぶりっ子したり気にいられようとわざと照れてるふりしてる」という内部状態推定もやりやすくなるかなと。まあ見た目で外的判定だけやっても十分新しい話な気はしますが。

Hiroki MORI (森 裕紀) モデルナワクチン三回済 @HirokiMori

@payashim やりたいですねぇ。元々RTした理由は僕をフォローしているM1が社会的インタラクションの解析とロボット応用に興味をもっているからなのですが、彼も内部状態や心的な内部ダイナミクスにも目を向けてくれると面白い研究ができるかもしれませんね。