ACM ICMI 2021 日本語ツイート＋αまとめ
-
hariktriam
- 1618
- 1
- 0
- 40
-
- いいね！40
Takahiro Miura
@hariktriam
S.Thompsonら: Conversational Group Detection with Graph Neural Networks doi.org/10.1145/346224… message-passingなグラフニューラルネットワーク(GNN)とDominant Setsクラスタリングを組み合わせて，様々な社会的シーンにおける会話グループを検出．
2021-10-21 22:24:41
Takahiro Miura
@hariktriam
message-passingグラフは画像から得たFeature graphを基に簡易化したものっぽい．Cocktail PartyおよびMatchN'Mingleデータセットで評価．前者では，従来型手法である距離ベース手法やDANTEよりも提案したGNNの方が高性能．後者のデータセットでは，特徴量セットを多く学習させた場合でGNNが高性能．
2021-10-21 22:24:48
Takahiro Miura
@hariktriam
コードは以下で配布：gitlab.com/interactive-ma… それと，使用されたデータセット群： CocktailParty dataset tev.fbk.eu/technologies/c… MatchN'Mingle dataset matchmakers.ewi.tudelft.nl/matchnmingle/p…
2021-10-21 22:26:02
Takahiro Miura
@hariktriam
H. Alsofyaniら: Attachment Recognition in School Age Children Based on Automatic Analysis of Facial Expressions and Nonverbal Vocal Behaviour doi.org/10.1145/346224… 学童期(5--9歳)の子供の愛着状態を表情や非言語的な発声からマルチモーダル認識．
2021-10-21 22:40:36
Takahiro Miura
@hariktriam
Manchester Child Attachment Story Test (MCAST; 児童精神科医が不安のある子供の特定に利用)を受けた子供(N=104)のデータを使用．表情はOpenFaceで，音声はOpenSmileで特徴量抽出．Multimodal Weighted Averageで組合せて学習させた際，最大で71.2％の正解率で愛着を認識(F1=62.4%)．
2021-10-21 22:40:42
Takahiro Miura
@hariktriam
Manchester Child Attachment Story Task (MCAST) research.bmh.manchester.ac.uk/mcast/about/ 構造化された人形遊びに関する手法である模様．日本語文献は探した限り出てこない．
2021-10-21 22:42:42
Takahiro Miura
@hariktriam
A. Alobaら: Characterizing Children's Motion Qualities: Implications for the Design of Motion Applications for Children doi.org/10.1145/346224… 子供と大人の動作の違いを解明すべく，動作を定量化する24個の関節特徴量（11個は新規開発）を基に，Kinder-Gatorデータセットで評価．
2021-10-21 22:58:11
Takahiro Miura
@hariktriam
11個の特徴量は○○エラーみたいな量など．結果より，子供は大人より定量的に速く(ばらつきも大)，動きが大きく，滑らかではなく(一貫性もなく)，協調運動性が低い動作を行う．子供の動作認識のガイドラインとして，1対1ではなく多対1の対応付，本来関連が薄い関節の動きも考慮すると良い，との事．
2021-10-21 22:58:50
Takahiro Miura
@hariktriam
使用していたデータセット： Kinder-Gatorデータセット(Kinectで得た20個の関節の3次元座標とそのボーン) init.cise.ufl.edu/publications/k… github.com/hayeesha/Kinde…
2021-10-21 22:59:09
Takahiro Miura
@hariktriam
J.Huangら: Temporal Graph Convolutional Network for Multimodal Sentiment Analysis doi.org/10.1145/346224… 言語(テキスト)・音・表情の3つのモダリティから感情を認識する時間グラフ畳み込みネットワーク(TGCN)．モーダル特有のグラフを構築の上，まとめて学習．
2021-10-21 23:11:33
Takahiro Miura
@hariktriam
CMU-MOSI, CMU-MOSEI, IEMOCAPのデータセットで評価して従来法より高い正解率．一部のモダリティを抜いても高正解率を維持． 利用したデータセット．前の2つは他研究でも出てきた． CMU-MOSI multicomp.cs.cmu.edu/resources/cmu-… CMU-MOSEI multicomp.cs.cmu.edu/resources/cmu-… IEMOCAP dataset sail.usc.edu/iemocap/
2021-10-21 23:12:51
Takahiro Miura
@hariktriam
質問で紹介された他の研究．Multimodal transformerという事で，言語の学習の所に強みがありそう． arxiv.org/abs/1906.00295 Transformerの利用は今後の展望とのこと．
2021-10-21 23:14:35
Takahiro Miura
@hariktriam
S.Royら: Self-supervised Contrastive Learning of Multi-view Facial Expressions doi.org/10.1145/346224… 様々な水平角で同時撮影された顔画像で表情認識する多視点顔表情Contrastive Learning (CL-MEx)．自己教師あり事前学習を，提案する損失関数を基に行い，その後に教師ありFine-tuningする．
2021-10-21 23:29:41
Takahiro Miura
@hariktriam
KDEF, DDCFデータセットで評価し，従来手法より高性能との結果．真左・真右でも94%超の正解率．5%のデータの学習で70%超の正解率も記録 KDEF (Karolinska Directed Emotional Faces) dataset kdef.se DDCF (Dartmouth Database of Children's Faces) dataset lab.faceblind.org/k_dalrymple/dd…
2021-10-21 23:30:25
Takahiro Miura
@hariktriam
J.Parkら: Toddler-Guidance Learning: Impacts of Critical Period on Multimodal AI Agents doi.org/10.1145/346224… 幼児における臨界期(脳が急激に発達)の概念の基，仮想環境におけるAIエージェントの臨界期を調査．VECAツールキットで仮想環境は構築．メンタの弱い/中程度の誘導の他，・・・
2021-10-21 23:45:28
Takahiro Miura
@hariktriam
行動模倣の場合の相互作用の場合で，一人称的Audio-visual探索(EAVE)データセットを構築の上で，AIエージェントを強化学習．100万ステップ，200万ステップを学習の際，顕著な改善が発生．転移学習の場合でも同様の傾向．
2021-10-21 23:45:38
Takahiro Miura
@hariktriam
使用したVECAツールキット： VECA: A Toolkit for Building Virtual Environments to Train and Test Human-like Agents arxiv.org/abs/2105.00762
2021-10-21 23:45:51Oral session "Multimodal Ethics, Interfaces and Applications"
Takahiro Miura
@hariktriam
Oral session "Multimodal Ethics, Interfaces and Applications"に移動． icmi.acm.org/2021/index.php…
2021-10-21 23:59:08
Takahiro Miura
@hariktriam
BM Boothら: Bias & Fairness in Multimodal Machine Learning: A Case Study of Automated Video Interviews doi.org/10.1145/346224… ビデオ面接データのマルチモーダル機械学習で採用可否を評価する際，心理的バイアス(偏り)・フェアネス(公平性)を導入.自動化ビデオインタビュー(N=733→524)で評価
2021-10-22 00:19:15
Takahiro Miura
@hariktriam
言語・パラバーバル・視覚特徴を基にモデル訓練して，熟達したAnnotatorが採用可否タグ付け．偏りを緩和しないと，モダリティが複数あっても予測精度が上がらず公平性も低下．ジェンダーに関する特徴を除去すると，予測精度は下がるが，AIの偏り・公平性は向上．データ的に言語のみが最小バイアス
2021-10-22 00:19:58
Takahiro Miura
@hariktriam
L.Pruszkoら: Impact of the Size of Modules on Target Acquisition & Pursuit for Future Modular Shape-changing Physical User Interfaces doi.org/10.1145/346224… GUIとTUIの間を取るPUIとしてスライドI/Fを提案．標準的なスライダーと，1, 2.5, 5 mmの丸みがあるモックアップスライダーを・・・
2021-10-22 00:35:53
Takahiro Miura
@hariktriam
追従タスクで比較．タスク結果は変わらないが，主観的には標準的なものはスムーズだが行き過ぎる，丸みが大きくなるほど触覚フィードバックは楽しいが円滑でないとの結果．持ち方(握り方)は，通常のものと5 mmの丸みのもので違いがあり，これも感じ方に影響した可能性．
2021-10-22 00:36:04
Takahiro Miura
@hariktriam
F.Wiehrら: Why Do I Have to Take Over Control? Evaluating Safe Handovers with Advance Notice and Explanations in HAD doi.org/10.1145/346224… 自動運転時に運転者にコントロールを渡す際，ユーザ視点のみを基に行う手法を開発．
2021-10-22 00:54:57
Takahiro Miura
@hariktriam
ドライビングシミュレータ(N=23)で16パズルをやっている途中で，コントロールを引き渡す方法を評価．事前通知と音声説明の組合せが好まれた．
2021-10-22 00:54:59