ACM ICMI 2021 日本語ツイート＋αまとめ

Takahiro Miura @hariktriam

71件が南北アメリカ，72件がアジア，109件がユーロ・アフリカから投稿． Reviewer awardも用意．Bestがtop 5%，Outstandingがtop 10%． キーノート講演が4件（3件は現地）．口頭セッション6件はハイブリッド，ポスタセッション6件は3件ハイブリッド，3件バーチャル．Hybrid banquetもある模様．

Takahiro Miura @hariktriam

Oral session "New Analytic and Machine Learning Techniques"を拝聴． icmi.acm.org/2021/index.php… …しているハズだけども，現地では何かやってそうな雰囲気だが，もろもろ止まってるな…．

Takahiro Miura @hariktriam

MU Anwaar: A Contrastive Learning Approach for Compositional Zero-Shot Learning doi.org/10.1145/346224… 状態オブジェクトのセマンティクスを用いてマルチモーダル表現を対比的に学習する統合モデルContraNet．類似した画像やテキストを寄せてマルチモーダル表現を学習．

Takahiro Miura @hariktriam

提案手法であるContraNetを，CZSLとRetrieval taskで評価．双方ともSOTAより高性能．特に，従来ベンチマークのUT-ZapposとMIT-Statesに対して性能向上を達成．画像検索タスクではSOTAと比べ，MIT-Statesで4%，Fashion200kで5.3%の向上を確認． とりあえずアブストまとめ＋αとした．

Takahiro Miura @hariktriam

L.Mamanら：Exploiting the Interplay between Social and Task Dimensions of Cohesion to Predict its Dynamics Leveraging Social Sciences doi.org/10.1145/346224… 社会的結束のダイナミクスの予測に特化した事前学習モデルから，タスクの結束のダイナミクスを予測するDNNアーキテクチャ．

Takahiro Miura @hariktriam

Transfer Between Dimensions (TBD)モデル．Game-on datasetにあるモーキャプデータ，オーディオデータを元に，単独・グループ(社会科学的)特徴量を定義・取得して学習＆転移学習．RFなどよりタスクの結束力における予測が大幅に改善． なお，社会的結束は創発における重要な要素らしい．

Takahiro Miura @hariktriam

L.Kleinら：Dynamic Mode Decomposition with Control as a Model of Multimodal Behavioral Coordination dl.acm.org/doi/10.1145/34… Face-to-Face Still-Face（FFSF）における乳幼児と母親の頭や腕の動き，声の基本周波数をDMDc（複数の信号をマルチモーダルな行動協調のモデルに統合）を用いて統合．

Takahiro Miura @hariktriam

FFSFの各ステージ（Play, still-face）で観察されたインタラクションダイナミクスの傾向は，単一の行動モダリティだけでなく，頭部・腕部のデータを"Relative influence"を基にモデルに組込んだ際に，より有意かつ強い相関関係が得られた．

Takahiro Miura @hariktriam

W.Hanら：Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis doi.org/10.1145/346224… マルチモーダル感情分析のためのBi-Bimodal融合ネットワーク．End-to-endのネットワークで，一対のモダリティ表現に対して融合(関連性を増加)と分離(差異を増加)で構成．

Takahiro Miura @hariktriam

3つのデータセット（CMU-MOSI, CMU-MOSEI, UR-FUNNY）での評価結果より，提案モデルがSOTAより高性能．以下で公開： github.com/declare-lab/mu… github.com/declare-lab/BB…

Takahiro Miura @hariktriam

なお，使用されたデータセットはこれっぽい： CMU-MOSI (Zadeh, 2017) multicomp.cs.cmu.edu/resources/cmu-… CMU-MOSEI (Zadeh 2018) multicomp.cs.cmu.edu/resources/cmu-… UR-FUNNY (Hasan 2019) github.com/ROC-HCI/UR-FUN…

Takahiro Miura @hariktriam

Z.Xieら：Efficient Deep Feature Calibration for Cross-Modal Joint Embedding Learning doi.org/10.1145/346224… セマンティクスを強化したテキスト・画像のクロスモーダル情報を効率的に学習するための2段階の深層特徴キャリブレーションフレームワーク．

Takahiro Miura @hariktriam

前処理段階の深層特徴キャリブレーションと，joint-embedding model学習(Bi-LSTM)の2段階． テキスト・画像から得られる意味的な文脈の特徴量と，深層特徴量の組合せでキャリブレーションし，LSTMでキーワード識別の上で順位スコアを求めキーワード特徴量を生成してWideResNet50で意味抽出の上，

Takahiro Miura @hariktriam

学習したレシピと画像を共同潜在空間で意味的に整合させる．joint-embedding model側では，soft-marginとdouble negative samplingによるbatch-hard triplet損失関数を最適化．カテゴリベースおよび識別器ベースの整列損失を利用．評価結果より，提案手法が他手法より高性能．TF-IDFがBERTより良い模様

Takahiro Miura @hariktriam

Oral session "Support for Health, Mental Health and Disability"に参加． icmi.acm.org/2021/index.php… 私達の発表もある．

Takahiro Miura @hariktriam

H.Senaratneら：Multimodal Dataset and Evaluation for Feature Estimators of Temporal Phases of Anxiety doi.org/10.1145/346224… 異なる不安反応が生理学的および行動学的特徴の時間的パターンに表れるかどうかを評価．社会不安と虫恐怖症を誘発する2つの不安実験を行った95人の若年成人から…

Takahiro Miura @hariktriam

心電図・表面筋電・行動・姿勢・発話などのマルチモーダル・マルチセンサーデータを収集（Anxiety Phases Dataset)．このデータセットは一部リポジトリで公開．一般化混合モデル(GAMM)で，高・低不安群でモデル化した14の特徴から10の特徴量が有意に異なり，両群における2つ以上の時間位相の違いを導出

Takahiro Miura @hariktriam

彼らのAnxiety Phases Datasetは以下で一部公開： bridges.monash.edu/articles/datas…

Takahiro Miura @hariktriam

Matsuo & Miuraら：Inclusive Action Game Presenting Real-time Multimodal Presentations for Sighted and Blind Persons doi.org/10.1145/346224… 視覚障害・晴眼者ともに遊べるインクルーシブアクションゲームのコンテンツ・インタフェースを開発． 私達の発表．

Takahiro Miura @hariktriam

提示・インタフェース系として，従来型オーディオゲームに基づくAudio play（コントローラ使用）の他，Audio + Tactile playを実装．後者は，DotView（点図ディスプレイ）以外に，即時性のあるプレイのためのピンマトリクスディスプレイを両肩部に持ったTactile game controller (TactCon)を開発．

Takahiro Miura @hariktriam

本ゲームを2ヶ月ほど展示の上で，その際のログを評価（終了後にアンケートあり）．視覚障害のある方ではTactConが最も成績がよく，主観評価でも高評価だった一方で，晴眼者ではTactConのクリア率は最も高いが主観評価では必ずしも高くなかった．

Takahiro Miura @hariktriam

G.Pantazopoulosら：ViCA: Combining visual, Social, and Task-orientedconversational AI in a Healthcare Setting doi.org/10.1145/346224… CV研究やシーングラフ研究とモジュール式対話システムを融合させたエージェントViCa．病院の受付ロボットとして利用．

Takahiro Miura @hariktriam

視覚的な質問応答，視覚的なシーンに基づく社会的対話の機能を実装．具体的には，部屋の中の目に見える物体位置を特定してユーザにガイダンスを提供する他，ユーザの服や持ち物などの視覚的プロンプトを用いて社会的な対話を行う．21名で評価した結果，有用・楽しませるものと感じられていた．