Togetter/min.tを安心してお使い頂くためのガイドラインを公開しました。
編集可能
2020年7月8日

読唇術って結構難しい技術なんです

読唇ってどういうところが難しいのか、読唇ができるとどういう分野に応用できるのかなどをまとめました。
21
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

読唇についてもつぶやいていこうと思います(´◡`♥)

2020-07-08 20:16:13
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

今回のイタコ姉さまの第2ゴールですが「読唇用のデータベース」を作ることです(*ゝ∀・*)b その中にITAコーパス作成も含まれる、といういみでかなり豪華な第2ゴールとなっています((o(*´∀`*)o))

2020-07-08 20:16:59
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

(。・∀・)。oO(カンペ見ながらつぶやくので少々お待ちください)

2020-07-08 20:17:42
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

読唇の技術は「音声を使わない音声認識技術」です٩(。•ω•。)و 声が聞こえなくても、声がどうなっているのかを推測する、というすごい技術です(๑و•̀Δ•́)و

2020-07-08 20:19:03
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

読唇は「音声情報」を利用しないので、カメラがあれば声を推測できる、というものになります(〃▽〃)ノ

2020-07-08 20:20:19
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

人が読唇をした場合の認識率ですが、30%から40%位と言われています(。・∀・。) 思ったより低いですよね( //╹◡╹)

2020-07-08 20:21:38
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

でも人は「今どこでしゃべっているのか」「誰としゃべっているのか」「どんなシチュエーションなのか(ご飯を食べているのか、仕事しているのか)」といった情報も会わせて推測するのでそれで読唇の精度を上げています(`・ω・´)

2020-07-08 20:22:37
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

なんで人の読唇がおもったより認識率低いのかというと、母音(あいうえお)は口の動きでわかりやすいけれど、子音は口の動きが少ししかない、というのがあります(*゚∀゚*)

2020-07-08 20:25:28
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

「こんにちは」というのをしゃべってみると、結構口の動きがあるのを感じると思います。 同じように「救急車」と口の動きを意識してしゃべってみてください。 あまり口、動いていませんよね。

2020-07-08 20:27:36
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

「こんにちは」のように「口がしっかり動くので認識しやすいことば」があったり、 「救急車」のように口があまり動かないので「認識しにくいことば」があったりします。 認識しにくいことばも対象になるのでなかなか難しいのが読唇です( //╹◡╹)

2020-07-08 20:28:59
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

あと、母音が同じだけど、子音が違う言葉 「たまご」「タバコ」「なまこ」とか口の動きが似ているので認識が難しい、とかもあります( ⓛ ω ⓛ *)

2020-07-08 20:30:16
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

さてさて、音声認識って今かなり進んでいて自動で声を認識するシステムとかかなり増えていますよね(*´∀`*) AbemaNewsとかでリアルタイムに声を認識して文字抱きだしているの見るとすごいなって思います(〃'▽'〃)

2020-07-08 20:33:12
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

音声認識ですが、声の情報って結構たくさんあります(*´∀`*) 声を文字お越しすればそれでしっかりとデータができあがるからです(๑˃̵ᴗ˂̵)و それもあって音声認識はすごく進んでいる分野になります(●^○^●)

2020-07-08 20:34:04
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

読唇の場合は「口の動きと声のデータ」の両方が必要になるため、それほど世の中にデータがありません∑(゚∀゚」)」 ですので、まだ研究途上、というのが読唇の分野です(*´∀`*)

2020-07-08 20:34:50
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

この読唇用のデータを作っていこう、というのがイタコ姉さまクラウドファンディングのストレッチゴールになります(>∀<●) greenfunding.jp/pub/projects/3…

2020-07-08 20:35:41
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

読唇の技術が上手く出来るとこんな感じのことgできるようになります(๑˃̵ᴗ˂̵)و ①声を無くした人の声を作る 読唇で口の動きから声を作り出すことができるようになれば、声帯を失った人でも声を作ることが可能になります(*ゝ∀・*)b

2020-07-08 20:37:47
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

②スポーツなどで選手がどんな会話しているのかわかるようになる サッカーなどでは選手がどんなことをしゃべっているのか観客の声の方が大きくてわかんないですが、読唇はカメラさえあればできるので何をしゃべっているのかわかります(〃'▽'〃)

2020-07-08 20:38:59
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

③自分の好きな声になれる!! みんなが「ずん子になりたい」「きりたんになりたい」「イタコ姉さまになりたい」ということを良く聞きます(〃'▽'〃) その未来を声の分野で創ることができます||*´∀`)。o○(ワクワク)

2020-07-08 20:40:37
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

今回のイタコ姉さまのストレッチゴールではこの読唇用のデータベースを作るのが目的ですo.+゚。(´▽`o人)≡(人o´▽`)。o.+゚。♪ greenfunding.jp/pub/projects/3…

2020-07-08 20:42:48
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

データベースを作るといろいろな研究者の方が読唇について研究ができます(*´∀`*) 現状は日本では読唇の研究者さん、少ないですがたとえば「画像認識、映像認識のAIエンジニア」さんとかだと結構日本にいらっしゃいます(๑و•̀Δ•́)و

2020-07-08 20:44:00
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

そういう画像認識、映像認識の人も入ってきやすいようにデータをキレイに整備しますし、イタコ姉さまのデータを公開しますので研究に利用できるようになりますo(≧▽≦)o

2020-07-08 20:44:50
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

そうすると一気に研究が進む可能性があります٩(ˊᗜˋ*)و だからこそ、データを作って公開することが重要なんです(๑•̀ㅁ•́๑)✧

2020-07-08 20:45:56
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

そんな読唇の研究を進歩させるための、そして将来みんなが「なりたい声を手に入れる」第一ステップとなるこのイタコ姉さまのデータベース作成、150%になれ場やることができます((o(*´∀`*)o)) さらなるご支援、ぜひぜひよろしくお願いします\(🍎it・∀・ko🍎)/ greenfunding.jp/pub/projects/3… pic.twitter.com/RYs086V4rU

2020-07-08 20:47:39
拡大
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

読唇について日本の研究者はそれほど多くありません|ョ・ω・*) 大学だと、5つくらいの研究室でやっているくらいかと思います(〃'▽'〃)

2020-07-09 19:50:01
東北ずん子(公式)💚AIで歌う準備中!! @t_zunko

とはいえ、重要な研究テーマですので徐々に研究も進んできています(๑´ڡ`๑)

2020-07-09 19:51:27
残りを読む(19)

コメント

こばやしゆたか @adelie 2020年7月10日
これは知らなかった分野で楽しみです。世の中の研究は話者依存しない方向ですすんでいるのでしょうか。//
0
K2 @K__R_K_ 2020年7月19日
小説とかだと読唇術って口が見えれば喋ってることがわかる超有能スキルに見えるけど、そう甘くはないんだな。
0