サイエンスZERO「ヒット連発！！あのボーカルソフトの秘密」

Masataka Goto / 後藤真孝 @MasatakaGoto

番組ディレクター大海寛嗣さんによれば、NHK教育サイエンスZERO (今晩2/11 18:55から歌声合成特集)の公式ハッシュタグは #science_zero だそうです。 #sciencezero #science0 #nhk #nhk2 #nhk_e #nhk_g #etv

Masataka Goto / 後藤真孝 @MasatakaGoto

サイエンスZERO再放送開始。オープニング。コンピュータによる歌声合成がメインボーカルの楽曲「ワールドイズマイン」についての感想。いとうせいこうさんのご紹介。いとう「音楽にとって根源的な問題」「昔は不自然でわかりやすかったが今は大きく進歩」 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

歌声合成技術VOCALOIDを用いた楽曲の市販CDが国内ヒットチャート「オリコン」で1位獲得(http://bit.ly/c5t3o4)。大手カラオケメーカによれば去年のカラオケランキングベスト10で7曲がVOCALOID楽曲。「初音ミクの暴走」。 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

サイエンスZERO VTRその1: VOCALOID (http://bit.ly/3Lkxb)の紹介。剣持秀紀さん＠ヤマハのご紹介。剣持「楽器音の合成は高品質になっていたが、歌声合成は納得できる品質でなかったので、開発に着手した」 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

歌声合成ソフトVOCALOID上で音符を並べて歌詞を入力する操作方法の紹介。VOCALOIDの技術的な紹介。「あさ」は「#a a-s s-a a a#」を接続して合成。特に「a-s s-a」の音の変わり目が重要。日本語では500個の音に分類。 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

ノイズが入らないように接続点をなめらかにする技術を開発。剣持「人間が聴いて美しいと思うかどうかがポイント」。VOCALOID技術を用いた他社の歌声合成ソフトの様々なパッケージを紹介（日本語だけでなく音素数がより多い英語も）。ヤマハVTR終了。 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

後藤真孝＠産総研の紹介。後藤「音の変化が歌詞を伝える上で本質的、その変化をいかに表現し実現するかが研究課題」「自然な音かどうかは、生まれてから聞いてきた音に近いかどうかで瞬時に判断」「自然さに人間が敏感なだけに、要求水準は高く、歌声合成は難しい」 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

後藤「歌声合成技術は長年研究開発されてきた。歌声合成ソフトが搭載されたパソコンは1980年代に既に市販」(PC-6601, 1983)「当初コーラス用と思われていた歌声合成」「この3年で日本ではメインボーカルが歌声合成という新しい文化が築かれつつある」 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

VOCALOID楽曲「初音ミクの消失」(http://bit.ly/196xbe)の感想。人間には歌唱困難な高速な歌詞という新たな表現。後藤「歌声合成技術によって、新しい表現が切り拓かれていく」 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

後藤「自然な楽器と電子楽器（シンセサイザ）は、各々の特徴を生かした独自の音楽表現を生み出しながら、しかも融合してきた。歌も同様に、人間の歌声で表現される世界と、歌声合成でなければ表現できない世界が、共存しつつ、今後は融合していく」 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

いとう「人間の口から出す歌声と、『歌』が、人類の歴史で初めて切り離された。文明論的に重要なことが起きている。歌声合成技術により究極的に進化していった『歌』が、将来、人間の『歌』とどう融合していくかが面白い」 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

サイエンスZERO VTRその2: VocaListener（ぼかりす）(http://bit.ly/laWpo)の紹介（お手本歌唱を真似るVOCALOIDパラメータ推定技術）。演歌「大漁船」のVOCALOIDベタ打ちとプロ演歌歌唱の音高グラフ比較。 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

ぼかりす共同研究者の中野倫靖＠産総研が歌いながら登場（彼の歌のぼかりす版は放送では割愛）。人間の歌唱は楽譜の音高そのままでなく、プレパレーション（音高変化直前の逆方向への動き）、オーバーシュート（音高変化直後の行き過ぎた動き）、ビブラート等が特徴。 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

ぼかりすでは、人間のお手本歌唱から声の高さと大きさを模倣することで、そうした人間の歌唱の特徴を再現。VOCALOIDベタ打ちとぼかりす(初音ミク「大漁船」 http://bit.ly/h532lG http://bit.ly/laWpo)のグラフ比較。 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

後藤「人間の歌とそれをぼかりすで模倣した歌声合成結果を比較すると、まだ模倣できていない部分から、人間の歌がいかに豊かな表現を含んでいるかがわかる」（こうした実証的に研究を進められる歌声情報処理の魅力の説明、声色変化も模倣するぼかりす2は、放送では割愛） #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

産総研ロボットHRP-4C未夢を用いたVocaWatcher（ぼかうお）(http://bit.ly/9eXGLO)紹介。人間の顔表情を真似たロボット動作生成技術。ぼかりすで歌声を真似るだけでなく、ぼかうおで顔表情も真似ることで、歌の印象がどう変わるか #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

産総研VTR終了。安めぐみ「怖いと思うのはなぜか」いとう「機械が歌えてしまうという怖さは、感情のない人形が感情があるかのようにこちらを見てる怖さに似ているのでは」 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

後藤「合成歌声にも心が宿っている。元の曲（歌）を作った人の心が宿っているし、ぼかりすでは元の歌手の心が宿っている。それらが全部伝搬して歌に入っている」（手作業で心を込めてVOCALOIDパラメータ調整等をしている人達への明示的な言及は、放送では割愛） #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

いとう「15年ぐらい古典芸能の稽古をしたが、言葉一つで心を動かせるかどうかを彼らは数百年間取り組んでいる。伝えるって何か、そこにどれぐらい機械が追いついてこれるのか。追いつく過程で、『心』とは、『声』とは、『伝える』とは何かを考えるはず」 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

いとう「古典芸能では、歌唱中の息の混ぜ方、ブレスの問題をものすごく考えている」後藤「まさに次の研究課題の一つ。かすれた声、ハスキーな声等を魅力的に歌声合成するのはまだ困難」いとう「歌が先で後から言語が誕生。聴いて分かる実証的歌唱研究は昔はなくて最先端」 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

サイエンスZERO VTRその3: MMDAgent (http://bit.ly/e8vBDY)、Sinsy (http://bit.ly/91CoZr http://bit.ly/hNLOnl)の紹介。徳田恵一さん＠名工大のご紹介。 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

キャンパスガイドシステム「メイちゃん」、4種類の感情を指定して音声合成。大浦圭一郎さん＠名工大が操作。感情ごとに75個の音声を収録して確率モデル作成。安めぐみさんの歌声を6曲収録してSinsy歌声モデルの話者適応。その歌声で任意の歌を合成可能。 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

収録されていない音素（例「恐竜」）も合成可能。名工大VTR終了。後藤「物理的な制約で同じ喉から出る声には一貫性がある。だから、収録していない音素があっても、全音素が揃った既存モデルがあれば、収録した音素を対応づけることで収録していない音素は類推可能」 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

安「亡くなってしまった歌手の声で新曲を歌ってもらえたら、ファンは嬉しいかも」後藤「現時点では（伴奏を伴う混合音中の歌声を扱わなければならないとすると）技術的に難しいが、いずれ可能になるだろう」 #science_zero

Masataka Goto / 後藤真孝 @MasatakaGoto

山田「自分の声に基づいて作られた合成歌声の権利は誰のもの？」後藤「そうした技術がなかったので権利の議論は未成熟。誰の声でも自在に合成できる技術が誕生したとき、その利用法に関するコンセンサスができ、良い形で社会に根付いていくことが必要」 #science_zero