ピアノに合わせて初音ミクにラジオ体操させてみた動画の補足説明
-
- いいね！0
Akira MAEZAWA
@zawazaw
ハッシュタグつけ忘れていました． ニコニコ学会でデモ発表する予定のシステムの動画が公開されています． ピアノでラジオ体操を演奏すると，その演奏に合わせて初音ミクが踊ります． https://t.co/W8BVola6VP #ニコニコ学会
2014-04-04 19:28:17
Akira MAEZAWA
@zawazaw
動画では補足しきれなかった，技術的な補足をします． なお，以下の発言は私個人の情熱・熱意・見解・意見であり， 私が所属する大学及び企業の見解ではないことを，予めご了承ください． #ニコニコ学会
2014-04-04 19:28:37
Akira MAEZAWA
@zawazaw
この技術はスコアアライメント（楽譜追従）という技術を応用したもので， バイオリンやピアノと言った楽器の音が，ある楽譜のどこを弾いているかを特定するものです． #ニコニコ学会
2014-04-04 19:28:46
Akira MAEZAWA
@zawazaw
スコアアライメントとは，結構研究が進んできた分野の一つで， ここ数年の国内では，東大のEurydice，名工大のRyry，京大大塚氏のシステムなど， 多くの研究機関で研究が進められています． #ニコニコ学会
2014-04-04 19:29:04
Akira MAEZAWA
@zawazaw
エンジンはPythonで書かれていて，MIDIを通してMaxで書かれた映像表示プログラムに，高いインタラクティブ性を実現するのに適切な情報を送ります #ニコニコ学会
2014-04-04 19:29:51
Akira MAEZAWA
@zawazaw
内部技術やマニアックな話もしたいですが， 詳細は音楽情報処理研究会第104回研究会（夏シンポ）にでも改めて話したいと思ってます． #ニコニコ学会
2014-04-04 19:30:26
Akira MAEZAWA
@zawazaw
本システムを触っていただいて，音楽情報処理技術全般に興味を持っていただき， その方たちが作った新しい音楽技術で，音楽の世界観をより広げていくための一助となれば幸いです． #ニコニコ学会
2014-04-04 19:30:41
NAKAMURA Yoshinari
@CG891
初音ミクのラジオ体操 https://t.co/iha8ckAQDD の映像部分について簡単に仕組みを説明しておきます。映像はMaxが担当していますが、Pythonで書かれたスコアアライメントのエンジンからMTCによる時間情報を受け取ることで動作しています。
2014-04-04 21:29:35
NAKAMURA Yoshinari
@CG891
受け取った時間情報から、事前に用意している動画のコマを時間を指定して表示しています。動画は、普通のミクさん、汗かいたミクさん、イライラミクさんの三種類の動画が用意されており、同じくエンジンから送られてくる付加情報に合わせて切り替えます。
2014-04-04 21:29:42
NAKAMURA Yoshinari
@CG891
また、デモ動画には出てこないのですが、ミクさんが演奏位置を見失って首をかしげる映像になったり、長時間放置することでよそ見したりゴソゴソしたりする動画に切り替わるようになっています。
2014-04-04 21:29:50