歌声合成ソフト【NEUTRINO】が公開、無調声でも人間っぽく歌唱してる様に聴こえる事に神前暁さん始め音楽家等から驚愕の声が! #AIきりたん

技術はついにここまで来たか…!という感想です。 諸々ざっくりとまとめましたが、各地に既にこのソフトを使用して色々公開されているので、探してみてください。
フリーウェア NEUTRINO VOCALOID AIきりたん 音楽 鉄ざっくりまとめ ソフトウェア テクノロジー 音声合成ソフト
528
SHACHI @SHACHI_KRTN

歌声シンセサイザーや東北きりたん歌唱データベースで色々するアカウントです。 HP: n3utrino.work Blog: n3utrino.work/blog Demo: soundcloud.com/shachi-demo ※個人的な趣味として作成しております。所属組織とは一切関係ありません。

n3utrino.work
SHACHI @SHACHI_KRTN
ニューラルネットワークを用いた歌声シンセサイザー【NEUTRINO】を公開しました。 Homepage: n3utrino.work Blog: n3utrino.work/blog/ Download: vector.co.jp/soft/winnt/art… pic.twitter.com/21LJ6B8C9m
拡大
SHACHI @SHACHI_KRTN
本ソフトウェアはフリーウェアです。 楽譜から発声タイミング・音の高さ・声質・声のかすれ具合などをニューラルネットワークで推定します。 上記の推定されたパラメータを元にvocoderで音声を合成します。 (続く)
SHACHI @SHACHI_KRTN
2名の音源(東北きりたん、謡子)が同梱されています。 ※制作した音声ファイルについては、各データベースの利用規約の範囲でご利用ください。 使い方・更新情報などはReadme又はブログをご覧ください。 (続く)
SHACHI @SHACHI_KRTN
本ソフトの名称はまだ聞いたことのないような楽曲・ジャンルを開拓してほしいという思いを込めて名付けました。 あなたの創作・発見の一助になれれば幸いです。 今後も引き続きアップデートを続けていきますので、皆様どうぞよろしくお願いいたします。 (続く)
SHACHI @SHACHI_KRTN
最後になりますが、本ソフトウェアの制作にあたり、素晴らしいソフトウェア・データベースをご提供いただきました方々に感謝します。そして、テストやデザインなどご協力ご助言いただきました皆様に心から感謝します。ありがとうございました。
fiz@Ryzen7 3700X @wwasd
@SHACHI_KRTN readmeに書いてなかったので念のために確認したいのですが、ひらがなでmusicxmlに名前を付けたら動きませんでしたが、リネームしたら動作したのですが、半角英数字の必要がありますか?
SHACHI @SHACHI_KRTN
@wwasd ご利用いただきありがとうございます。 かな漢字でも動く場合はありますが、半角英数字のファイル名を推奨しています。
すずしめ @suzusime
はてなブログに投稿しました #はてなブログ 「AIきりたん」がすごい - すずしめにっき suzusime-log.hatenablog.jp/entry/2020/02/…
リンク すずしめにっき 1075 users 1938 「AIきりたん」がすごい - すずしめにっき ゆうべ、そろそろ寝ようかなと思っていたらものすごいものが投下され、興奮して結局3時半まで起きてしまいました。 ということで、昨晩公開された「AIきりたん」こと歌声合成エンジンNEUTRINO1について(今の興奮をあとで思い返すためにも)書いておきます。 AIきりたんとは とりあえずこれを聴いてみてください。 これが合成音声か!?と思ってしまうような仕上がりですが、これがAIきりたん……歌声合成エンジンNEUTRINOによって生成されたきりたんの歌声です。 NEUTRINOはSHACHIさん(@SHACHI
深津 貴之 / THE GUILD / note @fladdict
これヤバイな… 歌唱AIとしてなんか、壁を飛び越えた感ある suzusime-log.hatenablog.jp/entry/2020/02/…
藤本健 @kenfujimoto

DTM・デジタルレコーディングといった分野を中心にデジタルオーディオ関連全般に遊んでいます。実はうちの電力はほぼ太陽光発電でまかなっていたりします。Facebookもやってます(facebook.com/dtmstation)

dtmstation.com
藤本健 @kenfujimoto
まずい、まったく世の中についていけてない…。 すごい。誰が、何をどうやってこうなってるの??教えて! suzusime-log.hatenablog.jp/entry/2020/02/…
藤本健 @kenfujimoto
さっきのAIきりたん、フリーウェアになっているので、さっそく使ってみた。昨年4月にリリースした多田彰文 @akifumitadaさん作曲で名工大のAIで歌わせた「いつかかんらず」。AIさとうささらが歌うのとニュアンスは違うね。計算するのに2~3分かかったけど、スゴイ。 soundcloud.com/kenfujimoto/it…
リンク SoundCloud 76 ItsukaKanarazu AI-KIRITAN Listen to ItsukaKanarazu AI-KIRITAN by kenfujimoto #np on #SoundCloud
Warner Music Mastering @wm_mastering
巷ですごいすごいと評判のAI歌声合成エンジン「AIきりたん」はやっぱりすごかった・・ suzusime-log.hatenablog.jp/entry/2020/02/… 新たなビッグウェーヴが来るのでしょうか?
と"ゆこと @derep_hk
声命体だよこれは。すごいなぁ、科学はここまで進歩しているの 「AIきりたん」がすごい - すずしめにっき suzusime-log.hatenablog.jp/entry/2020/02/…
GYARI @GYARI_
AIきりたんとやらの新しい歌声音声技術が出たらしい。 色々聞いてみたけどこれはもはや人間ですね…素晴らしい…素晴らしい…
はぁとふる倍国土 @keiichisennsei
初音ミクが世に出てから13年も経つけど、まだまだ「人が歌っているようにしか聞こえない!」という域には達していないな~・・・って思っていたけど、最新技術はここまで来ていたのか!!! すげぇや! suzusime-log.hatenablog.jp/entry/2020/02/…
high_note @high_noteP
いやー、これは凄い・・・もう声質がいい人のデータベースさえあれば、歌唱技術とか人がリアルで歌うことの意味を考えさせられるレベル・・・suzusime-log.hatenablog.jp/entry/2020/02/…
神前 暁 / こうさき さとる (本名) @MONACA_kosaki
話題のAIきりたん、仕事で使えそうなクオリティだな
神前 暁 / こうさき さとる (本名) @MONACA_kosaki
適当に打ち込んでみたけど、完全なベタ打ちでもそれなりに聞けるの凄いと思う #AIきりたん pic.twitter.com/SoUIz3JZqv
残りを読む(45)

コメント

うごのあきた極 @nameless_shien 2020年2月24日
結局ボーカル用意できない奴が使うツールで最後は人間が歌うんでしょ?
sokuoku @sokuoku 2020年2月24日
無調整でここまで到達できるフリーソフトとか、マジ半端ない時代 AIきりたんの『キリトリセン』 無調声ver https://youtu.be/HZ5zuR86-nA via @YouTube
久米留宇 @RueKume 2020年2月24日
楽器が演奏できる人も使うツールで最終的に人間が演奏しない場合もあるんでなぁ
かぴばら @mameshiba0003 2020年2月24日
仮歌で食い繫いでる売れないボーカル達が息の根止められちゃう
まほうびん @mahoubin196 2020年2月24日
これは凄い。 聞いてて違和感が無い。 気持ちいい
アオカビさん @Penicillium_ch 2020年2月24日
コレは本当にスゴイ!「メルト」を初めて聴いた時と同じような、ステージが変わる瞬間だと思う。神調教と言われてても結局マシンボイスだったVocaloidとは完全に一線を画すると思う。ボカロでは必須だった職人技が不要になり、誰でも良い曲を作れる裾野が今まで以上に広がった。
〆tg-ak @tgak20 2020年2月24日
ひぇー!cytusなつかしー!全然違和感ない!
アオカビさん @Penicillium_ch 2020年2月24日
何が恐ろしいかって、これが無料で配布ってことですよ(音声データは利用規約による制限はあるものの)
uniuni @wander__wagen 2020年2月24日
nameless_shien じゃあなんでボーカロイドが売れてて「初音ミク」のライブが満員なのか考えてみようか
めざし @chemical_mezasi 2020年2月24日
すごいね!すごいね!!!
uniuni @wander__wagen 2020年2月24日
ほぼ調整無しで、っていうのがすごいのは間違いないんだけど、はぁとふる倍国土 @keiichisennsei はちょっと言い過ぎ。と言うか昔のイメージのままで語ってんだろうなってのはわかる。UTAUですら今どきのはすごいんだよ。https://www.youtube.com/watch?v=9I7xKO2ijm0 あと、もう五年前だけど演歌みたいな歌わせ方ですごいのも出てる。しかもこれ外国人が作ってたり。 https://www.nicovideo.jp/watch/sm26847856 
uniuni @wander__wagen 2020年2月24日
しかし無料ってのがねぇ・・・純粋な善意かもしれんし話題性で知名度を上げたいのか知らんけど、ダンピングみたいなことになったらちょっとやだなぁ。DCCツール界におけるブレンダーみたいになっちゃうんだろうか・・・まあボーカロイドの方にももっと頑張ってもらうしか無いかね。やっぱミクが色んな意味で好きだ。
parata(はらー) @paratata 2020年2月24日
えっ、うわなんだこれすごい。そしてこれがフリーウェアなのか。一線を超えた感が強い。
(新)ぼくキャプ村ーN @sinbokukyapun 2020年2月24日
旋律なくして声優の代行出来るんじゃないか?
uniuni @wander__wagen 2020年2月24日
sinbokukyapun 狙った演技をさせるには学習させないとむりっぽい
iksk @space_sk4500 2020年2月24日
これまで調教とは言うものの結局は作者の感覚任せ、曲ごとのワンオフ調整だった部分が自動化され標準化されるのはまさにアップデート感があるな
(新)ぼくキャプ村ーN @sinbokukyapun 2020年2月24日
wander__wagen なるほど。できてもアナウンサー代行か
messerschmitt @000fighter 2020年2月24日
wander__wagen マクロスプラスネタを言っているのでは?
まほうびん @mahoubin196 2020年2月24日
【AIきりたん】メルト【NEUTRINOカバー】 https://nico.ms/sm36412390?cp_webto=share_others_iosapp これ、メルトを歌わせたやつだけどほんと凄い。 ここまで流暢になるんだ。。。。
Hacchi @2mocccck 2020年2月24日
やっとミクの次が出たって感じだな。元ボカロ厨的にはYAMAHAから正統後継を出してほしかったけど…。
なお @vdeohEc44PamcuI 2020年2月25日
しゅごい、途中の自然に歌いますの声の張り方とか本当に自然…
ホーリー☆ニャーニャー @holy_meow_meow 2020年2月25日
なんと…もっと早く知りたかった
愚者@ 3/22満開C-21 @fool_0 2020年2月25日
すげえ、音符と言葉だけで本当に歌ができてる!
08_Reader @08_Reader 2020年2月25日
Penicillium_ch 次の時代はこれの使用を大前提としたうえで、より細かく高度な職人技が注ぎ込まれていくことになるんだろうな……
たる @taruwo 2020年2月25日
wander__wagen 善意とかだけではなく、使ってくれる人が増えて調律されたデータがもっとあると、更に自然な感じの自動調律が出来るようになるからでは?
ギゴガゴン @gigogagon 2020年2月25日
現在までのボーカロイド全てが不気味の谷に陥って全くダメだったけどこれは聞ける…!
すらーく @slarq 2020年2月25日
自然に聞こえるっていうならまだわかるけど、人の声と区別つかないってのはさすがに言い過ぎだろ。仮歌作成みたいなツール的には便利かもしれないし技術的にはこちらの方がすごいかもしれんけど、初音ミクのような魅力は感じないな。
Hacchi @2mocccck 2020年2月25日
囲碁とかセキュリティの防御vs突破だったら結果がハッキリ得られるから自己学習のしようもあるけど、歌唱の「正解」をAI自身で得るのは極めて難しいだろうからユーザーのフィードバックを学習に反映させるのは難しいんじゃないかなと思う。ソフトウェア側で複数の出力をユーザーに提示して、その結果をユーザーが選ぶような操作を入れられるならそのフィードバックでAIの学習を進められる可能性はありそうだけど、どうやらそういう機能はなさそう。
Yeme @yer_meme 2020年2月25日
少なくともおれが歌うよりは上手いっスね…(´・ω・`)
aka_BANANA @akaBANANA4 2020年2月25日
「無調整でもこれだけ歌うなら!」って意見も見かけるけど現状ここから大幅に弄るのは今のところできないんじゃない?
s-joker @s_joker8982 2020年2月25日
すごいけどあんまり「きりたんが歌っている」感じがしない。きりたんに歌わせた系の動画がこればっかりになったらかなり嫌だなあ。
@dpbiigdr2 2020年2月25日
Orpheusで自動作曲したのを歌わせたら面白そう
あるのにбеда @ARUNONIbeda 2020年2月25日
ら、らぁらがいるぷり……!
saku @sakuuuuuuune 2020年2月25日
無償なの批判してる人もいるけど、フリーで使ってもらって知名度を上げる、どんどん精度を上げるなどして、最終的に本家へ買収or支援をもらうと言うのもソフトウェア開発ではあることだし、作者の戦略は特に批判されることではない 聞いた感じ素晴らしい出来だし、コミュニティに大きく貢献することは間違いない 本当に賞賛されるべき開発だと思う
clockgene @clockgene 2020年2月25日
この勢いでセリフ喋ってくれるAIも開発してほしい。
痣のん @azaknows 2020年2月25日
UTAU布教スレはここですか???
痣のん @azaknows 2020年2月25日
2008年から配布されている歌声合成ソフトウェアUTAUも頑張っているので使ってみよう!もちろん無料だよ! 【UTAU】連続音音源をモジュレーション100で使ってみた https://nico.ms/sm27579872
ST_009 @ST_565 2020年2月25日
確かに人間に近い歌い方をしているけど、初音ミクなどのボーカロイドだって、調教次第で人間っぽく喋らせたり、歌わせたりすることができる。
男山 @otokoyama_rx 2020年2月25日
まあ私、楽譜読めないし曲書けないから関係ないんですけどね……って自虐皮肉書くつもりだったけど、聴いたらすげえ! しかもフリーか、どうなってんだ!? ……鼻歌から楽譜作るソフトたぶんあるよね、それもフリーだったらマイク買ってきたくなっちゃうレベル
もんすーん @monsoon_at 2020年2月25日
初期のボカロを知ってる人ほどベタ打ちでここまでできるのか、という感想のようで。初音ミクの出始めだけでなくカイトやメイコあたりと比較すると隔世の感がある。
水音みらい(みなとみらい) @minatomirai9 2020年2月25日
無料で使ってもらった後に、ユーザーからの「この音が出ない」って声を反映して声優さんにそこを補強する目的の歌をいくつか歌ってもらってデーターベースにぶち込んだら強化される・・・んだろうね。そこまで見越して無料公開したかは知らないけど。
わかめ @wakamemorimori 2020年2月25日
Fukaseとかさとうささらとかもすごかったけどこれが無料なのすごいね
フルグラ美味しい @frugura 2020年2月25日
こりゃ凄いレベルのが来てしまった。個人制作の動画で必須のツールになりそう。
みおな @SheemaClassic 2020年2月25日
ボカロの不自然さが好みじゃなくて聞いてなかったけど、コレは好きかも
きり梅 @kiritannplum 2020年2月25日
オーイシさんにきりたんが認知されてる…ありがたやありがたや…
きり梅 @kiritannplum 2020年2月25日
ボカロ黎明期を知ってる人ほどリアクション大きいの面白いね まだCUIだからAI改善しつつGUI化して有料で1.0リリースしてボカロと拮抗する感じで人気が出てくれると嬉しい
限界集落ぐるぐる温泉 @otozuke 2020年2月25日
このテの調教はMitchie M氏が一歩抜きんでていたが まさかここまで......
転倒小心 @tentousho 2020年2月25日
あの、ボカロpが苦労してたコンプで潰すとかあの辺なしにこれですか・・・UTAUの作者さんが一度だけ試みた(手法を公開されなかった)やつ以来ですよこのレベル #飴屋さんあれなにやったのか未だに謎
ナンテナ @WquIMUR4jJHzYfl 2020年2月25日
“人間らしい歌声”の点だけで言ったらこのレベルはUTAUとか人力で既出だけどベタ打ちとフリーウェアな点がすごいですね ボカロはPごとの調教(調声)の違いを楽しむ人が多い印象だからそういう層に受けるかは未知数かなー
S.WAT @SWAT1537 2020年2月25日
クリエイターが調声に手を取られず作曲に集中できる環境にまた一歩近づいたのではないだろうか。 声のバンクや、発声の仕方にバリエーションをつけて個々をライセンス販売する感じのビジネスモデルを目指しているのかな。既存のDAWからVSTなりで生成音声を受け取れるようになるんでしょうな。
かとじゅん @j5ik2o 2020年2月25日
これはすごい。ブレイクスルーきたか。動画ナレーションでも使えそう
伊達川(一) @Datekawa 2020年2月25日
くろ洲氏のツイで少し前から作ってんのは知ってたけど公開されたのな この手の技術が進んでんなぁ!って思わせるやつ作ってる人たちは以前からたまに見かけたけども、ここまで経ってもヤマハは大して進歩しなかったな……。ミクのクリプトンとか既に他のソフトで音声使えるようにデータ整理作業進めてたし商標『VOCALOID』の時代も本格的に終わりかもな
りぐん プリキュア駆動 マナカレ10年目 @choonggeun 2020年2月25日
これ試してみたけどすごい。でもVOCALOIDとはアプローチが違うので単純に比較はできないかなぁ。 まだサンプル出力しただけだけど、自然に歌わせるのならNEUTRINOがすごい、でも思い通りに表現したいときはVOCALOIDのほうが自由がききそう。NEUTRINOの方は機械学習で出力するからバッチ処理だけどVOCALOIDはリアルタイム出力だからDAWと連携させやすい
旧屋草一 @togetter_yo_aco 2020年2月25日
一応ボーカロイドでは名工大研究所とテクノスピーチの共同でAIを用いた自然な歌声合成ソフトが開発されたりしてる。前例があるからあまり革新的とは思わないけど、驚異なのは無料配布ってところだよね。https://www.techno-speech.com/news-20181214a
八代泰太 @clockrock4193 2020年2月25日
sinbokukyapun ニュースのアナウンサーとかいらなくなるかな? 今でも原稿読みなわけで、そのまま音声出力すれば読み間違えも減るし。
横島島 @yokoshimaa_ 2020年2月25日
ボカロもUTAUも「人間にしか聞こえない」職人技の歌唱は今まで散々出てきて、でもそれらはマニア以外には全然伸びてないんだよな。いくら頑張っても絶対に機械音ぽさが残るミクが未だ一線な理由を考えると、これから知名度や手軽さを付けていくことが肝になるかも
pekoe_tw @peckoe_tw 2020年2月25日
ベタ打ちでまあ上手いカラオケレベルなのほんと凄い。触った方の感想見る感じ、個性ある神歌唱力目指す系ではなくそこそこの歌唱力で曲の良さ魅せる系向け? 汎用性めちゃくちゃ高い…
IT土方 @s_takepon 2020年2月25日
これの凄いところは調整に職人技が要らないところで欠点はまだ対応できる音域やテンポが狭いところな気がする アプローチや適用範囲がボカロと違うのでとってかわるというより補完的な関係にみえるな
ヘルヴォルト @hervort 2020年2月25日
slarq 楽曲にもよるが相性の良い曲なら知らずに聞いたら機械音声だと分からない(認識できない)が大半だと思うよ
ヘルヴォルト @hervort 2020年2月25日
ST_565 その調整というハードルを破壊したって話だよ
ふるやx[xは全角です] @Furunya_X 2020年2月25日
Penicillium_ch 職人技が不要になるのではなく、より高度な技、テクニックが見られるようになるという、ある意味ハードルが上がったとも捉えられそう どっちにしろ凄いものなのですがね
- @0000blanc 2020年2月25日
細かい調整はどっちみちできるとして、無調整の段階で、むやみに歌唱力が高すぎないところがよかった。 このくらいのちょうどいいやつこそ需要がありそう。 謎のかわいさ、応援したくなる感、がある。
トンバ @tonba_tb 2020年2月25日
UTAUのきりたんでこのレベルの作品作ろうとしたら何日かかるんだろう…
IT土方 @s_takepon 2020年2月25日
Furunya_X いや少なくとも現時点だと入力するパラメータが減ってる分職人技やらテクニックは使いにくい
いくら @YamadaIkra 2020年2月25日
togetter_yo_aco 1年前のこれもすげえな。
アスパラベーコンマヨ餃子 @abmgyoza 2020年2月25日
人工音声っぽいかぽくないかで言えばまだまだ「ぽい」側だとは思うが、確かに進化は感じる。しかしボカロ(特有)の「人工感が好き」って派(テクノポップとかの人力廃絶主義とはたぶん別)の人的には「人間に近づくのがボカロの本懐」みたいな風潮や方向性はどうなんだろうな。そっち方面でも技術進化させようみたいな動きは無いんだろうか。
nonomi @nonomi8 2020年2月25日
流暢すぎて逆にきりたんぽくなくなってる気がする。あくまで声のデータベースってことか。
(新)ぼくキャプ村ーN @sinbokukyapun 2020年2月25日
clockrock4193 小規模の動画系ニュースサイトなどは助かるのでは
mikumiku_aloha @mikumiku_aloha 2020年2月25日
歌は表現で、表現者の意思を反映させたいと考えると、ここはソリッドに、ここは感情豊かにみたいな指示が佐村河内さんの図形みたいな方法で入力出来たら楽しそう。指揮でもいい
aka_BANANA @akaBANANA4 2020年2月25日
Datekawa この手の方向ならVOCALOIDもVOCALOID:AIって形でやってたじゃないですか、紅白にも出たAI美空ひばりで
せせり @alice638 2020年2月25日
まとめ内になかったのでnaturalさんの曲を推しておく 『KBZ』(テトさん版:https://nico.ms/sm36289083、きりたんカバー版:https://nico.ms/sm36406202)
せせり @alice638 2020年2月25日
個人的にきりたんの実況動画とかは見たことあるが中の人はあまり知らない状態なんだけど、第一印象は「すごいけどきりたんぽくないなあ」だった。『FREELY TOMORROW』(https://nico.ms/sm15172108)を初めて聞いたときも思ったけど、人間に近い歌い方になる→中の人のイメージが強まる≒キャラクターのイメージが薄まるのかな。
せせり @alice638 2020年2月25日
sinsyとの比較動画があったので見たけど(https://nico.ms/sm36417519)、息継ぎなしで一定時間歌うと息苦しそうな声に自動的に調声されるのね。人間に近づくことで「僕らのHow toなら今、息継ぎいらないんだ」(https://nico.ms/sm27852784)がむしろできなくなるんだなあ。
しろうと @sirouto 2020年2月25日
こうして、人工音声が人間の自然な歌声により近づく。と、何が起きるか? 「歌唱力」で大差が付かなくなるが、良くも悪くも今まで以上に、「芸能力」や「プロデュース力」「キャラクター力」の勝負になる。たとえば、ユーチューバーやVチューバが歌っても、機械に勝てなくなるだろうけど、誰も見なくなるということはない。有名人ならやはり、その人の歌を聴きたいとなる。だって、「初音ミク」誕生後も、アニメの歌は声優が歌ってるでしょ? あるいは、将棋ソフトがいくら人間より強くても、プロ棋士はまだまだ健在なのと同じ。
だいふく @daifuku_3129 2020年2月25日
これにはこれの良さがあり、それにはそれの良さがあるでいいじゃない
ふるやx[xは全角です] @Furunya_X 2020年2月26日
s_takepon 調声という事に留まらず、これを利用する上での例えば音楽的なテクニック、という意味で言ったつもりでした つまり、音楽的には同程度である時、調声が飛び抜けて素晴らしい作品が評価されていたのが、音楽的に少し優れた方が評価されていくのかもしれない…という事です 行間の説明不足でございました
ハナヤマドリ @hanayamadori 2020年2月26日
ゆるやかでのびやかなポップスはベタ打ちで上手く歌ってくれますが、bpmが速くなったりリズムが細かくなると、とたんに素人JSインターネットカラオケガールになる。破綻させずに歌わせるためにはオペレーションは必須でした。
椎間板ヘルニア @koutaro_18 2020年3月1日
これは凄い。 知らずに聞いたら人が歌ってると思う。
ログインして広告を非表示にする
ログインして広告を非表示にする