【UTAU】MoresamplerについてEjiさんに教えていただいた

Eji @ejiwarp

@chiteico 汚くなるのは困難な非パラメトリック式の波形処理を行うためなので高周波域に位相ズレが発生するため、一旦WAVへ出力したら、それを元にしたクロースフェード最適化はどうしても限界が有ります。 ただ、それをUTAUの持ち味とする考え方も出来ますので....

ちていこ @chiteico

@ejiwarp Moresamplerはパラメトリック式なので、位相ズレの問題に強いのですね。UTAUユーザの中には連続音音源のクロスフェードで汚い音になるのを嫌い、それを理由にCV-VCを支持する人もかなりいますので、そこは明確なMoresamplerの強みになると思います。

ちていこ @chiteico

Moresampler＋モジュレーション100で音源の自然なかっこよさを引き出す調声をして話題になった動画は、こちら。　【UTAU】連続音音源をモジュレーション100で使ってみた (3:21) nico.ms/sm27579872 #sm27579872

ちていこ @chiteico

RT。Moresamplerはパラメトリック式音声合成で、連続音音源のクロスフェード部分で前後の音が混ざる部分で音が気持ち悪くなる現象が起こりにくいので、mod100調声でもきれいな音色で合成され、「原音の声色変化とピッチ変化がシンクロしたUTAU出力音」にしやすい的な動画…？

ちていこ @chiteico

今話題の「連続音音源をモジュレーション100で使ってみた」（新エンジン・Moresampler使用）動画での使用音源は廻音シュウさんで、要するに魅力的な癖がついていることが期待されるガチ性能音源をmod100で使ってみてしまっているので、そのかっこよさはお察しというやつです。

Eji @ejiwarp

@chiteico mod100は収録音源に対して相当負担をかけられるイメージがあるので個人的は心配があります。収録音源に対して処理を加えて揺らぎを残せるツールがあればって感じ。 今までは平滑化されて後から揺らぎを加える方でした。

ちていこ @chiteico

@ejiwarp　確かに、mod100での使用を意図してあらかじめ収録音源に癖をつけて音源製作をしようとすると、普通に歌える音源にするための録音量が増えて音源収録者にとって負担が増える可能性がありますね…。

Eji @ejiwarp

@chiteico 元々「癖を付けたい」けど、どうやってシステマチック的（系統的）運用するかが問題だと思うね。一番理想的はいっぱい録しても無駄にならないけど、まぁ明らかに機械学習が必要されるわけですね。

Eji @ejiwarp

@chiteico 要するにこういうツールが提供されるとしても機械学習を走らせるのはコストがかかるし、フル自動ができないから、音源製作側ではこういうのが受け入れられるかって話。

ちていこ @chiteico

@ejiwarp　確かに、癖をつけた音源を製作しても、その癖を生かした調声をするにはそれなりの技術（＝音素選択）が求められるので、原音の癖を音声合成でうまく生かせていないこともあります。調声する側が混乱しない範囲で音源製作を省力化しようとすると、なかなか難しい感じもします。

ちていこ @chiteico

MoresamplerによるMod100調声は、「原音の癖を生かした自然な調声をし、かつ、出音のクオリティを維持する」という目的を、①modを100にする②エンジンにMoresamplerを使う…という比較簡単な手順で実現できるので比較的注目された…というのはありそうです。

Eji @ejiwarp

@chiteico 正直mod100導入はある程度想定済みはありますが、現状原音の音質を維持させる実装はまだ済んてないので、運用形態を見極めて対応していくつもりです。 ただその間で音源収録者はある程度労力の重複投資が予想されそう。

ちていこ @chiteico

@ejiwarp　現時点では、元々原音に癖のある音源をMoresampler + Mod100で調声してみた…というものが主流のようで、MoresamplerのMod100調声のために音源を収録しているという感じではないので、特に重複投資の問題はないかと思います。

ちていこ @chiteico

@ejiwarp　UTAUの音源製作界隈では、もともと、「V系風音源」「しゃくり音源」「喚起点音源」「歌連続音音源」など、わざと歌い癖をつけた音源を録る素地がありましたので、それらの音源の性能をMoresamplerの登場により生かしやすくなった…という流れであるように感じます。

Eji @ejiwarp

@chiteico なるほど、既存資産の再評価の場合はありがたいですね。

Eji @ejiwarp

@chiteico もう一種類は「楽譜、ノート単体に対する細かい調整」、UTAUの調教パラメータではなく、izotope RX4が提供した機能みたいな「合成結果の一部欠陥を細かく補修する手段として」など。自分の理解ではこういう機能を合成器側で提供するのは現状はないはず。

Eji @ejiwarp

@chiteico UTAU系など収録がだんだん膨大となり、全音素修正自体が困難である上に、UTAU収録において「個性として残したい」がほとんどであり、素材として極力原音の各特徴を残すべきだと考えており、合成結果を見て欠陥を修正する方が効率的のではと、今想像しております。

ちていこ @chiteico

@ejiwarp　「合成結果を見て欠陥を修正する」というのも、おもしろそうです。原音に問題がなくても①周波数表破綻②合成時のクロスフェードミス③極端なピッチ線の描き方等によるノイズが出力音に発生することはありますので、合成後の音声をリペアできる機能はかなり有効だと思います。

ちていこ @chiteico

@ejiwarp　「素材として極力原音の各特徴を残すべき」について、確かにUTAUにはそういう文化があると思います。音源を大事にする文化なので、音源の音声自体に手を入れるのに抵抗がある人がいたり、規約で禁止されていたり…もあります。エンジンによるリペアなら、抵抗は少なそうです。

Eji @ejiwarp

@chiteico 周波数表はF0検出エラーに手動で補完させる手段として用意し、現状MoresamplerはUTAUの周波数表使ってませんが、今後は独自の周波数表を導入する予定です。 クロスフェードミス及び極端なピッチ線についてはLLSMの仕組みで低減しております。

ちていこ @chiteico

@ejiwarp　クロスフェードミスと極端なピッチ線を自動リペアしてくれるエンジンということなら、「UTAU調声初心者でも安心して使え、きれいに音声合成できるエンジン」という謳い文句で、UTAUユーザーのエントリー層に訴求することもできそうですね。