音声合成用コーパス読み上げの母音子音の音量差について

MYCOEIROINK、TALQu、CoeFontなど、音声合成モデル作成のためにコーパス文を読み上げ録音する時の音声波形や加工についてのお話。
9
のほしお💫 @ssohsn

他の人のITAコーパスの録音の波形と自分の波形を見比べて頭抱えてる 前からずっと同じ話してる気がするし助けてくれ(録音ソフトはOREMO) pic.twitter.com/vi6HToaFC3

2022-06-08 16:12:24
拡大
いろは酢(平成)🥟┃ALPHASCAPE @iroha_su2

@ssohsn あみたろさん御本人にお伺いしたほうがいいかと思いますが、あみたろさん側はおそらく編集時にコンプレッサーをかけて音量をならしているんじゃないかと思います。イ段ウ段の音量が他より小さくなるのは普通のことで、喋り出しよりもあとのほうが徐々に音量が小さくなるのも普通のことですよ

2022-06-08 16:15:02
のほしお💫 @ssohsn

@iroha_su2 他の人の録音と比べては『違うな…変だな…』ってその度に録り直ししていました!録音時にコンプレッサーをかけるのは他の人から聞いたのですがoremoでコンプレッサーをかける方法はわからなかったので(編集ソフトみたら後からコンプレッサーもいけるようです) 私は普通だった…??!

2022-06-08 16:23:39
あみたろ │ 小春音アミ公式 @amitaro_utau

@ssohsn @iroha_su2 あみたろはノイズ除去以外何も加工してないです。(コンプとかがわからない) どの音も均一になるように意識して録音してるけど、そのせいで生々しさが不足してる気がします…

2022-06-08 16:31:32
白痴ー@トーク音源配布中 @hakuti892

@amitaro_utau @ssohsn @iroha_su2 横から全員巻き込んで失礼します!(??) あみたろさんは母音つよつよの話し方なのでこう均一な波形になっているのだと思います。 コンプの掛取り、後掛け、vocal riderやオートメーションでの音圧調整を試して見ましたが普通に有効な一手です! 波形は機材より読み手に依存しがちです!ふぁいとです!

2022-06-08 16:35:26
のほしお💫 @ssohsn

@hakuti892 @amitaro_utau @iroha_su2 御二方ありがとうございます!! なるほど…録音つよつよの人達からのアドバイス非常に助かります! まずはコンプ先にかけて録音できるソフトで録音してみます! 巻き込みはお気になさらず!

2022-06-08 16:37:44
いろは酢(平成)🥟┃ALPHASCAPE @iroha_su2

@ssohsn @hakuti892 @amitaro_utau すぐ正解と助け舟が来たー!ありがとうございます! 私は音量差があまりに気になるときは後からコンプレッサーかけて音量ならしてる(ITAコーパスの場合はよっぽどのことがなければ気にしない)ので、収録慣れしてるメンバーと比べて深く悩みすぎないほうが良いとは思います。頑張って!

2022-06-08 16:44:39
あみたろ │ 小春音アミ公式 @amitaro_utau

@iroha_su2 @ssohsn @hakuti892 私も知りたいのでむしろ巻き込みありがたいー! あみたろは自然なしゃべり方とほど遠いので比較対象に向いてないかもです。嬉しいですが! コンプかけながら録音すると設定ダメだったなーって時に戻せないので、加工なしで録音して後から加工した方が良さそうな気が…!

2022-06-08 17:03:46
白痴ー@トーク音源配布中 @hakuti892

@amitaro_utau @iroha_su2 @ssohsn これほんとにその通りです!「音をならす目的で使う」なら後に回した方が良し、「潰さず音量上げや特性負荷」に使うなら掛け撮りもよしといった感じで…不可逆処理はできるだけしないのが…良いですね…!

2022-06-08 17:05:32
のほしお💫 @ssohsn

@hakuti892 @amitaro_utau @iroha_su2 なるほどなるほど…!本当に沢山ありがとうございます…!!! 未加工→ノイズ除去→気になったらコンプレッサーの順番でやってみます! 頑張るぞ‼️‼️‼️💪

2022-06-08 17:07:35
白痴ー@トーク音源配布中 @hakuti892

@ssohsn ふぁいおー!です!! わからんことあったらぜひ聞いてくだせー! 答えは出せないけど簡単なアドバイスなら…出来るかもなので…!(余計な世話

2022-06-08 17:08:49
@tatsu3

OREMOでエフェクト掛け録りしたい→VoiceMeeter Banana OREMOで録音後に編集したい→wavTar DAWで録りたい→REAPER

2022-06-08 16:46:51
@tatsu3

ITAコーパス用リージョンの細分化版を作りました。未検証なのでミスがあるかも。 tatsu3.hateblo.jp/entry/2022/04/…

2022-06-01 01:20:49

録音慣れしている人は波形が整いがち?

いろは酢(平成)🥟┃ALPHASCAPE @iroha_su2

言ってしまうと、あみたろさんとか白痴ーさん、おふとんPあたりのコーパス慣れしてるメンバーは それぞれこだわってることがあってその特性が配布物にも出るから、お手本にはなるけど万人がそれを綺麗になぞれるわけではないと思うくらいが気が楽 なお 音割れさえなきゃだいたい加工でなんとかできる

2022-06-08 16:47:59
いろは酢(平成)🥟┃ALPHASCAPE @iroha_su2

あみたろさんはもう何年も波形見てるだろうから、あの素のまま音量差の少ない波形出せるのも納得というかなんというか……すごいなあ……

2022-06-08 16:49:22
いろは酢(平成)🥟┃ALPHASCAPE @iroha_su2

私はそこまで声が安定してるわけじゃないのと、敢えて緩急をつける収録をしてるのでちょっと他のメンバーより不安定に見えそうなんですね 波形

2022-06-08 16:59:58

参考音源

あみたろ │ 小春音アミ公式 @amitaro_utau

【お知らせ】あみたろの声素材工房のMYCOEIROINKを公開しました! 字幕がなくても聞き取りやすい、素直な少女声の無料音声合成です。 創作活動のお役に立つことを願って…! ↓ ダウンロードはツリーから ↓ pic.twitter.com/AcoxcJE525

2022-06-04 14:31:27
白痴ー@トーク音源配布中 @hakuti892

かれい先生の #めたち絵 と シロワニさん様の #MYCOEIROINK を使用した動画です。 9スタイルでの配布です。 概要欄に配布URLを貼っていますのでよければ使ってくれ…! 【ソフトウェアトーク劇場】先生。評価をお願いします。【MY COEIROINK配布】 nico.ms/sm40387056?ref… #sm40387056 #ニコニコ動画

2022-04-28 17:33:44
シロワニさん⭐️COEIROINK®︎🌙 @shirowanisan

✨新しい合成音声「おふとんP」をリリースしました🐈✨ 無料AIトークソフト「COEIROINK」で体験できます! coeiroink.com ※ 動画の音声は全て合成音声です。 pic.twitter.com/ddKgl442sG

2022-01-15 17:35:55
いろは酢(平成)🥟┃ALPHASCAPE @iroha_su2

TALQuで使える少年声、軍歌ムツの紹介動画をニコニコ動画に投稿しました!Twitterにいる皆さんも、ちょっとお時間くださいな! 【TALQu】ミリタリー系少年声トークモデル、配布開始!【軍歌ムツ】 nico.ms/sm40449837?ref… #sm40449837 #ニコニコ動画 #軍歌ムツ #TALQu pic.twitter.com/Gaio9lTbyZ

2022-05-11 01:31:52
唯 彰@しばらく自粛にゃう @akira_yui

@iroha_su2 あ、やっぱり、おふとんPさんの波形って綺麗なんですね。 最近サンプルを聞いて、audacityで変換する際に波形を見ているんですが、慣れている方の波形(音量とか収録方法も関係あると思いますが)って本当に「波」って感じがします。 一つの音に対してボコボコってしてない気がする。

2022-06-08 16:53:03
いろは酢(平成)🥟┃ALPHASCAPE @iroha_su2

@akira_yui 長文の発声に慣れてる人は息の調整ができているので、本当に綺麗で見やすい波形になっているのではないかなあと思います、たぶんAIで音声を生成したあともそういう印象は残るでしょうね…!

2022-06-08 16:55:09