#どどんとふ + TTS(Text To Speech)という妄想 #これでいいですか竹流さん

サロンパス @saronpasu

朝からぼんやり考えていた、どどんとふのチャット音声読み上げの構想というか妄想について今考えていることを連投してみる。

サロンパス @saronpasu

チャットメッセージを取得するWEBIFがあるので。まずはそこからチャットメッセージを取得する。

サロンパス @saronpasu

呼び出しを受けたら、受け取ったメッセージ内容から音声読み上げのバイナリファイル(*.wav)を生成するWEBIFを新たに実装する。（※）

サロンパス @saronpasu

テキストから音声読み上げのバイナリファイル(*.wav)を生成する部分に関しては、昔とった杵柄である AquesTalkライブラリ（いわゆる「ゆっくりボイス」）を使えば良くて。たぶんこれは組めそう。 問題は、どどんとふ仕様のWEBIFを新規で組めるか？ってところだ。

サロンパス @saronpasu

どどんとふには標準で（どういう実装かわからんが）ダイスを転がした音を鳴らすことができる。 たぶん、音声ファイルをどうにか用意できれば。画面上で再生させることも可能なのではないかと予想。（※）

サロンパス @saronpasu

実際に、ただ単純に音声ファイルを用意すればそれでいいのかってわけじゃなくて。 たぶん、Flexフロントエンドもいじらないとならないよーな気がする。 そのへんはまったく詳しくないのであまり自身はない。

サロンパス @saronpasu

音声ファイルの再生終了をトリガーとして、音声バイナリファイルの削除をさせる。 これはFlexフロントエンドから再生終了のトリガーが、呼び出しを受けたら音声ファイルバイナリ削除を行うWEBIFへ通知するという形になるといいのだろうか。（※）

サロンパス @saronpasu

問題は。音声ファイルの再生終了をどどんとふサーバのどのレイヤー（Flexフロントエンドなのか、WEBIFなのか）で取得、通知できるのかがさっぱりわかっていない。もしかしたら、音声ファイルを生成する段階で、再生時間を検知する必要があるのやもしれない。微妙。

サロンパス @saronpasu

前後が逆になるけど。概要をいうと既存のWEBIFのやりとりを新規にいくつか増やして。 オプションプラグイン（？）としての音声読み上げ（いわゆるニコ生の棒読みちゃん）みたいなものをどどんとふにものっけようというものだ。（※）

サロンパス @saronpasu

ニコ生などでよくあるコメントの読み上げはクライアントサイドでの実装だが、どどんとふの場合は。 そもそものコンセプトデザインとして「オールインワン」という設計思想があるので。 やはり、クライアントサイドではなくサーバサイドで実装を完結する必要があるのだろう。たぶん。

サロンパス @saronpasu

大まかな設計（ほんと、ざっくりと）だが。 １．チャットWEBIFからメッセージ取得 ２．音声ファイル生成WEBIFがコールを受けて、音声ファイルを生成 ３．Flexフロントエンドで音声ファイルを再生 >>

サロンパス @saronpasu

>> ４．Flexフロントエンド（？）から、音声ファイルの再生終了トリガーを取得 ５．再生終了トリガーで、音声ファイル削除WEBIFをコール。音声ファイルを削除。 だいたいこんな感じ。

サロンパス @saronpasu

課題。 a.)どどんとふ仕様のWEBIFを新規に組めるのか b.)Flexフロントエンドを新規追加できんのか c.)Flexフロントエンドで音声再生できんのか d.)Flexフロントエンドで再生終了トリガー取得できんのか >>

サロンパス @saronpasu

>> e.)サーバサイドでの音声読み上げ（テキスト＞音声ファイル＞再生＞消去）の処理 　これを、どどんとふの部屋毎レベルで実装すると負荷がどのぐらいのものになるのか検討もつかない。 　ぶっちゃけ、実働に耐えるレベルの負荷に収まるのか（収められるのか）がわからない。

サロンパス @saronpasu

とりま。どどんとふの該当箇所周辺のソースコードと、Flexのリファレンスとかを読みながら。 よちよち歩きで久方ぶりの AquesTalk による音声読み上げ（いわゆる「ゆっくり実況」）のサーバサイド実装を勉強しましょうねー。というか、この設計でそもそもいけるのでせうか。

サロンパス @saronpasu

しかし。もし、仮にこれが実装できたとすると。 どどんとふ＋ニコ生？あるいはどどんとふ＋ニコ動？による投稿動画作成が 「サーバサイドでデフォルトで、コメントのゆっくり読み上げがつく」！！！！という大盤振る舞いになりそうな予感。

サロンパス @saronpasu

やったね、たえちゃん。ユーザビリティが格段に向上するよ！！（※サーバサイドリソースと実装コストと開発コスト度外視ですが）

サロンパス @saronpasu

よし。連投おわりー。これをトゥギャったかなんかにまとめて、あとで竹流さんにメンションでも送ろーっと。

くまかば @kumakaba

@saronpasu 拝見してましたが、実装方法はともかくとして「音声データ転送量」と「音声再生が間に合わない（次のメッセージが来た場合）の処理」も課題になりそうですな。

ノル @noll528

@saronpasu うちのどどんとふ、ファンブルするとデデーンって流れるようにしてるお。 カットイン機能で簡単にできるお

くまかば @kumakaba

おそらくサーバー実装では無く、クライアントからsoftalk（もしくは棒読みちゃん）のapi(?)をcallしちゃった方が良いんだろうなぁという想像はしたことがある。Flashでできるかどうかは全くわからぬｗ

サロンパス @saronpasu

@kumakaba コスパを考えると、クライアントサイド実装ていうのが現実的なんだと思います。ただ、「サーバサイドでオールインワン」というのがどどんとふのコンセプトというか設計思想にあったよーな話をどこかで聞いたような気がします。 なんで、あえてのサーバサイドなんですよね。

ノル @noll528

@saronpasu さっきリプしたけどすごく壮大なことしようとしてて噴いたwwwwwwwwwww