【9/9追加分あり】画像を高画質化する AI の Real-ESRGAN、ウルトラスーパーガチで凄すぎて超絶ビビってるwaifu2x-caffe と違って Intel Graphics に対応してるらしくノート PC でも爆速でアップスケーリングできるし、精度も段違い(2枚目: Before 3枚目: After)なぜ話題になっていないのか不思議なレベルだ…

468
Torishima / INTP @izutorishima

アニメと Web と DTV と技術とプログラミングとその他諸々なオタク (⚠⚠⚠AI研究者ではありません!!!フォロー非推奨!!!⚠⚠⚠) IT と AI 関連の情報ウォッチしてます 同IDでThreads/Misskey/Blueskyにもたまにいます

note.com/sumisutori

Torishima @izutorishima

画像を高画質化する AI の Real-ESRGAN、ウルトラスーパーガチで凄すぎて超絶ビビってる waifu2x-caffe と違って Intel Graphics に対応してるらしくノート PC でも爆速でアップスケーリングできるし、精度も段違い(2枚目: Before 3枚目: After) なぜ話題になっていないのか不思議なレベルだ… pic.twitter.com/Eqn3IBjNoJ

2022-09-07 17:05:33
拡大
拡大
拡大
Torishima @izutorishima

あまりにも神のツールすぎる…… 学習済みモデルがいくつか入って 40MB くらいで収まってるのも凄いし、ビルド済みのアーカイブを GitHub から DL して PATH 通すだけなのでかなりお手軽 github.com/xinntao/Real-E… pic.twitter.com/W7smbohyFp

2022-09-07 17:05:34
拡大
Torishima @izutorishima

なんか中国の Tencent と Bilibili がお互いにアニメ高解像 AI の性能で競争してるっぽい(すごい世界だ…) github.com/xinntao/Real-E…

2022-09-07 17:49:05
Torishima @izutorishima

去年の時点では遅かったっぽいけど、今年4月にリリースされた新モデルでかなり速くなったみたい

2022-09-07 17:58:57
Torishima @izutorishima

別のイラストの例(1枚目: Before / 2枚目: After (realesr-animevideov3) / 3枚目 (realesrgan-x4plus-anime)) 2枚目はどうしてものっぺりしちゃってるんだけど、3枚目は時間かかる代わりに、脳内補完したイメージがそのまま画像化されたかのような解像感で本当に凄い 𝑮𝑶𝑫 𝑺𝑶𝑭𝑻𝑾𝑨𝑹𝑬…… pic.twitter.com/G6bXb9selQ

2022-09-07 18:13:34
拡大
拡大
拡大
拡大
Torishima @izutorishima

予想以上にバズってしまったので宣伝! twitter.com/TVRemotePlus/s…

2022-09-07 22:17:47
ゆむぱ。 @koroch_kowa

@izutorishima 二枚目と三枚目表示して何が違うんだろう といまいち分からなかったけど、 ズームしたら違いわかった pic.twitter.com/lwpeV1UDZt

2022-09-07 22:27:00
拡大
拡大
Yukio👓 @fish_and_chips3

@izutorishima 現在は、更にReal-ESRGANの僅かなディティールの粗さを改善させたReal-CUGANというのもありますので、機会があれば試してみてください。本当に凄いです。

2022-09-08 00:33:10
口シア兵ビッシぅ @rossiyaheidayo

@izutorishima おおおおおおおお! コノアイダニハサマリタイ

2022-09-08 04:28:23
あきらはじめ @akira_hazime

@izutorishima 公式・絵師「イラストアップしたよー」 ファン「わーいわーい」 ***「画像高画質化しました!どうです!すごいでしょう!!」 公式・絵師「………」

2022-09-08 07:32:24
求職マン @hyakushikichan

@izutorishima 精度も段違いっていうのはwaifu2x-caffeよりもそのReal-ESRGANの方がより画質が優れているってことですか? waifuを現状メインツールで使っていますが、より鮮明に高画質化できると嬉しいので確認を……

2022-09-08 08:02:19
Torishima @izutorishima

@hyakushikichan まだ厳密比較したわけではないのであれなんですが、感覚的には明らかに Real-ESRGAN のほうがきれいにアップスケーリングされてますねー(デフォルトで4倍拡大なのも凄い) 特に JPEG 特有の劣化したノイズがきれいになくなっているのが際立ってます(Waifu2xはここまでノイズを取り切れない)

2022-09-08 08:56:47
Eji @ejiwarp

@izutorishima ESRGANは総合的コントラストを一杯上げる他ディテールロスも多発してしまうから、ビリビリが自力的CUGANを作った経緯。 あとはESRGANは4Xだけサポートするため、ほかの倍率(デノイズだけほしい)という場合は解像度上げてからダウンスケールをするため基本的テクスチャーが無理やりロスされます。

2022-09-08 09:26:08
Eji @ejiwarp

@izutorishima 絵柄が変わってしまうレベルから、絵師が泣かされるでは、そもそもレトロアニメのリストアならともかく現在のアニメ制作フローに組み込んだら問題が起きるレベルではという指摘があったりする。 RealCUGANは2x、3x、4xのモデルが提供されて選択的使えるのと、構造的Waifu2xと互換が取れてる。

2022-09-08 09:28:59
モカ @bbsthHf5tO0PD8H

@izutorishima 拡大するとわかりやすいよー。 これはすごい

2022-09-08 09:52:10
kaname775 @kaname7753

@izutorishima 画質も音質もアップスケーリング売りにしたものって毛が生えた程度のものってイメージだったけど、これは凄いな。 bnc.lt/BkjdOkgV8sb

2022-09-08 10:34:14
Charlie Root @yayoidoki_dd23

@izutorishima @tetujo_yamato waifu2xにもIntel/AMD/Nvidia全部対応のwaifu2x-ncnn-vulkanってやつあるぞ...?

2022-09-08 11:15:09
F414-GE-400 @F414_GE_400

@izutorishima これってアニメみたいに元からハッキリした絵にしか使えない感じですか?

2022-09-08 11:31:13
neo飛燕 @neohien

@izutorishima すげぇ! 拡大前「??なにがちがうん?」 拡大後「おおおおっ!!」 pic.twitter.com/qc8dRZp8zy

2022-09-08 11:36:23
拡大
拡大
天咲 楓 @Amasaki_Kaede

@izutorishima なんとなくアニメ絵との相性は良さそう 昔のアニメのHDリマスターとか 映像の技術的補完に役立ちそう

2022-09-08 11:36:41
ひかたもにか @5InQieK5xarLNXr

@izutorishima これは今後動画にも技術が応用されたらえらいことになるな bnc.lt/on6xddzo7sb

2022-09-08 11:36:50