2022年9月8日

【9/9追加分あり】画像を高画質化する AI の Real-ESRGAN、ウルトラスーパーガチで凄すぎて超絶ビビってるwaifu2x-caffe と違って Intel Graphics に対応してるらしくノート PC でも爆速でアップスケーリングできるし、精度も段違い(2枚目: Before 3枚目: After)なぜ話題になっていないのか不思議なレベルだ…

469
Torishima @izutorishima

アニメとWebとDTVと技術とプログラミングとその他諸々なオタク(⚠follow deprecated) IT関連の情報ウォッチしてます 最近はリコリコの話しかしてない

note.com/sumisutori

Torishima @izutorishima

画像を高画質化する AI の Real-ESRGAN、ウルトラスーパーガチで凄すぎて超絶ビビってる waifu2x-caffe と違って Intel Graphics に対応してるらしくノート PC でも爆速でアップスケーリングできるし、精度も段違い(2枚目: Before 3枚目: After) なぜ話題になっていないのか不思議なレベルだ… pic.twitter.com/Eqn3IBjNoJ

2022-09-07 17:05:33
拡大
拡大
拡大
Torishima @izutorishima

あまりにも神のツールすぎる…… 学習済みモデルがいくつか入って 40MB くらいで収まってるのも凄いし、ビルド済みのアーカイブを GitHub から DL して PATH 通すだけなのでかなりお手軽 github.com/xinntao/Real-E… pic.twitter.com/W7smbohyFp

2022-09-07 17:05:34
拡大
Torishima @izutorishima

なんか中国の Tencent と Bilibili がお互いにアニメ高解像 AI の性能で競争してるっぽい(すごい世界だ…) github.com/xinntao/Real-E…

2022-09-07 17:49:05
Torishima @izutorishima

去年の時点では遅かったっぽいけど、今年4月にリリースされた新モデルでかなり速くなったみたい

2022-09-07 17:58:57
Torishima @izutorishima

別のイラストの例(1枚目: Before / 2枚目: After (realesr-animevideov3) / 3枚目 (realesrgan-x4plus-anime)) 2枚目はどうしてものっぺりしちゃってるんだけど、3枚目は時間かかる代わりに、脳内補完したイメージがそのまま画像化されたかのような解像感で本当に凄い 𝑮𝑶𝑫 𝑺𝑶𝑭𝑻𝑾𝑨𝑹𝑬…… pic.twitter.com/G6bXb9selQ

2022-09-07 18:13:34
拡大
拡大
拡大
拡大
Torishima @izutorishima

予想以上にバズってしまったので宣伝! twitter.com/TVRemotePlus/s…

2022-09-07 22:17:47
ゆむぱ。 @koroch_kowa

@izutorishima 二枚目と三枚目表示して何が違うんだろう といまいち分からなかったけど、 ズームしたら違いわかった pic.twitter.com/lwpeV1UDZt

2022-09-07 22:27:00
拡大
拡大
Yukio👓 @fish_and_chips3

@izutorishima 現在は、更にReal-ESRGANの僅かなディティールの粗さを改善させたReal-CUGANというのもありますので、機会があれば試してみてください。本当に凄いです。

2022-09-08 00:33:10
口シア兵ビッシぅ @rossiyaheidayo

@izutorishima おおおおおおおお! コノアイダニハサマリタイ

2022-09-08 04:28:23
あきらはじめ @akira_hazime

@izutorishima 公式・絵師「イラストアップしたよー」 ファン「わーいわーい」 ***「画像高画質化しました!どうです!すごいでしょう!!」 公式・絵師「………」

2022-09-08 07:32:24
求職マン @hyakushikichan

@izutorishima 精度も段違いっていうのはwaifu2x-caffeよりもそのReal-ESRGANの方がより画質が優れているってことですか? waifuを現状メインツールで使っていますが、より鮮明に高画質化できると嬉しいので確認を……

2022-09-08 08:02:19
Torishima @izutorishima

@hyakushikichan まだ厳密比較したわけではないのであれなんですが、感覚的には明らかに Real-ESRGAN のほうがきれいにアップスケーリングされてますねー(デフォルトで4倍拡大なのも凄い) 特に JPEG 特有の劣化したノイズがきれいになくなっているのが際立ってます(Waifu2xはここまでノイズを取り切れない)

2022-09-08 08:56:47
Eji @ejiwarp

@izutorishima ESRGANは総合的コントラストを一杯上げる他ディテールロスも多発してしまうから、ビリビリが自力的CUGANを作った経緯。 あとはESRGANは4Xだけサポートするため、ほかの倍率(デノイズだけほしい)という場合は解像度上げてからダウンスケールをするため基本的テクスチャーが無理やりロスされます。

2022-09-08 09:26:08
Eji @ejiwarp

@izutorishima 絵柄が変わってしまうレベルから、絵師が泣かされるでは、そもそもレトロアニメのリストアならともかく現在のアニメ制作フローに組み込んだら問題が起きるレベルではという指摘があったりする。 RealCUGANは2x、3x、4xのモデルが提供されて選択的使えるのと、構造的Waifu2xと互換が取れてる。

2022-09-08 09:28:59
モカ @bbsthHf5tO0PD8H

@izutorishima 拡大するとわかりやすいよー。 これはすごい

2022-09-08 09:52:10
kaname775 @kaname7753

@izutorishima 画質も音質もアップスケーリング売りにしたものって毛が生えた程度のものってイメージだったけど、これは凄いな。 bnc.lt/BkjdOkgV8sb

2022-09-08 10:34:14
Charlie Root @yayoidoki_dd23

@izutorishima @tetujo_yamato waifu2xにもIntel/AMD/Nvidia全部対応のwaifu2x-ncnn-vulkanってやつあるぞ...?

2022-09-08 11:15:09
F414-GE-400 @F414_GE_400

@izutorishima これってアニメみたいに元からハッキリした絵にしか使えない感じですか?

2022-09-08 11:31:13
neo飛燕 @neohien

@izutorishima すげぇ! 拡大前「??なにがちがうん?」 拡大後「おおおおっ!!」 pic.twitter.com/qc8dRZp8zy

2022-09-08 11:36:23
拡大
拡大
天咲 楓 @Amasaki_Kaede

@izutorishima なんとなくアニメ絵との相性は良さそう 昔のアニメのHDリマスターとか 映像の技術的補完に役立ちそう

2022-09-08 11:36:41
ひかたもにか @5InQieK5xarLNXr

@izutorishima これは今後動画にも技術が応用されたらえらいことになるな bnc.lt/on6xddzo7sb

2022-09-08 11:36:50
残りを読む(6)

コメント

myo@棘専用(専用とは言っていない) @myo80766994 2022年9月8日
拡大する前「全部同じじゃないですか!!」 拡大した後「かがくのちからってスゲー!!」
74
マシン語P @mashingoP 2022年9月8日
写真データの解像度が足りない場合にアップスケールするPhotoshopの有料プラグインを20年くらい前に見たことがあるんだけど、確かお値段7桁後半だった記憶。アニメイラスト限定でもこういうものが無料で入手できるなんて想像したことなかった。
7
inu @inu1122 2022年9月8日
mashingoP AIgigapixelはかなり安い
4
88pdr @8_8pdr 2022年9月8日
高解像度はFantiaで、という商売が撲滅される日も近いな。
33
いとけい @itokei_ 2022年9月8日
低解像度って、モザイクのこと?
5
いとけい @itokei_ 2022年9月8日
これむしろNTSC時代のアニメに効きそう。今の「リマスター」もすごいけど
31
くろだ@やることはやった @ponkotsu14 2022年9月8日
waifuが動く環境だとどちらが早い・きれい・融通が聞くんですかね? ためそう。
7
サカソウ @suckaso 2022年9月8日
こういうアプコンと動画補完技術で、アニメの制作が捗るものだと思っていたのだが、一向にその時代がこない
6
碧🌒 ~𝒜𝒪~ @Turkis_Mond 2022年9月8日
すげえ、これでPS1ソフトのQVGA未満モーションJPEGのムービーがフルHDに出来るぜ
15
ゴマすりクソバード@自由人 @animefigure3d 2022年9月8日
老眼の進行を感じさせられた……パッと見、シャープネスが上がってるのは感じられるが、ちゃんと見ようと思うと。
5
uki @netgameneet 2022年9月8日
waifu2xとの比較が欲しい
12
毘藍 山風蠱(元16TONS) @moonintears16t 2022年9月8日
8_8pdr え、fantiaへのドネートは画質より差分を求めるものじゃなかったんですか?
29
茶請 🎀 プリレコ9 @tyauke 2022年9月8日
これ透過PNGにも対応してるから、資料を編集するとき便利だった
11
かずお@社会人第3期 @undei 2022年9月9日
刑事ドラマで無理矢理デジタルズームした画像を高解像度化するシーンが、現実でもできるようになるのか…
4
どらすと @mobile_sheet 2022年9月9日
moonintears16t はやく要求した差分を自動で作るAIを開発するんだ作ってくれるならこの際国産だろうと海外に主導権握られようと致し方ないさあ差分制作AIを出すんだ
8
🌟⛄ @sternneige 2022年9月9日
これでクライアントから来た解像度72dpiの画像をなんとか見られる状態にする作業から解放されるんですか!?…と思ったら二次元画像限定なのかな…?
8
わくわく @waku2009 2022年9月9日
mobile_sheet モザイクや白消しに無修整コラージュするやつが思い浮かんだけど国産だと難しそうだ
6
フローライト2nd @FluoRiteTWi 2022年9月9日
昭和のフィルム写真とかVHSの映像とかをこの手軽さと精度で高解像度化したい!!家族の思い出とかを本格的にリマスターする時期に来ているんだ
7
一条和城@C100お休み次はなんだろ @ichijou_kazuki 2022年9月9日
むしろWaifu2x-caffeが現役だったことに驚きを感じる
8
あねもね @anemos145 2022年9月9日
8_8pdr そもそも高画質版なんて(4Kが流行ってないのと同じで)一部のマニア向けだから今でさえ商売になってなさそう。たぶん因果が逆で、高画質版が欲しくて支援してるんじゃなく、支援してくれたお礼に(絵師視点での)粗品を渡してるだけ、みたいな。
10
spinion @spinion4 2022年9月9日
高画質版、と言うだけなら数年前でもwaifu2xで足りてる気はする。
0
ものさし @monosashiko 2022年9月9日
クリスタにもこんな機能あったな
0
順三朗 @junzabroP 2022年9月9日
ichijou_kazuki ずっとWaifu2x系でアップコンバートしてますが、もっと良いツールはありますか?
0
妊から運用 @tsuwari_pre 2022年9月9日
前にバズってた「対向車からコンクリブロック投げられた」というツィートでドラレコの荒い画像があったけど、ああいうのも高精細にできるんです?
0
くるっと @kurutto115 2022年9月9日
アニメ絵に特化した方が需要と素材と話題性があるの面白い
0
たろす @gh15336 2022年9月9日
sternneige 元より実写も含めた全般に使えるツールですよ。ただ今回のはアニメ特化のフィルタを使っているので、より効果が強く出ています。
6
或見 @alimicrow 2022年9月9日
8_8pdr むしろそれは「撲滅」でいいの?撲滅って淘汰の意味合いより能動的な滅却の意味だと思うんだけど…無償で低解像度(と言っても普通に見られる大きさ)のお試しを見て、良い絵だと思った人にペイするんじゃないの?自分の欲するものを作れる人の食い扶持無くして撲滅するという思考回路がよく分からない。
2
たろす @gh15336 2022年9月9日
tsuwari_pre 解像度は上げられるけど犯人に繋がるほどではない、ですかね。基本的に「AIがこの部分はこうだろうと予測して補完する」「時間方向の変化から補完する」がベースなので、前者はそれっぽいだけで知らないものは補完できないし、後者は十分なフレームレートが必要です。このツールよりは、コントラストや明度をいじるなど基本的な補正の方が効果が大きいと思います。
1
たろす @gh15336 2022年9月9日
waku2009 海外だと既に簡単に裸コラが作れるアプリが3年前に出回って問題になっていましたね。あくまで実写用でアニメ絵はわからんですが。あと国内でAVの顔を差し替えて逮捕された人もいたかな。
0
doipo @doipo 2022年9月9日
ストリーミングした低解像度の動画をクライアント側で高画質化できるくらいまでがんばってほしいなー。まだまだ厳しいとは思うが
0
クリスセドン @sedooooooon 2022年9月9日
野獣先輩がさらに鮮明に!?
2
UZIRO @UZIRO 2022年9月9日
AI学習型のアップスケーリング出力ってゲームだと任天堂とエヌビディアがずっと研究してるとか言われてる技術だっけ。
0
akkr @akkr333 2022年9月9日
8_8pdr あれってただの閲覧には不必要なレベルの高解像度なので、あくまで御布施のための名目だと思ってた。あと閲覧環境にじゃぶじゃぶお金かけられるような人用。あと他者の絵画で勝手なリビジョン版を作って、偽りの創作・承認欲求満たそうとする人は確かに出てきそうね。今でもそういうのいるらしいし。
1
星山 等(TA-ZZW30) @H_Hoshiyama 2022年9月9日
フレーム補間は許せねえギャワーつってた層は、こっちも拒否するんやろなあ
1
松江るとふ @MatzELTofu 2022年9月9日
バターを塗ってこするといいと聞きました。
2
nonomi @nonomi8 2022年9月9日
ボケてる線もくっきりしっかりしてしまうので、元の絵の雰囲気を損なう場合があります。
10
s-joker @s_joker8982 2022年9月9日
3つ試してみたが、Esrganをrealesrgan-x4plus-animeオプションをつけて動かすのが一番きれいだった。waifu2x-caffeはもう2年更新が止まってるソフトだしなあ。
2
2ch系まとめブログのデマ等まとめます。 @kinoko123456 2022年9月9日
拡大しないと違いがよくわからないものより拡大しなくても違いがわかる画像の方が良かったのでは?
1
s-joker @s_joker8982 2022年9月9日
ただ雰囲気としては元の絵を模写して書き直している感じに近いので、適当なデッサンで書かれた遠景のモブがさらに適当なデッサンのパチモンみたいになったよ。
0
koromon @yamadian 2022年9月9日
流用で赤がボケまくった5000兆円の画像とか食わせたらわかりやすいかもしれん
7
くるっと @kurutto115 2022年9月9日
ジャギってるのを綺麗にする用途で見せてるから好反応だけど、そのうち映像のフレーム補間とか音楽のアップサンプリングみたいにこれじゃない言われるような乱用が出てくるんだろうなぁ
0
電信柱 @hohouhouhou 2022年9月9日
見た感じwaifu系の補正みたい。ノイズ無しで画像を大きく出来るのは良いんだけど線が太るのと、それに伴って線の抜きが無くなるから絵が全体的にのっぺりするのがどうしても気になる。こういう処理は1.5倍くらいまでが一番綺麗に見えると思う
1
TOPNEP @nepnofan 2022年9月9日
ドラマでよくある防犯カメラの引き映像からズーム高画質化する技術が現実に、、
1
dope @dopecojp 2022年9月9日
ドラゴンボールZで比較見てみたい
0
たる @taruwo 2022年9月9日
noc_turn 元画像の状況的にぼかしたままが良いと思うんだけど、シャープになりすぎて逆にダメな気がする。この辺の強弱がつけられるのなら良いかも。
0
uki @netgameneet 2022年9月9日
noc_turn リンク見落としてました、ありがとうございます 中々すごいなこれは
0
カレーうどん @kareudon14 2022年9月9日
本領発揮するのはstable diffusionなどでローカル環境でAIイラスト生成する時。サイズが大きいと高スペックグラボ必須になるけど、小さいサイズなら割と低スペでもいける。その小さな画像をこれで高画質すれば君も人気絵師だ!
0
pekoe_tw @peckoe_tw 2022年9月9日
模様(柄)が消えてるじゃん…(2例目のガラス等)と思ったらそちら方面特化の補正であってるのか
0
pekoe_tw @peckoe_tw 2022年9月9日
テクスチャも飲ませたら補正除外とか消さないように補正とか覚えてくれるのかな。わくわく
0
ほほにく @chahude 2022年9月9日
ボケボケガビガビの写真もいけるの?
0
鈴木健一 @tjbjtjbj 2022年9月9日
日本の古いアニメを利用して金儲けをするつもりか?
0
ホルン @katsutarina0406 2022年9月9日
ガラケーの時の写メ()も綺麗になる?
0
はろさん @harosan_863 2022年9月9日
アプリだとwaifu2xの他にyome2xとかもあるけどやっぱ違うんかな
0
ゾーン🤪🦊 @zoon063 2022年9月10日
FluoRiteTWi https://twitter.com/koichil/status/1567821486525943809 細かいノイズは取れてますが大きめのは取れてないので古めのにはちょっと難しそうですね・・・
0
スズネ💉💉💉 @mattun_ 2022年9月10日
予測されてたとはいえ、すごい時代になったもんだ。
0
一条和城@C100お休み次はなんだろ @ichijou_kazuki 13日前
junzabroP Waifu2x自体というより、「フレームワークとしては古いCaffe」を使っているというところに新鮮な驚きがあったという感じです。てっきりTensorFlowまたはPyTorchベースで作成されたものに置き換わっているものとばかり
0