圧縮ファイルの展開速度を最大1万倍高速化する新しいデータ構造「ギャップ配列」の考案 (広島大・富士通)

広島大学の中野浩嗣教授らの研究チームは、富士通研究所と共同で、 GPUによるハフマン符号の並列展開処理を高速化する新しいデータ構造「ギャップ配列」を考案しました。NVIDIAのTesla V100 GPUを用いて実験した結果、従来の最速展開プログラムに比べ、2.5倍から11000倍の高速化が達成できました。
55
よっふぃ〜 @yottui

@umezawa_takeshi コア数で並列させるのがミソですけど、1コアでもレジスタでパイプライン組みやすくなるのかなと思っています。

2020-09-03 18:31:27
こ~りん @kourin

@koizuka @umezawa_takeshi jnamaral.github.io/icpp20/slides/… 普通のデータならせいぜい10倍程度。やたら時間のかかるデータなら、最大10000倍早くなる、と。

2020-09-03 15:29:41
KOIZUKA Akihiko @koizuka

@kourin @umezawa_takeshi Gap array をGPUで処理するのがポイントなのか

2020-09-03 15:34:01
順三朗 @junzabroP

@umezawa_takeshi @kourin 要するにpack単位で全体のストリームを分割した上で、pack単位で並列ハフマン復号するためのテクニックということですね。

2020-09-03 14:58:25

プレゼン資料
https://jnamaral.github.io/icpp20/slides/Yamamoto_Huffman.pdf
の9ページ目に速度の比較がありますが、普通のファイルだと、2.5-6倍高速化。従来法だと普通のファイルの10万倍ぐらい時間がかかる複雑で展開しにくいファイルの場合で1万1千倍の高速化、とのことです。

梅澤威志さん(動画圧縮コーデック Ut Video作者)のコメント

梅澤威志/ゆーむ @umezawa_takeshi

記事は読んだけど、これだけだと何の新規性も感じられないなぁ…論文読まないと詳しくは分からんけどこういうのって有料だよねぇ…(金払うモチベーションすら無し | みてる: 圧縮ファイルの展開速度を最大1万倍超高速化するデータ構造を広島大が考案 | マイナビニュース » news.mynavi.jp/article/202009…

2020-09-03 14:49:14
梅澤威志/ゆーむ @umezawa_takeshi

プレゼン資料(PDF) jnamaral.github.io/icpp20/slides/… を教えてもらったので読んでみたが、Our contribution (p4) の左側に書いてある内容はいやそれ当たり前やんという感じであった。CPUでこれをやるのはとっくに提案されているが、GPUでこれをやる点に新規性があるとかだろうか…? (続く

2020-09-03 22:16:27
梅澤威志/ゆーむ @umezawa_takeshi

右側に書いてある内容は、ふむという感じ。デコードテーブルを小さくする点についてはHuffYUVでもUtVideoでも工夫していたが、書いてある構成で書いてあるサイズに納められてはいなかったので、どうやったのかは若干の興味がある。(続く

2020-09-03 22:16:28
梅澤威志/ゆーむ @umezawa_takeshi

んでUtVideoでこれが使えるかどうかだけど、別にそんなことしなくても全体をコア数で分割して並列処理したらコア数倍速くなるという自明な高速化を昔から適用できているので、無関係でした。

2020-09-03 22:16:28
梅澤威志/ゆーむ @umezawa_takeshi

あとGPUに投げるには処理が軽すぎるので、CPUメモリとGPUメモリの間で転送してGPUで処理するよりCPUで全部処理したほうが速い…

2020-09-03 22:19:03