10周年のSPコンテンツ!

ZIPで圧縮解凍すると音が変わるか?という話から…

宇都宮先生(僕はDrと呼んでいます)に、この話題について聞いてみました。 録音技術系の方は必見かもしれませんよ。 「さらにテーマがファイルの断片化からジッタと、OSが抱える本質的な問題に突入、さらにOS管理から逃れる方法の提示へと…」Dr.宇都宮 談 続きを読む
DTM 音楽 録音 録音技術
18
いしかわ ひさし @cQ_Q
@utsunomiaa_com 寒いですね。ところで、こんなのが飛び込んできたのだけれど⇒ ■ZIPで圧縮して解凍すると音が変わる togetter.com/li/758768  これどう思われます? データの圧縮解凍で音が変わる、、、変わるとも言えるし、変わらないとも。…どう?
宇都宮泰 @utsunomiaa_com
@cQ_Q ちょっと読んでみますね・・
宇都宮泰 @utsunomiaa_com
@cQ_Q 4番目のツイットで差分が出るという意味の内容があるので、劣化しているのでしょう。差分が出る(バイナリ・レベルで相違がある)ということは、そのZIP圧縮ツールはぶっ壊れている可能性大ですね。
宇都宮泰 @utsunomiaa_com
@cQ_Q 一度ZIPに圧縮し、アップローダー経由で回収し、解凍して差分を抽出してみましたが、ご覧の通り。ツールが政情なら差分は出ません。 問題は差分が出ない場合の音の劣化の有無ですが・・・ pic.twitter.com/ysb7g7B0ac
拡大
宇都宮泰 @utsunomiaa_com
@cQ_Q 解凍の仮定でOSがフラグメンテーション(断片化)を頻繁に行ったりしていると、再生過程で音品質劣化が起こる可能性があります。この断片化の問題、賛否両論ありますが、私は劣化の要因の一つ(ジッタやロックアウトの原因)と考えています(再現可)。
宇都宮泰 @utsunomiaa_com
@cQ_Q しかしこの問題は、断片化が少ないドライブへファイルをコピーすることで回復できます。
宇都宮泰 @utsunomiaa_com
@cQ_Q まとめますね・・ 劣化の要因には、 ●バイナリレベルでの劣化⇒もっとマシなZIPツールを使う。 ●断片化によるジッタやロックアウト劣化⇒解凍後にコピーを作成する。
宇都宮泰 @utsunomiaa_com
@cQ_Q 読み返してみると、ウヒャーの誤字だらけ・・ ダメだこりゃ、、
次にDr.宇都宮の「非断片化オーディオ」高品位実験(実用)連ツイがはじまるのだ!
宇都宮泰 @utsunomiaa_com
2B22h 昨日石川氏@cQ_Q とのやりとり ところで、こんなのが飛び込んできたのだけれど⇒ ■ZIPで圧縮して解凍すると音が変わる togetter.com/li/758768    どう思うか・・のような。 で、私はバイナリーレベルでのデータ同一性、断片化によるジッタ等指摘
宇都宮泰 @utsunomiaa_com
2B23h 理論上は十分なバッファがあり、データ列の整列化が正常なら、断片化の有無は出音に影響しないはず。 ところが実際には、同じHDDとリソースを使用しても、有意な出音差が生じ、また信頼性(データリカバリーなどを含む)についても桁違いの差がある。しかしこれを享受できないのでは
宇都宮泰 @utsunomiaa_com
2B24h いくら力説しても何の説得力も無いので、この「非断片化オーディオ」をわずかな努力で実験(実用も)する方法を連ツイしてみたい。
宇都宮泰 @utsunomiaa_com
2B25h 用意するもの: 1) USB2.0 I/Oを備えたPC環境。 2) 非断片化専用に使用する外付けHDD(USB等接続)。 3) HD24tools(ソフト)
宇都宮泰 @utsunomiaa_com
2B26h 接続などにややコツがあったりするのですが、参考資料として nihon-onkyo.co.jp/report/HD24too…
宇都宮泰 @utsunomiaa_com
2B27h HD24toolsはここから: ringbreak.dnd.utwente.nl/~mrjb/hd24tool… 現在は全てのOSに対応しているようですが、私はWindows版しか確認していません。
宇都宮泰 @utsunomiaa_com
2B28h 解説: 1) できれば専用のハードに専用のOS(それを実現したものがHD24のFST(File Streaming Technology)。断片化そのものは汎用PCのOSの根幹の仕事であり、通常は禁止できません。 で、専用のHDDをFSTフォーマットし非断片化使用。
宇都宮泰 @utsunomiaa_com
2B29h 2) そのため専用にHDDが必要なのですが、通常のOSが起動できないくらい劣化したドライブでも、非断片化なら使用できます。つまり高信頼。不良セクターボコボコでも大丈夫! とにかく専用にHDDを用意してください。FSTでフォーマットするため、過去データは全て消失します
宇都宮泰 @utsunomiaa_com
2B2Ah 参考資料写真の2枚目にあるような、仮設のI/Fでも十分に動作しますし、フラッシュメモリーも使用可能なのですが、ソフト上のアクセスタイミングがHDDに最適化されているため、できるだけHDDを。
宇都宮泰 @utsunomiaa_com
2B2Bh 専用に用意したHDDをFSTで非断片化フォーマットすると、通常のOSからはアクセスできなくなります(当たり前ですが)。もしこのHDDをFSTで使用しなくなった場合は、通常のOSでフォーマットすることで、普通に断片化として使えるようになりますのでご安心を。
宇都宮泰 @utsunomiaa_com
2B2Dh 現在のPCの快適操作は記録の断片化によってもたらされたもの。例えば: UNDO/REDO、記録後、後からのフォーマット変更やサイズ変更、限られたHDD容量の効率的な利用・・・非断片化ではこれらがある程度制限されますが、桁違いのデータ連続性、ヘッドシークの余裕度⇒
宇都宮泰 @utsunomiaa_com
2B2Eh バッファーの最小化、データクラッシュ時のリカバリー性(信頼性)、なにより、、出音の正常性(ここが今回の論点)が得られます。 非常に不便なように感じるかもしれませんが、ファイル作成時に先書きでファイルサイズを指定しておき、そこを物理上書きする形で録音したり⇒
宇都宮泰 @utsunomiaa_com
2B2Fh (この方法は最高の信頼性を得たい場合に使用・・・録音中に全電源喪失しても録音データは完全に保全される・・テープに等しい)、もちろんそのファイルサイズを越える時間録音したら、自動延長される程度の利便性はあります。 まったく断片化しないわけではなく、最小限制限がFST仕様
宇都宮泰 @utsunomiaa_com
2B30h 参考資料を参照いただきたいのですが、PCにFSTドライブを認識させるのに少しコツが必要です(接続手順とタイミング)。
宇都宮泰 @utsunomiaa_com
2B31h 接続が出来たら、HD24toolsでHDDをFSTフォーマットします。 フォーマットするHDDが正しいか、十分に確認してください。 フォーマットにはQuickとLongがあり、QuickFormatは瞬時に、LongFormatはHDD容量に比例し時間がかかります。
宇都宮泰 @utsunomiaa_com
2B32h LongFormatをすると、そのHDDを論理レベルでセクター単位で正常性を評価、不良セクターはそのHDDの専用の領域に全て登録され、録音には使用されなくなります。 QuickではそのドライブのFATを占拠するのみで不良セクターの登録は行われません。
残りを読む(80)

コメント

宇都宮泰 @utsunomiaa_com 2014年12月19日
誤字脱字、申し訳ありません。
宇都宮泰 @utsunomiaa_com 2014年12月19日
通常のPCのOSでフォーマットされたHDDでも、フォーマット直後の更地状態ではほとんど断片化しません。 バイナリーレベルでの差分とは全く次元の違う話なので、先ずは差分から検証願います。
宇都宮泰 @utsunomiaa_com 2014年12月19日
出音は再生に使用するソフトで相当に違いがあります。DAWは往々にしてジッタが多い傾向がある。 私が推奨するAudacityも処理系は完璧(だが使い勝手は熟練が)だが、出音は今ひとつよくない。SPDIF出力し別の実機にデータストリーム転送しようとすると、受け側がロックアウトすることも珍しくない(ジッタが多いということ)。
いしかわ ひさし @cQ_Q 2014年12月20日
まとめを更新しました。
3mのちくわ(20禁) @tikuwa_zero 2014年12月20日
結論。元データはネットを通そうが可逆圧縮を繰り返そうが(元ファイルが壊れた、あるいはコピー先のHDDが死んでて正常にコピーできなかったor正常に圧縮解凍できなかったワケでもない限り)変質しない。
mnianzinno @mnianzinno 2014年12月20日
そもそも圧縮ファイルが変質したら解凍できない訳ですが。
ゴイスー @goisup 2014年12月20日
word clockの精度ってDAWに依るの??? フェーダー動かさないで再生するのに各DAWでそんなに差があるんかねぇ… なんか、色々とアレですなぁ
宇都宮泰 @utsunomiaa_com 2014年12月20日
PC_DAW でのWord Clockの精度、長時間的に見ると100ppm以内には入りますが、極短時間的にはその数倍以上になるものが多い。また同じソフトでも動作環境がXPと7では明らかに7の方が小さく、さらにwinよりも最適化したLynuxの方が小さいです。 オーディオでWCLKが100ppmより悪いCDプレーヤは滅多にありません。
宇都宮泰 @utsunomiaa_com 2014年12月20日
ZIP件、ZIP圧縮したファイルをバイナリエディタで、1バイトのみ数値を1改変し、解凍してみた。⇒この改変はエラーとして検出され警告が出る。 つまりZIP状態で変質があれば使用者はそれを把握できることに。 https://pbs.twimg.com/media/B5Q_kIrCYAE7khe.png
宇都宮泰 @utsunomiaa_com 2014年12月20日
この結果から、WAVをそのまま送るよりZIP圧縮した方が変質を把握できる分お得ということになる。WAVそのままの場合、変質していてもわからない。実際に24bitWAVデータで1byteのみ欠落したデータを受け取ったことがある。
ナスカ-U-KWS-197(C97 (日) オ16a) @Chiether 2014年12月20日
@utsunomiaa_com まあ可逆圧縮で復号という処理の性質上。復号可能かどうかの検証が必要になりますからね。 ところで現状の私の認識ですと。ZIPがどうこうじゃなくてファイル断片化(復号結果出力先がたまたま酷いことになる)という話だと思いますが。 以下2点について、ちょっと気になったので意見伺いたいです。
ナスカ-U-KWS-197(C97 (日) オ16a) @Chiether 2014年12月20日
utsunomiaa_com 1点目は、HDDに出力するのではなくて、RAMディスクへ吐き出す方式にしたら心配毎が減るのではないか。 2点目は通常であれば断片化していても一度メモリ上に取り込まれて、先読み的な処理が行われているので断片化が影響するような状況というのが考えにくいということです。(ストリームの場合は、もう少し複雑になりますが) どちらもオンメモリ処理それば?という観点で気になったものです。
ぼんじゅ〜る・Fカップ @France_syoin 2014年12月20日
聞く人間の時間による体調変化の方が影響が大きそうだなw
Tsuyoshi CHO @tsuyoshi_cho 2014年12月20日
最後段での評価が波形での評価か耳かで信頼できるかどうかが違いそうだな。断片化=>差が、ってもそれ耳だとアテにならんし。
tarosuke @tarosukenet 2014年12月20日
Chiether データの変化は論外ですし、バッファアンダーフローは音質どころじゃない変化になるので今回の話にはならんでしょう。音質云々なら解凍に伴う負荷変動による電源の揺れが最大の要因でしょうから、音周りを別電源のDACアンプかなんかに分離すれば解決です。お手軽にやるならUSBDACを画面のUSB端子に下げるとかHDMIオーディオを使うとかでおk。
宇都宮泰 @utsunomiaa_com 2014年12月21日
もちろん体調が及ぼす影響はそれなりにありますが、耳の能力侮れない。CD黎明期においてジッタが音品位に影響することを発見したのも耳。数値や解析は裏づけに過ぎない。簡単なのでぜひ非断片化をお試しあれ。
宇都宮泰 @utsunomiaa_com 2014年12月21日
@luckyland様>RT 断片化されていたとしてもだいたい再生時にはバッファリングされるし、読み込みが再生に追いつかなくなっても音の変化ではなく「再生の途切れ」として現れるのではないか・・・ 確かにそのはずなのですが、実際にまとめ内容のような非断片化と一対比較すると明示的な差が生じます。また、2000年頃までのPCオーディオでは途切れは激しかったですね。
宇都宮泰 @utsunomiaa_com 2014年12月21日
いくつかのソフト開発にも関わっていますが、よく知られた優秀なプレーヤーソフト、バッファーは単独のものは少なく、ほとんどの場合2重以上のバッファー構造。1重ではバッファ容量を大きくしても遅れが増大するだけで、途切れさえ完全には抑制できない。またゆらぎも容易には取れないということ。
いしかわ ひさし @cQ_Q 2014年12月21日
まとめを更新しました。
宇都宮泰 @utsunomiaa_com 2014年12月21日
実は・・・もう少し噛み砕いて言えば、昔はともかく、断片化そのものが問題というより、断片化に備えるソフトとハードが音の劣化につながっているように感じます。 このまとめでは、現象の提示⇒検証方法、の流れなのですが、これでジッタを定性的観察すると、実際に断片化された量に比例したジッタ結果は得られず、断片化に対応したシステム固有のゆらぎが見られる。
宇都宮泰 @utsunomiaa_com 2014年12月21日
例示した非断片化のシステムではセクタージャンプなどの不連続に対応するバッファ部分は最小で、しかも1重(多くのPC上の再生ソフトは、2重以上のバッファ構造を持っています)。 つまり断片化に備えたルーチンそのものが問題ということになります・・。
宇都宮泰 @utsunomiaa_com 2014年12月23日
一つ前の発言、ちょっとニュアンス訂正。「実際に断片化された量に比例したジッタ・・」比例しないだけで増大し、最後にはロックアウト(途切れたり、プチッノイズ)。
なちゃ @nachakey 2015年1月19日
普通ファイルの書き出しです一般的に発生しうる断片化なんてしれてるし、断片化なくても物理的には回転待ちながらの間欠リードになるし、断片化原因で音に明確に影響出るってどんだけ凄まじい断片化状態なんだろうとか、いろいろ疑問がある。
ログインして広告を非表示にする
ログインして広告を非表示にする