2022-02-09 雑談 CSVミッドナイト湾岸解析伝説

Excel VBA Diary (OneDrive問題に挑戦中) @excelvba_diary

テキストファイルを行単位で配列に格納するときの高速コード。20万行で約10秒。 Dim fso As New FileSystemObject Dim tso As TextStream Dim csvLines() As String Set tso = fso.OpenTextFile(FilePath, ForReading) csvLines = Split(Replace(tso.ReadAll, vbCrLf, vbLf), vbLf) tso.Close

Excel VBA Diary (OneDrive問題に挑戦中) @excelvba_diary

実はCSVファイルを行単位で配列に読み込むコード。各フィールドに改行コードが無いという前提ならこれでいける。

ちゅん🐤 @KotorinChunChun

先日、諸事情により即興で書いたCSV読み込み関数 標準的な形式にしか対応してませんが、だからこそ高速なはず。誰か戦わせてみませんか（笑 pic.twitter.com/sFGZoB2TBG

拡大

ちゅん🐤 @KotorinChunChun

以下の２箇所は、配列は1ベースしか許さないぜ。っていう私の強いこだわりによるハンデですｗｗｗ ＞arr = Split(txt, ssRecordDelimiter) ＞ReDim Preserve arr(1 To UBound(arr) + 1) ＞rec = Split(arr(rr), ssFieldDelimiter) ＞ReDim Preserve rec(1 To UBound(rec) + 1)

ちゅん🐤 @KotorinChunChun

即興で書いたCSV読み込み関数 gist.github.com/KotorinChunChu…

御子柴きゅう @mikoshiba_kyu

@KotorinChunChun QueryTable派。…ん？シートにじゃなくて二次元配列に…？ pic.twitter.com/iRrrKCkRUs

拡大

ちゅん🐤 @KotorinChunChun

@mikoshiba_kyu やり方はなんでもいいｗ ただ、QueryTableは、自分の知らないところで制御文字とか書式が変わってしまいそうで、文字列を正確に保持したい時は避ける傾向にありますね・・・

御子柴きゅう @mikoshiba_kyu

@KotorinChunChun なるほど、完璧なパーサーとして1からハンドメイドってことすかw

lapin @Lapin_the_First

@KotorinChunChun Line Input使うより早いですか？

Excel VBA Diary (OneDrive問題に挑戦中) @excelvba_diary

@KotorinChunChun ReadallとSplit、条件を限定すればこれが高速ですよね。基本的に私もこれを使っています。そうじゃないCSVにはRFC準拠の正規表現で対応しています。

ちゅん🐤 @KotorinChunChun

@Lapin_the_First 1行づつ読み込む仕組みは、どんなに頑張っても絶対に遅いです。ストレージにランダムアクセスの負荷を与えることになるので。

ちゅん🐤 @KotorinChunChun

@excelvba_diary ですよね～。自分のVBAから出力したCSVなら形式が安定しているので、このコードで十分なんですよね。

ほえほえ＠スプシマン @hoehoe1234

@KotorinChunChun @excelvba_diary utf-8が使えないという悲しみ。どうにかしてほしい・・・。

baoo_dev @BaooDev

@KotorinChunChun @Lapin_the_First Line InputよりはBinary読み込み+StrConv使うでしょうね。 確か、FSO使うよりこっちの方が速かったと思います。