· CSV.ink Team
大 CSV 怎麼拆成多個小檔案
Excel 大約一百萬列封頂,很多上傳介面更早就拒絕。按列數切開、每個檔案都帶表頭,通常就夠用。
所謂「大」CSV,就是下一個工具拒收的那種。Excel 常見列數上限是 1,048,576。郵件閘道器和一些後臺匯入更早就扛不住。不一定要上資料庫——很多時候拆成幾個欄結構相同的小檔案就列。
按列數拆(最常用)
每個輸出檔案都留一列表頭,再裝 N 列資料。要給 Excel 用時,N 先試 5 萬或 10 萬;上傳介面很挑的話,從 5,000~10,000 試起,能過再加大。
customers.csv → customers_01.csv (表頭 + 第 1–1000 列) → customers_02.csv (表頭 + 第 1001–2000 列) → …
序號補零(_01、_02),在資料夾裡排序才不會亂。
別這樣拆
- 不要用文字編輯器在引號欄位中間硬切斷。欄位裡可以合法換行,盲切會把那一列裁壞。
- 不要從第 2 個檔案開始丟掉表頭。多數匯入工具每個檔案都要欄名。
- 不要假設檔案位元組數和列數成正比——欄位很寬時,體積漲得比列數快。
分片處理完之後
如果每個小檔案各自清洗過,再用相同欄並集合並回去。需要追溯來源時,可以加一欄「來原始檔名」。
什麼時候不該靠拆分
要做全表篩選、彙總、關聯,就進資料庫或用資料處理庫,而不是來回搬幾十個檔案。拆分解決的是傳輸和工具上限,不是分析本身。
Excel 的百萬列牆
檔案有 120 萬列時,怎麼「用 Excel 開啟」都沒用。拆成每個檔案資料列少於 100 萬(外加表頭),或換不用 Excel 的工具。Power Query 和不少 BI 可以流式讀更大的 CSV,但協作裡仍常有人假定能用桌面 Excel 開啟——按這個上限來規劃更省事。
也要注意欄數。特別寬的表(上百欄)往往還沒到列數上限就記憶體不夠。這時除非流程允許按欄分組拆,否則直接進資料庫更合適。