· CSV.ink Team
大 CSV 怎么拆成多个小文件
Excel 大约一百万行封顶,很多上传接口更早就拒绝。按行数切开、每个文件都带表头,通常就够用。
所谓「大」CSV,就是下一个工具拒收的那种。Excel 常见行数上限是 1,048,576。邮件网关和一些后台导入更早就扛不住。不一定要上数据库——很多时候拆成几个列结构相同的小文件就行。
按行数拆(最常用)
每个输出文件都留一行表头,再装 N 行数据。要给 Excel 用时,N 先试 5 万或 10 万;上传接口很挑的话,从 5,000~10,000 试起,能过再加大。
customers.csv → customers_01.csv (表头 + 第 1–1000 行) → customers_02.csv (表头 + 第 1001–2000 行) → …
序号补零(_01、_02),在文件夹里排序才不会乱。
别这样拆
- 不要用文本编辑器在引号字段中间硬切断。字段里可以合法换行,盲切会把那一行裁坏。
- 不要从第 2 个文件开始丢掉表头。多数导入工具每个文件都要列名。
- 不要假设文件字节数和行数成正比——字段很宽时,体积涨得比行数快。
分片处理完之后
如果每个小文件各自清洗过,再用相同列并集合并回去。需要追溯来源时,可以加一列「来源文件名」。
什么时候不该靠拆分
要做全表筛选、汇总、关联,就进数据库或用数据处理库,而不是来回搬几十个文件。拆分解决的是传输和工具上限,不是分析本身。
Excel 的百万行墙
文件有 120 万行时,怎么「用 Excel 打开」都没用。拆成每个文件数据行少于 100 万(外加表头),或换不用 Excel 的工具。Power Query 和不少 BI 可以流式读更大的 CSV,但协作里仍常有人假定能用桌面 Excel 打开——按这个上限来规划更省事。
也要注意列数。特别宽的表(上百列)往往还没到行数上限就内存不够。这时除非流程允许按列分组拆,否则直接进数据库更合适。