· CSV.ink Team

大 CSV 怎么拆成多个小文件

Excel 大约一百万行封顶,很多上传接口更早就拒绝。按行数切开、每个文件都带表头,通常就够用。

所谓「大」CSV,就是下一个工具拒收的那种。Excel 常见行数上限是 1,048,576。邮件网关和一些后台导入更早就扛不住。不一定要上数据库——很多时候拆成几个列结构相同的小文件就行。

按行数拆(最常用)

每个输出文件都留一行表头,再装 N 行数据。要给 Excel 用时,N 先试 5 万或 10 万;上传接口很挑的话,从 5,000~10,000 试起,能过再加大。

customers.csv
  → customers_01.csv (表头 + 第 1–1000 行)
  → customers_02.csv (表头 + 第 1001–2000 行)
  → …

序号补零(_01、_02),在文件夹里排序才不会乱。

按行数在线拆分 CSV →

别这样拆

  • 不要用文本编辑器在引号字段中间硬切断。字段里可以合法换行,盲切会把那一行裁坏。
  • 不要从第 2 个文件开始丢掉表头。多数导入工具每个文件都要列名。
  • 不要假设文件字节数和行数成正比——字段很宽时,体积涨得比行数快。

分片处理完之后

如果每个小文件各自清洗过,再用相同列并集合并回去。需要追溯来源时,可以加一列「来源文件名」。

合并 CSV →

什么时候不该靠拆分

要做全表筛选、汇总、关联,就进数据库或用数据处理库,而不是来回搬几十个文件。拆分解决的是传输和工具上限,不是分析本身。

Excel 的百万行墙

文件有 120 万行时,怎么「用 Excel 打开」都没用。拆成每个文件数据行少于 100 万(外加表头),或换不用 Excel 的工具。Power Query 和不少 BI 可以流式读更大的 CSV,但协作里仍常有人假定能用桌面 Excel 打开——按这个上限来规划更省事。

也要注意列数。特别宽的表(上百列)往往还没到行数上限就内存不够。这时除非流程允许按列分组拆,否则直接进数据库更合适。

相关工具

← 全部文章

更多文章