PostgreSQL 官网 11 月 17 日收录了 pg_fastload 1.0.0,一个并行批量加载工具,通过多 worker 和最小化 WAL 日志显著加快大批量初始导入。
它优化的是什么 大规模数据导入的瓶颈通常不在磁盘写入速度,而在三处:WAL 日志生成、索引维护、单进程串行解析。pg_fastload 针对这三点:多 worker 并行处理分片、尽量减少 WAL 生成、把索引构建推到数据落盘之后批量做。
什么时候用得上 数据仓库初始化、从别的库整库迁移、历史数据回填、测试环境造数。这类场景的共同点是「一次性导入大量数据、期间不要求可查询」。日常增量写入用不上它,那条路 COPY 加合理的批次已经够。
要注意的风险 最小化 WAL 意味着崩溃恢复能力下降。如果导入中途失败,可能整批重来,甚至需要从备份恢复。所以它适合「能重跑」的场景,不适合「只能成功一次」的场景。另外导入完成后记得做 ANALYZE,否则查询计划会因为统计信息缺失而严重跑偏——这个坑比导入慢更常见。
和 COPY 的关系 不是替代,是补充。单表百万级以下,COPY 就够,别引入额外工具。上千万行、多表并行、有严格时间窗口的迁移,才值得上这类工具。
一个实践建议 先在预发环境用真实数据量跑一遍,记录每个阶段的耗时分布。很多团队以为瓶颈在写入,实测发现卡在索引重建或者外键校验上,优化方向完全不同。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。