通常包含数万甚至数十万个小文件)确实是一个挑战。直接传输(如 scp -r)会因为文件数量巨大导致极其缓慢,而普通的 zip 压缩通常是单线程的,面对 40GB 的数据,CPU 利用率低,等待时间极长。
针对你的痛点,以下是几种比 zip 更快、更高效的方案,按推荐程度排序:
方案一:多线程压缩 (Pigz) —— 速度最快
推荐理由: zip 慢是因为它只用一个 CPU 核心。pigz (Parallel Gzip) 可以利用服务器的所有 CPU 核心进行并行压缩,速度通常是 zip 或普通 tar+gzip 的 10 倍以上。
在服务器上安装 pigz (如果没有的话):
代码语言:Bash
AI代码解释
# Ubuntu/Debian sudo apt-get install pigz