tar 命令加速打包常用优化
举例:tar zcvf miniodata_data.tar.gz ./miniodata 能不能优化,加速打包,减少等待时间
miniodata目录将近360GB存储数据需要打包迁移,如果只是使用tar命令打包,压缩需要2.5小时左右。于是就有了以下加快压缩优化方案:
你可以通过以下方法来加速打包过程:
1. **调整压缩级别**:
将压缩级别设为较低值,以提高速度(默认是 6)。
tar -I 'gzip -1' -cvf miniodata_data.tar.gz ./miniodata
2. **使用 Pigz**:
使用多线程压缩工具 `pigz` 替代 gzip 可以显著加快压缩速度。
tar -I pigz -cvf miniodata_data.tar.gz ./miniodata
确保 `pigz` 已安装:使用命令 `sudo apt install pigz`(在 Debian/Ubuntu 上)。
3. **排除不必要的文件**:
如果有不需要的文件或目录,可以排除它们:
tar --exclude='./miniodata/exclude_dir' -I 'gzip -1' -cvf miniodata_data.tar.gz ./miniodata
4. **提高 I/O 性能**:
确保磁盘快速且没有其他密集型 I/O 操作。
尝试这些方法以找到最适合你环境的最佳组合。