tar 命令加速打包常用优化

举例:tar zcvf miniodata_data.tar.gz ./miniodata 能不能优化,加速打包,减少等待时间

miniodata目录将近360GB存储数据需要打包迁移,如果只是使用tar命令打包,压缩需要2.5小时左右。于是就有了以下加快压缩优化方案:

你可以通过以下方法来加速打包过程:

1. **调整压缩级别**:

将压缩级别设为较低值,以提高速度(默认是 6)。

tar -I 'gzip -1' -cvf miniodata_data.tar.gz ./miniodata

2. **使用 Pigz**:

使用多线程压缩工具 `pigz` 替代 gzip 可以显著加快压缩速度。

tar -I pigz -cvf miniodata_data.tar.gz ./miniodata

确保 `pigz` 已安装:使用命令 `sudo apt install pigz`(在 Debian/Ubuntu 上)。

3. **排除不必要的文件**:

如果有不需要的文件或目录,可以排除它们:

tar --exclude='./miniodata/exclude_dir' -I 'gzip -1' -cvf miniodata_data.tar.gz ./miniodata

4. **提高 I/O 性能**:

确保磁盘快速且没有其他密集型 I/O 操作。

尝试这些方法以找到最适合你环境的最佳组合。

版权声明:
作者:WaterBear
链接:https://l-t.top/2888.html
来源:雷霆运维
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>