5千万文件的备份。总大小约10T,平均200K的小文件居多。
源件存储在MooseFS,摸索的工具有,
-
borg
速度慢,能去重又怎样。。。 -
mongodb
备份的备份,依赖多 -
restic
揍是慢,不能忍。。。 -
duplicity
比较慢,缺少定制化
压缩算法: gzip、bzip2、xz、zstd、lzop、lz4
最终方案,备份tar包(zstd压缩)。
工具 | 文件量 | 总大小 | 耗时 | 并发 | 压缩 | 速度(数量/分) | 速度(大小/分) | 压缩比 |
---|---|---|---|---|---|---|---|---|
rsync | 2.1M | 217GB | 4h17m8s | - | 无 | 8k | 840M | |
tar | 2.1M | 217GB | 4h13m | 6 | 无 | 8k | 850M | |
tar | 2.1M | 217GB | 2h10m | 16 | zstd-3 | 16k | 1.6G | 8.6 |
tar | 7.1 | 1.6T | 7h20m | 16 | zstd-3 | 16k | 36G | 5.6 |
dar | 392k | 58GB | 33m | 16 | lzop-3 | 12k | 1.7G | 3.8 |
tar | 392k | 58G | 28m | 16 | zstd-3 | 14k | 2G | 10.7 |