5千万文件的备份。总大小约10T,平均200K的小文件居多。
源件存储在MooseFS,摸索的工具有,

  • borg
    速度慢,能去重又怎样。。。

  • mongodb
    备份的备份,依赖多

  • restic
    揍是慢,不能忍。。。

  • duplicity
    比较慢,缺少定制化

压缩算法: gzip、bzip2、xz、zstd、lzop、lz4
最终方案,备份tar包(zstd压缩)。

工具 文件量 总大小 耗时 并发 压缩 速度(数量/分) 速度(大小/分) 压缩比
rsync 2.1M 217GB 4h17m8s - 8k 840M
tar 2.1M 217GB 4h13m 6 8k 850M
tar 2.1M 217GB 2h10m 16 zstd-3 16k 1.6G 8.6
tar 7.1 1.6T 7h20m 16 zstd-3 16k 36G 5.6
dar 392k 58GB 33m 16 lzop-3 12k 1.7G 3.8
tar 392k 58G 28m 16 zstd-3 14k 2G 10.7