5千万文件的备份。总大小约10T,平均200K的小文件居多。
源件存储在MooseFS,摸索的工具有,
- 
borg 
 速度慢,能去重又怎样。。。
- 
mongodb 
 备份的备份,依赖多
- 
restic 
 揍是慢,不能忍。。。
- 
duplicity 
 比较慢,缺少定制化
压缩算法: gzip、bzip2、xz、zstd、lzop、lz4
最终方案,备份tar包(zstd压缩)。
| 工具 | 文件量 | 总大小 | 耗时 | 并发 | 压缩 | 速度(数量/分) | 速度(大小/分) | 压缩比 | 
|---|---|---|---|---|---|---|---|---|
| rsync | 2.1M | 217GB | 4h17m8s | - | 无 | 8k | 840M | |
| tar | 2.1M | 217GB | 4h13m | 6 | 无 | 8k | 850M | |
| tar | 2.1M | 217GB | 2h10m | 16 | zstd-3 | 16k | 1.6G | 8.6 | 
| tar | 7.1 | 1.6T | 7h20m | 16 | zstd-3 | 16k | 36G | 5.6 | 
| dar | 392k | 58GB | 33m | 16 | lzop-3 | 12k | 1.7G | 3.8 | 
| tar | 392k | 58G | 28m | 16 | zstd-3 | 14k | 2G | 10.7 |