Borg backup

Понедельник, 6 марта, 2:44
Ищем альтернативу бекапам на основе tar + pigz и вот сейчас тестируем borg. У него отличная документация (хотя пока осталась пара вопросов), вот тестовый аккаунт клиента на 50 гигабайт — делаем бекап, в exclude — всевозможные кеши битрикса и подобный ненужный треш.

time borg create --compression lz4 -v --stats \
        --exclude-from=exclude.cache \
        /test.ssd/borg-test::b01 \
        /vz5/private/$ve/home/$test_user/

------------------------------------------------------------------------------
Archive name: b01
Archive fingerprint: 054749329aa1393c4fdb9248c32e42d56b866fcc9b6c16c60433232445cecaaa
Time (start): Mon, 2017-03-06 01:50:16
Time (end):   Mon, 2017-03-06 02:10:41
Duration: 20 minutes 25.22 seconds
Number of files: 437908
------------------------------------------------------------------------------
                       Original size      Compressed size    Deduplicated size
This archive:               21.13 GB             18.73 GB             14.49 GB
All archives:               21.13 GB             18.73 GB             14.49 GB

                       Unique chunks         Total chunks
Chunk index:                  273104               432909
------------------------------------------------------------------------------

real	20m28.493s
user	8m15.197s
sys	1m21.897s


Выглядит как бы и неплохо, но — тут бекап делается на локальный ссд, в продакшене у нас делается tar + pigz на sshfs в другом датацентре в другой стране через гигабит и там архив занимает 17.3 гигабайта, причем последний раз он сделался за 10 минут. Пока подозреваю, что дело в том, что у pigz 12 потоков (в сервере 48 ядер).

Далее прекрасное — ждем час и делаем еще один бекап.

Duration: 2 minutes 17.95 seconds
Number of files: 437909
------------------------------------------------------------------------------
                       Original size      Compressed size    Deduplicated size
This archive:               21.13 GB             18.73 GB             36.52 MB
All archives:               42.25 GB             37.47 GB             14.52 GB

                       Unique chunks         Total chunks
Chunk index:                  273934               865774
------------------------------------------------------------------------------

real	2m21.642s
user	1m39.310s
sys	0m17.626s



UPD: Многократные тесты в продакшене подтвердили — при копировании на удалённый сервер первый снапшот боргом происходит вдвое медленнее (20 минут borg с remote borg serve против 10 минут у tar+pigz в 12 потоков и sshfs), зато любой следующий снапшот занимает в пределах двух минут и пары мегабайт диска. Это фантастически хорошо по возможностям, которые оно даст и по количеству денег, которым нам сэкономит.