Borg backup
Ищем альтернативу бекапам на основе tar + pigz и вот сейчас тестируем borg. У него отличная документация (хотя пока осталась пара вопросов), вот тестовый аккаунт клиента на 50 гигабайт — делаем бекап, в exclude — всевозможные кеши битрикса и подобный ненужный треш.
Выглядит как бы и неплохо, но — тут бекап делается на локальный ссд, в продакшене у нас делается tar + pigz на sshfs в другом датацентре в другой стране через гигабит и там архив занимает 17.3 гигабайта, причем последний раз он сделался за 10 минут. Пока подозреваю, что дело в том, что у pigz 12 потоков (в сервере 48 ядер).
Далее прекрасное — ждем час и делаем еще один бекап.
UPD: Многократные тесты в продакшене подтвердили — при копировании на удалённый сервер первый снапшот боргом происходит вдвое медленнее (20 минут borg с remote borg serve против 10 минут у tar+pigz в 12 потоков и sshfs), зато любой следующий снапшот занимает в пределах двух минут и пары мегабайт диска. Это фантастически хорошо по возможностям, которые оно даст и по количеству денег, которым нам сэкономит.
time borg create --compression lz4 -v --stats \
--exclude-from=exclude.cache \
/test.ssd/borg-test::b01 \
/vz5/private/$ve/home/$test_user/
------------------------------------------------------------------------------
Archive name: b01
Archive fingerprint: 054749329aa1393c4fdb9248c32e42d56b866fcc9b6c16c60433232445cecaaa
Time (start): Mon, 2017-03-06 01:50:16
Time (end): Mon, 2017-03-06 02:10:41
Duration: 20 minutes 25.22 seconds
Number of files: 437908
------------------------------------------------------------------------------
Original size Compressed size Deduplicated size
This archive: 21.13 GB 18.73 GB 14.49 GB
All archives: 21.13 GB 18.73 GB 14.49 GB
Unique chunks Total chunks
Chunk index: 273104 432909
------------------------------------------------------------------------------
real 20m28.493s
user 8m15.197s
sys 1m21.897s
Выглядит как бы и неплохо, но — тут бекап делается на локальный ссд, в продакшене у нас делается tar + pigz на sshfs в другом датацентре в другой стране через гигабит и там архив занимает 17.3 гигабайта, причем последний раз он сделался за 10 минут. Пока подозреваю, что дело в том, что у pigz 12 потоков (в сервере 48 ядер).
Далее прекрасное — ждем час и делаем еще один бекап.
Duration: 2 minutes 17.95 seconds
Number of files: 437909
------------------------------------------------------------------------------
Original size Compressed size Deduplicated size
This archive: 21.13 GB 18.73 GB 36.52 MB
All archives: 42.25 GB 37.47 GB 14.52 GB
Unique chunks Total chunks
Chunk index: 273934 865774
------------------------------------------------------------------------------
real 2m21.642s
user 1m39.310s
sys 0m17.626s
UPD: Многократные тесты в продакшене подтвердили — при копировании на удалённый сервер первый снапшот боргом происходит вдвое медленнее (20 минут borg с remote borg serve против 10 минут у tar+pigz в 12 потоков и sshfs), зато любой следующий снапшот занимает в пределах двух минут и пары мегабайт диска. Это фантастически хорошо по возможностям, которые оно даст и по количеству денег, которым нам сэкономит.