Как прострелить себе ногу на пустом месте и публично этим похвас
(Кстати, я никогда не понимал как в Setup.ru люди на пустом месте проблемы находили, но да ладно)
Итак, как видится мне, с позиции неплохого, мне кажется, фундаметального образования, здравого смысла и некоторого опыта:
Люди многократно, не менее случая на абзац текста, сделали предсказуемо неправильно. Люди получили проблем. Люди стали решать проблемы неправильно. Весьма крутые при этом специалисты. Которые, вроде бы, должны знать основы и вокруг, и вообще пользоваться базовыми инструментами.
Отдельно:
"На данный момент в хранилище Setup лежат 450 млн. файлов" — ну то есть как несколько наших небольших серверов под хостинг.
Проблемы околомгновенного получения дерева на самом деле нет. Обойти при этом файлы по списку — да, есть. Но нет необходимости это делать для решения задачи. Не знать, как это сделать — ну, странно и для такого уровня людей — неожиданно.
Партишининг видимо изобрели инопланетяне и земплянам пользоваться им ни к чему (минус большая часть проблем, кстати, была бы).
Не уметь пользоваться rsync — странно. Рассказать об этом публично — эпикфейл.
Первый попавшийся под руку наш сервер с битрикс сайтами — 20М файлов и более 20М обновлений в сутки. Там что-то около нулевой нагрузки, между прочим.
Но за напоминание про существование Aerospike — спасибо.
И, еще раз, у них 600 запросов в секунду и при этом есть проблемы. КАК?????
upd: но, всё таки, замечательно написанная история опыта, если вы разработчик — обязательно прочитайте, многие решения интересны и неожиданны, хотя их и можно было бы не изобретать.