В декабре мы приняли участие в популярной конференции it-разработчиков Dev2Dev.

Наш коллега Анатолий Басов рассказал о распределённом key-value хранилище данных Elliptics, о том как это работает и что привело команду к этому решению. 

Если говорить просто, то тема такая. Мы храним огромное число фотографий и их количество постоянно растет. У каждой фотографии, кроме оригинального изображения, есть миниатюры для разных целей (списки лотов, позиций продвижения и т.д.) Каждую секунду сервер отдает множество картинок такими, какими они должны быть на своих позициях. Но чем выше нагрузки — тем процедура хранения и отдачи сложнее. Повышаются требования к системе, её работоспособности и надежности.

Постоянные участники аукциона иногда видели проблемы с картинками. Как мы их решаем и говорил Анатолий.

Elliptics — технология с открытым кодом. Она используется в популярных сервисах Яндекса (Фотки, Маркет, Музыка и др.)

Основное волшебство Elliptics — это его отказоустойчивость. По словам разработчиков, в идеале, чтобы не происходило с машинами, провайдерами и прочими неприятными событиями, данные будут сохранены и хранилище продолжит работу. Важное замечание, магии не случится без достаточного резервирования. О тонкостях работы этого решения, о технологиях, которые используются параллельно, и о неожиданных проблемах слушайте на записи конференции. Технические вопросы можно задать в комментариях к этой статье.

Спасибо организаторам и участникам конференции. Всё было здорово!