Как мы храним и обрабатываем логи

Расскажем, как устроен пайплайн обработки логов в Ozon, обрабатывающий 2,8 млн логов в секунду и хранящий суммарно более петабайта логов. Поговорим об устройстве seq-db — базы данных, заменившей Elasticsearch и позволяющей выжать до 10 раз больше пропускной способности в задачах хранения и обработки логов и трейсов.

Заглянем «под капот» хранилища: обсудим детали реализации, внутреннюю архитектуру хранилища и трейдоффы. Отдельно обсудим разработанную в Ozon замену стека ELK и решения, созданные на её основе.