Clafka: интеграция Kafka-ClickHouse в платформе Ozon

Управление надёжной поставкой данных из Kafka в ClickHouse с гарантией exactly-once — известная задача в инфраструктуре. Решение должно избегать дублей и потерь, при этом поддерживая разные форматы данных.

Посмотрим на внутренний продукт, созданный именно для её решения. Продукт обеспечивает гарантию exactly-once при передаче данных из Kafka в любой кластер ClickHouse, поддерживая три ключевых протокола сериализации: нативный JSON, гибкий JSONPath и эффективный Protobuf.

Узнайте, как в Ozon добились отказоустойчивости, масштабируемости и универсальности, упростив конфиг поставки до нескольких действий в UI.