Ведущий инженер данных

Ищем Senior инженера данных, который построит с нуля DWH, куда будут стекаться события об инцидентах кибербезопасности. У нас есть архитектурная гипотеза, и задача инженера данных — профессионально её проверить, укрепить или опровергнуть. У тебя будет свобода в разработке архитектуры и реализации хранилища, а наши инженеры помогут тебе в реализации этой сложной и интересной задачи!

Чем предстоит заниматься:

• Проектирование и оптимизация аналитического хранилища данных (ClickHouse / StarRocks / аналоги);
• Проектирование и развитие data-пайплайнов для обработки событий кибербезопасности;
• Нормализация и обогащение событий безопасности;
• Подготовка витрин данных под быстрые запросы и аналитику;
• Эксплуатация data сервисов в Kubernetes: деплой, ресурсы, отказоустойчивость, масштабирование;
• Обеспечение наблюдаемости и качества данных (метрики, алерты, replay/backfill);
• Участие в разборе инцидентов и оптимизации производительности data платформы.

Что мы ждем от кандидата:

• Опыт построения с нуля DWH или Data lake;
• Опыт построения и эксплуатации data pipelines (ETL, ELT и/или streaming) в produckon среде;
• Уверенный SQL, включая оптимизацию запросов и анализ производительности;
• Опыт работы с OLAP-СУБД (ClickHouse/StarRocks/Druid/Pinot или аналоги);
• Понимание принципов потоковой обработки данных (идемпотентность, дедупликация, обработка ошибок);
• Опыт проектирования и оптимизации витрин и схем хранения данных;
• Уверенные знания Kubernetes и опыт эксплуатации сервисов в produckon среде;
• Понимание принципов надежности, масштабирования и наблюдаемости data систем.

Будет плюсом:

• Helm, GitOps (ArgoCD / Flux), Terraform;
• Опыт работы со schema evolution и data contracts;
• Практики data quality (валидации, контроль пропусков и объёмов данных.