Data Engineer ClickHouse
Summary
The Data Engineer will maintain and optimize ClickHouse clusters and design ETL processes using Kafka and Bash to support real-time user environment analytics. The role involves database performance monitoring, automation scripting, and architectural design within a hybrid work environment.
Наша команда разрабатывает продукт для сбора, хранения и анализа данных о пользовательском окружении с целью выявления проблем пользователей и своевременного реагирования на них. Аналитика проводится на основе собираемой в NRT режиме информации по рабочему окружению и данных различных внутренних продуктов.* поддержка, развитие и оптимизация кластеров ClickHouse
* проектирование и реализация ETL-процессов с использованием Kafka и Bash
* мониторинг, анализ и повышение производительности баз данных
* разработка и поддержка скриптов автоматизации на Bash
* участие в проектировании архитектуры хранения и обработки данных
**Будет плюсом**
* опыт работы с другими СУБД (PostgreSQL, MySQL)
* знание Python или других скриптовых языков для автоматизации
* опыт работы с системами CI/CD, контейнеризацией (Docker, Kubernetes)
* опыт работы с системами мониторинга (Prometheus, Grafana, Zabbix) и логирования.* ClickHouse: опыт проектирования таблиц, понимание движков таблиц (MergeTree, ReplicatedMergeTree, Kafka), оптимизация хранения данных, партиционирование и шардирование
* Kafka: настройка, разработка пайплайнов обработки данных
* уверенное владение Bash: написание и поддержка скриптов для автоматизации рутинных задач
* Linux: опыт работы в консоли
* навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом.* локация: Москва, БЦ "Даниловский форт" (м.Тульская / Нагатинская / МЦК "Верхние котлы")
* возможен гибридный формат работы
* гибкий график начала рабочего дня
* уровень заработной платы определяем по итогам собеседования
* бесплатный спортзал
* ДМС с 1го дня работы работы
* обучение и сертификацию за счет компании
* бесплатная подписка Прайм с возможностью совместного использования на трёх близких
* выстроенные процессы по адаптации, оценке и понятную систему роста в компании
* наставника на период адаптации и богатую корпоративную жизнь, в которой можно участвовать по желанию.