Data Engineer
Summary
Senior/Lead Data Engineer builds and scales production-grade data systems, including pipelines, services, and storage solutions for data collection, processing, and delivery using Python, Airflow, and NoSQL databases.
Шукаємо Senior / Lead Software Engineer (Data), який допоможе будувати й масштабувати production-grade data systems: пайплайни, сервіси та storage-рішення для збору, обробки, зберігання й доставки даних. Це роль для інженера з сильним software engineering mindset, який вміє працювати не лише на рівні реалізації, а й на рівні архітектури, data modeling, reliability, performance та technical leadership. Очікуємо, що людина зможе брати end-to-end ownership за критичні data workflows і впливати на стандарти команди.
Обовʼязки:
Проєктувати, розробляти та підтримувати batch/streaming data pipelines і data services.
Приймати технічні рішення щодо ingestion, orchestration, storage, трансформацій і delivery.
Будувати ETL/ELT-рішення з використанням Python, Airflow, Cron.
Інтегрувати дані з API, логів, NoSQL, IoT/embedded-джерел та внутрішніх сервісів.
Проєктувати схеми зберігання, моделі даних і структури баз даних.
Оптимізувати рішення з погляду performance, scalability, cost та maintainability.
Забезпечувати data quality, observability, reliability і стабільність production-процесів.
Планувати та реалізовувати міграції даних між платформами й форматами.
Документувати схеми, трансформації, data lineage та ключові технічні рішення.
Брати участь у code review, design discussions, incident resolution.
Менторити інших інженерів і розвивати engineering standards у data-напрямку.
Вимоги:
Значний досвід як Senior / Lead Software Engineer, Data Engineer або Backend Engineer у data-intensive середовищі.
Сильний Python і досвід побудови production-ready рішень.
Досвід роботи з Apache Airflow.
Досвід роботи з MongoDB або іншими NoSQL-рішеннями.
Сильне розуміння проєктування баз даних і data models: schema design, indexing, normalization/denormalization.
Досвід роботи з великими обсягами даних, high-throughput або streaming workloads.
Досвід із Azure Blob Storage або аналогічними object storage.
Впевнене знання SQL та оптимізації запитів.
Глибоке розуміння ETL/ELT, incremental processing, datalake/warehouse principles.
Розуміння testing, observability, fault tolerance, idempotency, recovery для data systems.
Досвід із Git, CI/CD, production deployment.
Досвід технічного лідерства, mentoring, design review і роботи зі стейкхолдерами.
Буде плюсом:
Snowflake, Elasticsearch
Kafka або інші streaming-платформи
Grafana / Prometheus
Ansible або інші IaC / automation tools
Power BI
Досвід із cloud DWH, governance, lineage, internal data tools
Надаємо бронювання*