Data Engineer (Сербия)
Summary
Data Engineer (onsite Belgrade) at a product IT company building high-load B2B projects in entertainment, games, and sports. The role designs DWH architecture and data models, builds batch/streaming ETL/ELT pipelines and data marts, and works on a S3/Iceberg/ClickHouse/Trino stack with PySpark, Airflow, Kafka, Docker/Kubernetes, and Grafana.
Продуктовая IT-компания, занимающаяся разработкой и поддержкой высоконагруженных B2B-проектов в сфере развлечений, игр и спорта, ищет Data Engineer, который поможет строить и оптимизировать инфраструктуру обработки данных, обеспечивая надежные и эффективные процессы работы с большими объемами информации.
Наше хранилище данных для аналитики и data science на стеке: S3,Iceberg, ClickHouse, Trino
Что предстоит делать:
- проектировать и разрабатывать архитектуру DWH, определять модели данных, распределять слои и создавать витрины;
- строить процессы ETL/ELT загрузки и трансформации данных (batch и streaming) из различных источников;
- интегрироваться с API , Kafka, Базами данных: настраивать и управлять потоками данных;
- обеспечивать качество данных (Data Quality): разрабатывать и автоматизировать DQ-проверки, внедрять процессы мониторинга и алертинга для контроля качества данных;
- развивать системы мониторинга и информирования: настраивать метрики и дашборды в Grafana, контролировать производительность;
- оптимизировать и поддерживать существующий код: рефакторинг, повышение эффективности ETL-процессов и запросов, устранение узких мест;
- управлять версиями кода (GitLab) и вести техническую документацию в Confluence.
Какие навыки важны:
- опыт работы Data Engineer 2-3 года;
- продвинутый уровень Python: опыт в PySpark и Apache Airflow;
- глубокое знание SQL: умение писать и оптимизировать сложные запросы, проводить review;
- понимание работы СУБД ClickHouse, Trino и PostgreSQL знание их внутренних механизмов и конфигураций, написание и оптимизация SQL запросов;
- опыт работы с большими данными: понимание распределенных систем хранения (S3, HDFS), работа с форматами данных Parquet, Avro; знание методологий моделирования данных;
- интеграция данных из разнообразных источников: навыки получения и обработки данных через JDBC, REST API, Kafka, чтение из файловых систем (JSON, Parquet, S3);
- опыт настройки конвейеров в GitLab CI/CD, контейнеризация приложений с использованием Docker и их оркестрация в Kubernetes;
- настройка и использование Grafana для визуализации метрик и отслеживания состояния систем;
- знание архитектур DWH, опыт проектирования слоев данных и ETL-процессов.
Что мы предлагаем:
- работа в офисе г. Белград, комфортные условия;
- обеды и завтраки в офисе за счет компании;
- обучение за счет компании и доступ к лучшим практикам обработки данных;
- компенсация изучения английского языка для профессионального роста;
- рабочий процесс на русском языке и комфортное взаимодействие внутри коллектива.