Middle / Senior Data Engineer DWH
Posted 5
views
Summary
Builds and maintains data pipelines, warehouses, and analytics infrastructure using Python, PostgreSQL, Spark, Kafka, and Airflow for a large manufacturing company's digital division.
Навыки: Python, PostgreSQL, Greenplum, DWH, Apache Spark, ETL, Apache Airflow, Apache Kafka. Квалификация: Senior. Специализации: Инженер по данным.
Digital подразделение крупной производственной компания в поисках Data Engineer (Middle / Senior) в команду, которая строит Корпоративное Хранилище Данных и data-платформы для всего бизнеса.
Основной стек проекта:
- Язык программирования Python
- Базы данных Greenplum и PostgreSQL;
- Фреймворк Data Build Tool (DBT);
- Фреймворк Spark;
- Брокер сообщений Kafka;
- Оркестратор Airflow;
- Инфраструктура: Kubernetes;
- Управление инфраструктурой: Terraform, Ansible;
- Управление кодом: GitLab, SonarQube;
- Мониторинг: Prometheus, Grafana, AlertManager
Обязанности
- Разработка и поддержка ETL/ELT-процессов в Корпоративное Хранилище Данных
- Организация и оптимизация пайплайнов данных
- Разработка витрин данных и обеспечение качества данных
- Настройка и поддержка инфраструктуры данных (Airflow, Spark, Kafka, DBT)
- Взаимодействие с заказчиками: от сбора требований до внедрения и сопровождения решений
- Документирование и презентация результатов
Требования
- Опыт работы Data Engineer от 5 лет
- Высшее образование (IT/математика/математическая статистика/физика)
- Отличное знание Python и SQL
- Опыт работы с реляционными БД (Greenplum / PostgreSQL)
- Знание современных технологий обработки больших данных
- Опыт с Airflow, Spark, Kafka, DBT — будет преимуществом
- Умение работать в команде, сильные аналитические навыки и ответственность
Условия
- Официальное оформление по ТК РФ
- Возможность выбора формата работы (удаленка, гибрид, офис)
- Развитый социальный пакет, ДМС, бонусы