Дата инженер
Posted Updated
Description
Обязанности
- Анализировать пакеты ODI, извлекать метаданные, фиксировать бизнес-логику. Реверс-инжиниринг ODI сценариев
- Проектировать и реализовывать миграцию. Переводить ETL-логику из ODI в DAG`и Apache AirFlow
- Разрабатывать ETL/ELT-пайплайны
- Обеспечивать качество данных (DQ-проверки), настраивать алерты, дашборды мониторинга
- Управлять артефактами, CI/CD. Настраивать пайплайны деплоя DAG-ов, версионирование кода (Git), листинг, тестирование (unit/integration), управлять зависимостями (включая whl-пакеты для PySpark-компонентов)
- Документировать и передавать знания
Требования
- Образование – высшее техническое, математическое или экономическое
- Опыт работы от 3 лет в роли дата-инженера
- Практический опыт миграции или глубокой поддержки ETL-решений (ODI, Informatica, SSIS и т.п.) – понимание структуры пакетов, переменных, маппингов, планировщиков
- Уверенные знания и опыт практического применения:
- Apache Airflow – архитектура, DAG-дизайн, операторы, хуки, сенсоры, обработка ошибок, backfill, переменные/конфиги
- Python для написания DAG-ов и кастомной логики
- SQL – сложные запросы, оптимизация кода
- PySpark для пакетной обработки данных
- Git, базовые навыки CI/CD, понимание версионирования и тестирования кода
- Работа с контейнеризацией (Docker) и деплоем DAG-ов в контейнерной среде
- Навыки формирования Python-пакетов для переносимости Spark-логики
- Знание dbt, инструментов моделирования данных и подходов к слоям DWH
- Опыт настройки мониторинга (Prometheus/Grafana, AirFlow UI)
Skills
Sign in to read and join the discussion.