Data Engineer
Posted Updated 5
views
Summary
Designs and optimizes data pipelines and warehouses to build real-time user profiles for personalization and analytics across a large ecosystem of non-financial services.
Мы занимаемся всеми нефинансовыми сервисами в экосистеме Т: Покупки, реклама, авто, топливо, афиша и многие другие сервисы.
В стремлении сделать лучший сервис, мы осознали, что для дальнейших прорывов в персонализации, рекомендациях и аналитике нам необходим онлайн-профиль нашего пользователя, максимально полный и быстрый.
Тонна источников, stream processing, матчинг и идентификация, требования в 10-ки мс — это то, с чем тебе предстоит столкнуться и то, что делает нашу жизнь интереснее!
Требования
- Умение работать с данными (SQL).
- Знание принципов построения DWH и стандартов архитектуры.
- Знание архитектуры Greenplum, Hadoop, ClickHouse, S3, умение оптимизировать запросы в этих системах.
- Умение работать с ETL инструментами Apache Airflow, Apache NiFi, Apache Flink, Apache Spark.
- Аналитическое мышление.
- Системный подход.
Обязанности
- Проектирование объектов DWH.
- Разработка ETL процессов с использованием инструментов платформы данных Т-Банка.
- Оптимизация уже существующих ETL процессов.
- Аудит и оптимизация процессов работы с данными в командах заказчиков.
- Работа в программах/приложениях: TEDI, NiFi, Helicopter, Kafka, Hadoop, Greenplum.