Дата-инженер
Summary
Builds and maintains data pipelines, ETL/ELT processes, and streaming integrations using Python, PySpark, Airflow, Kafka, PostgreSQL, and S3 for a Russian IT-outsourcing firm serving large enterprises.
Selecty — аккредитованная IT-компания, оказывающая услуги в сфере IT-аутсорсинга.
Работаем на рынке более 10 лет, с 2013 года успешно решая задачи любой сложности в рамках цифровой трансформации для крупного бизнеса. Среди заказчиков Selecty более 300 компаний из списка "РБК Топ-500".
Задачи
- Разработка и поддержка ETL/ELT-процессов.
- Построение пайплайнов загрузки данных в PostgreSQL и S3.
- Разработка обработчиков на Python/PySpark.
- Оркестрация потоков данных с помощью Apache Airflow.
- Работа с потоковыми данными и интеграциями через Kafka.
- Участие в развитии архитектуры DWH/Data Lake.
Требования
- Опыт работы Data Engineer от 3 лет.
- Уверенное знание Python.
- Опыт работы с Spark / PySpark.
- Опыт построения DAG’ов в Apache Airflow.
- Опыт работы с S3 или S3-compatible storage.
- Опыт работы с PostgreSQL.
- Опыт работы с Kafka.
- Уверенный SQL.