Инженер данных

Обязанности:
проектирование и реализация ETL/ELT-пайплайнов для загрузки и обработки данных оптимизация и сопровождение процессов обработки больших данных интеграция источников данных (базы данных, API, файловые хранилища) работа с протоколами и форматами интеграции: REST, SOAP, JSON, XML документирование решений и формирование базы знаний

Требования:
высшее техническое образование опыт разработки ETL/ELT-процессов (реализация, оптимизация, мониторинг) в течение двух последних лет экспертное владение Python практический опыт работы с AWS S3\miniO не менее 1 года умение подключаться к различным источникам данных с использованием разнообразных протоколов и интерфейсов опыт работы со стриминговыми данными (Kafka, Debezium) не менее 1 года экспертное владение SQL и опыт работы с СУБД (PostgreSQL, ADB, ClickHouse и др.) знание Apache Airflow (создание DAG, настройка сенсоров, операторов) базовые знания команд в ОС Linux