Data Engineer Middle/Senior
Posted Updated 2
views
Summary
Holyweb, an IT outstaffing/service company building corporate systems for fintech, retail and logistics clients, is hiring a Middle/Senior Data Engineer to design, run and optimize ETL/ELT pipelines and data flows into DWH/Data Lake/Lakehouse layers. Core stack: SQL, Python, Spark, Kafka, Airflow, PostgreSQL/ClickHouse.
Holyweb – сервисная IT-компания. Уже 7 лет мы создаем корпоративные системы и сервисы для IT-холдингов, ритейла, финтеха и логистических компаний.
Разрушаем мифы об аутстаффинге и заботимся о своих сотрудниках: мэтчим интересные проекты с заинтересованными разработчиками, делимся экспертизой внутри компании, поддерживаем комфортную рабочую атмосферу.
Сейчас мы ищем Data Engineer на один из наших проектов.
- Проектирование, разработка и сопровождение ETL/ELT-пайплайнов;
- Разработка потоков загрузки и трансформации данных между источниками, DWH/Data Lake/Lakehouse и витринами;
- Оптимизация SQL-запросов, структур БД и производительности пайплайнов;
- Работа с большими объемами данных, форматами хранения и слоями raw / processed / curated;
- Поддержка продуктивных процессов: мониторинг, разбор инцидентов, актуализация документации.
- Опыт работы Data Engineer от 3 лет Middle, 5 лет senior;
- Уверенный SQL: сложные запросы, CTE, оконные функции, оптимизация, работа с DDL/DML;
- Опыт разработки и сопровождения ETL/ELT-пайплайнов в продакшене;
- Опыт работы со стеком Big Data / DWH / Lakehouse: Spark, Hadoop, Kafka, S3/S3-like, Airflow;
- Опыт работы с реляционными и аналитическими БД: PostgreSQL / Greenplum / ClickHouse / Oracle / MySQL;
- Опыт обработки больших объемов данных, работы с форматами Parquet / ORC / Avro;
- Уверенный Python, опыт разработки трансформаций и автоматизации обработки данных;
- Опыт работы с Git, Jira/Confluence, понимание CI/CD.
Будет плюсом:
- Опыт работы в банковском контуре или enterprise;
- Опыт с Trino / Presto, Apache Iceberg, Delta Lake, Hudi;
- Опыт с CDC и Batch-интеграциями;
- Опыт работы с NiFi, dbt, Cosmos, Flink;
- Опыт оптимизации Spark: partitioning, shuffle, broadcast joins.
- Неизбежное развитие профессиональных навыков;
- Работу над высоконагруженными активно развивающимся сервисами с ветвистой бизнес-логикой и множеством инженерных вызовов;
- Возможность предложить и реализовать свою идею, как улучшить сервис, или новую функциональность;
- Работа в аккредитованной IT-компании;
- Возможность работать удаленно;
- Бонусная программа HolyRelax;
- Конкурентоспособная ЗП.