Data Engineer
Summary
Designs and builds data pipelines, warehouses, and ETL/ELT workflows using Hadoop/Spark/Kafka stacks and PostgreSQL/Greenplum for fintech, retail, and edtech clients.
WILIX - аккредитованная IT - компания. Мы создаем корпоративные системы, помогаем компаниям оптимизировать и развивать свой бизнес.
Сегодня мы в поиске DE для работы на внешних проектах - потребность открыта на различные проекты в сферах финтеха, ритейла, эдтеха и пр.
Обязанности: Разработка программного кода и Тестирование,
Проектирование и разработка потоков данных на ETL/ELT инструментах;
• Имплементация кастомных трансформаций;
• Проектирование и построение прототипов, витрин;
• Анализ производительности, масштабирование существующих систем;
• Оптимизация SQL запросов и структур баз данных;
• Разработка процедур на языке PL/pgSQL;
• Развитие архитектуры DWH, анализ и выбор оптимальных технологий, методологий, инструментов;
• Создание и актуализация базы знаний для пользователей DWH
Требования:
- Требования Знание принципов построения хранилищ данных; • Понимание архитектур MPP систем;
• Опыт работы с экосистемой Hadoop/ навыки Data Engineer (HDFS/YARN/Spark/kafka/Nifi/Sqoop/flume и т.д.);
• Знание SQL (DDL, DML), опыт оптимизации запросов;
• Опыт работы с Greenplum либо отличное знание PostgreSQL;
• Практический опыт работы с SAS DIS/Informatica PowerCenter;
• Опыт использования системам ведения проектов и документации, сопровождения и мониторинга информационных систем, находящихся в зоне ответственности;
• Навык работы с Git, Jira, Confluence; Обязанности
Условия:
- Интересные и разнообразные проекты
- Возможности карьерного и профессионального роста
- Работа в энергичной молодой команде, готовой обмениваться опытом
- Укажите, пожалуйста, в сопроводительном письме желаемый уровень финансовой мотивации
Обратите внимание, что предусмотрен гибридный формат в Москве