Data Engineer

Навыки: Apache Hadoop, ETL. Квалификация: Senior. Специализации: Инженер по данным.

Ищем опытного Data Engineer для разработки и развития корпоративного хранилища данных. Специалист будет участвовать в проектировании потоков данных, создании витрин, оптимизации SQL-запросов и развитии архитектуры DWH.

🔧 Задачи:

— проектировать и разрабатывать потоки данных с использованием ETL/ELT-инструментов;
— разрабатывать программный код и проводить его тестирование;
— реализовывать кастомные трансформации данных;
— проектировать и создавать прототипы и витрины данных;
— разрабатывать процедуры на языке PL/pgSQL;
— проводить анализ производительности существующих систем;
— оптимизировать SQL-запросы и структуры баз данных;
— участвовать в масштабировании и повышении производительности систем;
— развивать архитектуру DWH;
— анализировать и выбирать оптимальные технологии, инструменты и методологии;
— создавать и актуализировать базу знаний для пользователей хранилища данных;
— сопровождать и мониторить информационные системы в своей зоне ответственности.

🧩 Что важно:

— знание принципов построения хранилищ данных и архитектуры DWH;
— понимание принципов работы MPP-систем;
— практический опыт работы с экосистемой Hadoop:

• HDFS;
• YARN;
• Apache Spark;
• Apache Kafka;
• Apache NiFi;
• Sqoop;
• Flume;

— уверенное знание SQL, включая DDL и DML;
— опыт анализа и оптимизации сложных SQL-запросов;
— опыт разработки на PL/pgSQL;
— практический опыт работы с Greenplum или отличное знание PostgreSQL;
— опыт работы с ETL-инструментами SAS Data Integration Studio и/или Informatica PowerCenter;
— понимание процессов проектирования потоков, преобразования и загрузки данных;
— опыт сопровождения и мониторинга информационных систем;
— навыки ведения проектной и технической документации;
— опыт работы с Git, Jira и Confluence.

⭐ Будет преимуществом:

— опыт проектирования высоконагруженных хранилищ данных;
— опыт масштабирования MPP- и Hadoop-систем;
— участие в проектах по развитию крупных корпоративных DWH;
— опыт построения сложных ETL/ELT-процессов и витрин данных.