Data Engineer
Posted 17
views 1 applied
Summary
Senior Data Engineer builds and optimizes enterprise data warehouses, ETL/ELT pipelines, and SQL queries using Hadoop ecosystem, Spark, Kafka, and PostgreSQL/Greenplum.
Навыки: Apache Hadoop, ETL. Квалификация: Senior. Специализации: Инженер по данным.
Ищем опытного Data Engineer для разработки и развития корпоративного хранилища данных. Специалист будет участвовать в проектировании потоков данных, создании витрин, оптимизации SQL-запросов и развитии архитектуры DWH.
🔧 Задачи:
- проектировать и разрабатывать потоки данных с использованием ETL/ELT-инструментов;
- разрабатывать программный код и проводить его тестирование;
- реализовывать кастомные трансформации данных;
- проектировать и создавать прототипы и витрины данных;
- разрабатывать процедуры на языке PL/pgSQL;
- проводить анализ производительности существующих систем;
- оптимизировать SQL-запросы и структуры баз данных;
- участвовать в масштабировании и повышении производительности систем;
- развивать архитектуру DWH;
- анализировать и выбирать оптимальные технологии, инструменты и методологии;
- создавать и актуализировать базу знаний для пользователей хранилища данных;
- сопровождать и мониторить информационные системы в своей зоне ответственности.
🧩 Что важно:
- знание принципов построения хранилищ данных и архитектуры DWH;
- понимание принципов работы MPP-систем;
- практический опыт работы с экосистемой Hadoop:
- HDFS;
- YARN;
- Apache Spark;
- Apache Kafka;
- Apache NiFi;
- Sqoop;
- Flume;
- уверенное знание SQL, включая DDL и DML;
- опыт анализа и оптимизации сложных SQL-запросов;
- опыт разработки на PL/pgSQL;
- практический опыт работы с Greenplum или отличное знание PostgreSQL;
- опыт работы с ETL-инструментами SAS Data Integration Studio и/или Informatica PowerCenter;
- понимание процессов проектирования потоков, преобразования и загрузки данных;
- опыт сопровождения и мониторинга информационных систем;
- навыки ведения проектной и технической документации;
- опыт работы с Git, Jira и Confluence.
⭐ Будет преимуществом:
- опыт проектирования высоконагруженных хранилищ данных;
- опыт масштабирования MPP- и Hadoop-систем;
- участие в проектах по развитию крупных корпоративных DWH;
- опыт построения сложных ETL/ELT-процессов и витрин данных.