Summary
Remote Middle Data Engineer at outstaffing firm SJ GLOBAL: builds and maintains ETL/ELT pipelines and Airflow DAGs, optimizes SQL, and develops data warehouse layers and data marts. Core stack: Python, SQL, PostgreSQL/Greenplum, Apache Airflow, and Apache Spark.
Зарплата: 200000–220000 RUR (до вычета налогов)
SJ GLOBAL (аутстафф) — это более 10 лет успешной работы в сфере разработки мобильных приложений и сложных бэкенд-систем для бизнеса. Мы помогаем компаниям оптимизировать работу с клиентами, сотрудниками и финансовыми потоками. Мы создали более 100 приложений для различных отраслей, включая общепит, логистику, производство и стартапы. Победители Федерального конкурса «Опора для IT», организаторы хакатонов. Присоединяйтесь к нам, чтобы расти и развиваться вместе с командой профессионалов!
Чем предстоит заниматься
Разрабатывать и поддерживать ETL/ELT-процессы и data pipelines.
Разрабатывать DAG'и и автоматизировать процессы обработки данных в Apache Airflow.
Разрабатывать и оптимизировать SQL-запросы.
Создавать и поддерживать витрины данных.
Работать со слоями DWH и преобразованием данных.
Обрабатывать большие объёмы данных с использованием Apache Spark.
Разрабатывать интеграции с различными источниками данных.
Контролировать качество и целостность данных, участвовать в поиске и анализе расхождений.
Оптимизировать производительность запросов и процессов обработки данных.
Поддерживать существующие data pipelines и участвовать в устранении возникающих проблем.
Вести техническую документацию и описывать реализованные решения.
Взаимодействовать с аналитиками и другими участниками команды.
Что ожидаем
От 3 лет коммерческого опыта в Data Engineering / разработке DWH.
Коммерческий опыт разработки на Python.
Уверенное знание SQL: сложные запросы, CTE, оконные функции, работа с индексами, оптимизация запросов.
Практический опыт работы с PostgreSQL или Greenplum.
Опыт работы с Apache Airflow в production.
Опыт разработки на Apache Spark.
Опыт разработки и поддержки ETL/ELT-процессов.
Опыт работы с большими объёмами данных.
Понимание принципов построения DWH / Data Lake / Lakehouse.
Опыт разработки и поддержки витрин данных.
Уверенная работа с Git.
Уверенная работа в Linux/Unix.
Понимание принципов контроля качества и целостности данных.
Будет плюсом
dbt
Trino
Hadoop / HDFS / Hive
S3 / MinIO
ClickHouse
Kafka / NiFi
SCD2 и историчность данных
Иерархические справочники и таблицы соответствия данных
Опыт интеграции с SAP / 1С
Опыт построения витрин признаков для ML
Power BI / DataLens
Grafana / Zabbix
Важно
Нам нужен специалист с подтвержденным коммерческим опытом , который самостоятельно разрабатывал и поддерживал ETL-процессы и data pipelines
Будет преимуществом опыт работы с управленческой отчётностью, историчностью данных, справочниками и задачами, связанными с обеспечением качества данных.
Условия
Удалённая работа.
Полная занятость.
Оформление: самозанятость/ИП
Выплаты один раз в месяц - фиксированный оклад