Skip to content
Search jobs inside your AI agent. Claude, ChatGPT, Claude Code, Codex, Gemini, Cursor and Grok
Connect

TS Dev

NewBe an early applicant

ETL Developer

Posted Updated

Description

Зарплата: 180000–300000 RUR (на руки)

Ищем ETL-разработчика, который умеет строить, поддерживать и оптимизировать процессы обработки и перемещения данных. Предстоит работать с SQL, Python, ETL/ELT-пайплайнами, оркестрацией процессов и архитектурой DWH, обеспечивая стабильность загрузок, качество данных и производительность решений.

Нам нужен специалист с практическим опытом разработки data-процессов, который умеет самостоятельно разбираться в источниках, находить причины сбоев, оптимизировать обработку больших объёмов данных и развивать существующую инфраструктуру.

Что будет в работе

Разрабатывать, поддерживать и оптимизировать ETL/ELT-процессы для извлечения, преобразования и загрузки данных из различных источников.

Реализовывать пайплайны обработки данных с использованием SQL, Python и Apache Airflow.

Интегрировать данные из реляционных БД, API, файловых источников и систем обмена сообщениями.

Разрабатывать инкрементальные загрузки, механизмы повторного запуска, обработки ошибок и восстановления процессов.

Реализовывать дедупликацию, проверку полноты, целостности и корректности данных.

Работать с архитектурой DWH, Data Lake и различными слоями хранения и обработки данных.

Оптимизировать SQL-запросы, процедуры загрузки, работу с индексами и производительность баз данных.

Разрабатывать и сопровождать DAG в Airflow, настраивать зависимости, расписания, retries, сенсоры и мониторинг выполнения.

Работать с распределённой обработкой данных и большими объёмами информации.

Участвовать в развитии инфраструктуры обработки данных, автоматизации процессов и улучшении качества существующих пайплайнов.

Разбираться в сбоях ETL-процессов, анализировать логи, выявлять причины проблем и реализовывать решения.

Что важно

SQL и базы данных

Уверенное владение SQL: сложные JOIN, CTE, подзапросы, оконные функции, агрегирование.

Опыт оптимизации запросов, анализа планов выполнения и поиска узких мест.

Понимание индексов, партиционирования, блокировок и принципов эффективной работы с БД.

Коммерческий опыт работы с PostgreSQL, Oracle, Greenplum или другими промышленными СУБД.

Опыт работы с PL/SQL или процедурным SQL — в зависимости от используемого стека.

ETL/ELT и обработка данных

Коммерческий опыт разработки и сопровождения ETL/ELT-процессов.

Понимание принципов извлечения, загрузки и трансформации данных из различных источников: БД, API, файлов, очередей.

Опыт разработки процессов загрузки, преобразования и переноса данных.

Понимание инкрементальных загрузок, CDC, обработки изменений и повторного запуска процессов.

Опыт обработки ошибок, дедупликации, контроля полноты и целостности данных.

Понимание особенностей обработки больших объёмов данных и оптимизации пайплайнов.

Python

Уверенное владение Python для разработки ETL-процессов и автоматизации обработки данных.

Опыт работы с библиотеками обработки данных.

Написание скриптов для загрузки, трансформации, проверки и автоматизации работы с данными.

Работа с API, файлами, логированием, обработкой исключений и ошибками выполнения.

Понимание принципов написания поддерживаемого и переиспользуемого кода.

Оркестрация и архитектура DWH

Практический опыт работы с Apache Airflow.

Разработка DAG, настройка зависимостей, расписаний, retries, сенсоров и мониторинга пайплайнов.

Понимание архитектуры Data Warehouse и Data Lake, принципов построения слоёв данных (ODS, DDS, Data Mart и аналогичных).

Понимание различий OLTP и OLAP, принципов моделирования и организации хранения данных.

Знакомство с Apache Spark, Hadoop, Hive или Impala и принципами распределённой обработки данных.

Инструменты и инфраструктура

Git: работа с репозиториями, ветками, коммитами и Merge Requests.

Linux: командная строка, работа с логами, запуск, мониторинг и диагностика процессов.

Docker: понимание контейнеризации приложений и окружений.

CI/CD: понимание процессов сборки, тестирования и доставки изменений.

Kafka / RabbitMQ: понимание принципов работы очередей и потоковой интеграции.

Jira, Confluence или аналогичные инструменты для командной работы и документации.

S3 / MinIO или аналогичные решения для объектного хранения данных.

Будет плюсом

Опыт работы с dbt: разработка моделей, трансформаций, тестов и документации данных.

Практический опыт работы с Apache Spark / PySpark.

Опыт работы с Kafka и потоковой обработкой данных.

Знание ClickHouse, Greenplum, Vertica или других аналитических СУБД.

Знакомство с Apache Iceberg, Delta Lake и современными форматами хранения данных.

Опыт внедрения автоматизированных проверок качества данных (Data Quality).

Понимание MPP-архитектуры и распределённых вычислений.

Опыт миграции DWH, ETL-процессов и модернизации инфраструктуры обработки данных.

Опыт работы с банковскими, финансовыми или высоконагруженными системами.

Английский

Умение читать техническую документацию на английском языке.

Процесс

Короткое знакомство и обсуждение опыта с рекрутером.

Техническое интервью / TechCertify-скрининг.

Передача профиля на подходящие проекты клиентам.

Если вам интересно развивать процессы обработки данных, создавать надёжные пайплайны и работать с производительными решениями в области Data Engineering

Skills

Apply

See also

Data Engineering jobs by country — openings, pay and top skills →