Главный инженер Контроль качества данных
Summary
Senior data engineer ensures data quality for a large bank's systems using SQL, Python, Spark, Hadoop, and ETL pipelines.
Навыки: SQL, Python, Apache Spark, Apache Hadoop, Apache Airflow, Системный анализ, Тестирование ПО, Apache Kafka, ETL. Квалификация: Senior. Специализации: Инженер по данным.
О компании и команде
Проект крупного банка
Ожидания от кандидата
• SQL, Python
• Apache Spark, Hadoop/S3/S3-like, Apache Airflow, Parquet/ORC
• Jira + Confluence или аналогичное, Git, CI/CD, XML, JSON
• Навыки системного анализа, тестирования
• Базовое знание работы с РСУБД, Kafka
• SQL, Spark, Hadoop, Airflow/Oozie, понимание ETL, умение читать код, чтобы понимать, как данные из одного места транслируются в другое.
• Знание Apache Iceberg
Условия работы
5/2, удаленка в РФ, фуллтайм, ИП РФ / ТК РФ
Задачи:
• Сопровождение и анализ существующих процессов загрузки
• Разбор технических контролей качества данных
• Тестирование и установка доработок в продуктивный контур