NewBe an early applicant

Data Quality Engineer

Криптонит Data Quality Engineer

Основные задачи:

Разрабатывать автоматизированные проверки качества данных (SQL, PySpark, SparkSQL)
Проектировать и поддерживать правила Data Quality для новых источников данных
Разрабатывать и сопровождать Data Contracts
Анализировать схемы данных, RFC и бизнес-правила
Интегрировать проверки качества в существующие ETL -пайплайны (Airflow)
Настраивать мониторинг качества данных (Grafana, PostgreSQL Metadata Store)
Анализировать инциденты качества данных и искать первопричины
Развивать библиотеку повторно используемых DQ-проверок
Взаимодействовать с Data Engineers, аналитиками и заказчиками данных

Наши ожидания:

Хорошее знание SQL (сложные запросы, оптимизация)
Опыт работы с Python (Pandas, PySpark) для анализа данных и автоматизации
Понимание устройства DWH, ETL/ELT, Data Lake, Data Lakehouse (слои bronze/silver/gold)
Опыт тестирования данных (ETL testing, DWH testing, Data Quality)
Опыт работы с Git. Базовое понимание CI/CD
Опыт работы с инструментами Big Data (S3, Spark, Airflow)

Будет плюсом:

Опыт работы с Great Expectations, dbt tests, Soda или кастомным решением
Опыт работы с OpenMetadata или другими дата-каталогами (DataHub, Arenadata Catalog, Apache Atlas)
Опыт работы с Data Contracts

Что мы предлагаем:

Здоровье и спорт:

ДМС + стоматология
Корпоративные скидки в фитнес-клуб World Class
Корпоративный тариф на абонементы FITMOST
Программа корпоративных скидок Best Benefits – на спорт и не только
Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги, шахматы)

Обучение и развитие:

Курсы английского языка, в том числе с носителем языка
Сообщества по интересам: вместе читаем книги, ходим на интересные мероприятия и делимся маршрутами путешествий
Внешние профессиональные курсы и конференции, сертифицированное обучение, которые вы выбираете сами
Билеты со скидкой в Музей криптографии для сотрудников и их семей

А также:

Skills