DATA ENGINEER
Summary
Data Engineer at an educational school: builds and maintains ETL/ELT processes for batch and real-time data products, designs Data Lake / Data Warehouse solutions, and sets up monitoring, alerting and CI/CD pipelines. Core stack: Python, PySpark, Apache Spark/Streaming, Kafka, AWS (S3), Git/CI-CD, with strong English required.
DATA ENGINEER
Мы ищем Data Engineer в команду, который умеет создавать надёжные data-процессы, работать с большими объёмами данных и превращать бизнес-требования в качественные технические решения.
Что предстоит делать
• Разрабатывать и поддерживать ETL/ELT-процессы для real-time и offline data products.
• Проектировать решения для Data Lake / Data Warehouse.
• Работать с batch и real-time streaming данными.
• Разрабатывать системы мониторинга, alerting и performance metrics.
• Создавать автоматизированные workflow и CI/CD pipelines.
• Взаимодействовать с Product и другими командами: собирать требования, проектировать решения и готовить design documents.
• Поддерживать документацию, runbook'и и troubleshooting guides.
• Участвовать в Agile-процессах и обеспечивать своевременную реализацию задач.
Что важно знать
• Python, PySpark, Spark SQL / ANSI SQL — уверенный уровень.
• Apache Spark / Spark Streaming.
• Kafka / Kafka Streams и data ingestion.
• AWS, включая S3.
• Форматы данных: JSON, CSV, Parquet, PSV, Delta.
• Git, CI/CD, DevOps.
• Опыт построения Data Lake / Data Warehouse и масштабируемых data solutions.
Будет преимуществом
Databricks, MLflow, опыт mentoring / team guidance и работы с real-time data systems.
Личные качества
• Сильный English для коммуникации и технической документации.
• Умение объяснять и защищать технические решения.
• Системное мышление, ответственность и внимание к деталям.
• Умение работать самостоятельно и в команде.