Senior Data Engineer
Навыки: ETL, OLAP, Apache Airflow, SQL, Microsoft SQL, Redis, Apache Cassandra, PostgreSQL. Квалификация: Senior. Специализации: Разработчик баз данных.
Описание:Ищем Senior Data Engineer с опытом проектирования архитектуры данных, разработки ETL/ELT-пайплайнов и оптимизации хранилищ OLAP/OLTP.
Основные задачи:
- Проектирование архитектуры хранилищ, моделей данных и стратегий партиционирования.
- Разработка DAG, кастомных операторов и интеграций на Python с использованием Apache Airflow.
- Реализация потоковой обработки на Apache Flink и пакетной обработки на Apache Spark.
- Оптимизация SQL-запросов, баз данных и производительности пайплайнов.
- Обеспечение качества данных, реализация CDC и интеграций между системами.
- Ведение технической документации, задач и обращений в Jira/Confluence и сервис-деске.
- Взаимодействие с разработчиками, тестировщиками и смежными командами.
Обязательные требования:
- От 4 лет опыта работы Data Engineer.
- PostgreSQL, MSSQL, Redis, Cassandra.
- Trino/StarRocks, Apache Kafka, Apache Flink, Apache Airflow.
- Apache Iceberg, Lakekeeper, S3, понимание архитектуры Lakehouse.
- Python, SQL, Bash, Git.
- Опыт разработки ETL/ELT-пайплайнов, CDC, оптимизации SQL и настройки производительности.
- Знание архитектуры данных, моделей OLAP/OLTP, принципов целостности и согласованности данных.
- Уверенное владение Jira и Confluence, опыт работы с сервис-деском.
- Свободный русский язык, английский — для чтения и написания технической документации.
Будет плюсом:
- InfluxDB, TimescaleDB, TDengine.
- Hadoop, YARN, Kubernetes.
- Продвинутый SQL, CI/CD для data-пайплайнов.
- DDD, event-driven архитектура, Apache NiFi.