Data Engineer в направление «Интеллектуальные решения»
Summary
Data Engineer in TransTelekom's 'Intelligent Solutions' division (Astana): builds ETL pipelines from client systems (PostgreSQL, Oracle, Hive, Kafka, files, APIs), maintains Airflow DAGs, and delivers analytics marts and AI-ready datasets with a focus on data quality. Core stack: SQL, Python, PostgreSQL, Airflow, an analytical DBMS like ClickHouse, plus Spark/HDFS and Docker.
-
Строить пайплайны выгрузки данных из систем заказчика: PostgreSQL, Oracle, Hive-таблицы, Kafka-топики, файлы, API;
- Разрабатывать и сопровождать DAG'и в Airflow - инкрементальная загрузка, ретраи, алертинг, восстановление после сбоев;
- Собирать витрины для аналитики и датасеты для AI-сервисов;
- Отвечать за качество данных: проверки на входе, контроль расхождений, понятная диагностика при инцидентах;
- Оптимизировать запросы и модели данных, когда витрина перестаёт укладываться в SLA.
- Что мы ожидаем: 3+ года в роли Data Engineer или близкой - ETL, DWH, backend с дата-уклоном;
- Уверенный SQL: оконные функции, планы выполнения, умение объяснить, почему запрос тормозит;
- PostgreSQL: на практике - индексы, блокировки, партиционирование;
- Python: на уровне промышленной разработки пайплайнов, а не разовых скриптов;
- Airflow или другой оркестратор - Dagster, Prefect, аналог;•
-
Опыт хотя бы с одной аналитической СУБД: ClickHouse, Greenplum, GaussDB(DWS), Vertica;
-
Понимание распределённого хранения: HDFS, Hive-таблицы, движок вроде Spark. Конкретный дистрибутив не важен;
- Docker: собрать образ, разобраться, почему контейнер падает
-
Huawei Cloud Stack (MRS, GaussDB, OBS) · Kafka и CDC (Debezium) · Oracle как источник · dbt · Kubernetes ·Spark · Prometheus и Grafana · Data Quality и Data Contracts · подготовка данных для ML: обработка документов, векторные хранилища, эмбеддинги (ничего из этого не обязательно - часть освоите у нас).
-
Масштаб. Данные группы компаний, а не витрина для одного отдела;
-
Своя инфраструктура. Kubernetes, объектное хранилище, GPU-сегмент - платформа целиком, а не абстракция над чужим облаком;
- Влияние. Направление молодое, решения по слою данных принимаются сейчас.