Data Engineer z GCP (f/m/x)
Summary
Build and maintain scalable data pipelines on Google Cloud Platform, focusing on BigQuery, Airflow, and Terraform to process and transform large datasets for analytics and ML.
Chcesz rozwijać się w technologiach chmurowych i pracować na realnych danych? Dołącz do naszego zespołu Data & Analytics, gdzie budujemy i rozwijamy rozwiązania oparte na GCP. Pracuj z ekspertami, rozwijaj się w kierunku Data Engineeringu, Big Data lub Machine Learningu i miej realny wpływ na projekty.
Twój zakres obowiązków
- Projektowanie, implementacja i utrzymanie skalowalnych pipeline’ów danych w oparciu o Google Cloud Platform
- Praca z BigQuery jako główną hurtownią danych: modelowanie danych, optymalizacja zapytań i kosztów, dbanie o wydajność oraz niezawodność rozwiązań
- Integracja danych z różnych źródeł (pliki, bazy danych, API, eventy) oraz ich przetwarzanie i transformacja
- Orkiestracja workflow danych przy użyciu Apache Airflow / Cloud Composer
- Tworzenie i utrzymanie rozwiązań CI/CD dla pipeline’ów danych oraz infrastruktury
- Zarządzanie infrastrukturą w chmurze zgodnie z podejściem Infrastructure as Code (Terraform)
- Zapewnienie jakości danych, monitoringu pipeline’ów oraz szybkiego reagowania na incydenty
- Współpraca z zespołami analitycznymi, BI i produktowymi w celu dostarczania stabilnych i dobrze udokumentowanych danych
- Udział w rozwoju architektury danych oraz wspólne definiowanie dobrych praktyk data engineeringowych
Mile widziane
- Praktyczne doświadczenie w przetwarzaniu danych streamingowych (np. Dataflow / Apache Beam, Pub/Sub)
- Biegłość w Apache Spark / PySpark przy pracy z dużymi wolumenami danych
- Kompetencje w zakresie transformacji i modelowania danych z wykorzystaniem narzędzi takich jak dbt
- Umiejętność pracy z różnorodnymi platformami danych (np. Databricks, Snowflake, MS Fabric)
- Orientacja w narzędziach oraz dobrych praktykach z obszaru Data Governance, Data Lineage i Data Quality