Architekt Systemowy Senior – Data Lake / DWH (F/M)
Branża bankowa
Czym będziesz się zajmować?
Projektowaniem i budową pipeline'ów zasilających ETL/ELT (on-line i off-line)
Rozwijaniem rozwiązań Data Lake i DWH w środowisku on-prem i GCP
Tworzeniem przepływów danych w Pythonie i/lub Ruscie dla danych strukturalnych i niestrukturalnych
Budowaniem rozwiązań BigData z wykorzystaniem możliwości GenAI
Strojeniem zapytań SQL na bazach relacyjnych i hurtownianych
Przygotowywaniem datamart'ów tematycznych
Tworzeniem koncepcji rozwiązań na podstawie wymagań biznesowych
-
Pracą zgodnie z modelem DevSecOps
Wymagane:
Doświadczenie w budowie pipeline'ów ETL/ELT
Praktyczna znajomość projektowania Data Lake i DWH
Znajomość architektury sterowanej zdarzeniami – Kafka, Pub/Sub
Google BigQuery
Kubernetes (GKE lub OpenShift)
Bazy danych Oracle i PostgreSQL – projektowanie, budowa i tuning
Biegła znajomość Pythona i/lub Rusta
-
Apache Airflow
Mile widziane:
Data mesh
Bazy wektorowe i grafowe
Apache Spark (GCP Dataproc) / Apache Beam (GCP Dataflow)
AutomateNow, Informatica Power Center