Data Engineer

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.

Obszary naszej działalności obejmują m.in.:

• doradztwo technologiczne,

• tworzenie oprogramowania,

• systemy wbudowane,

• rozwiązania chmurowe,

• zarządzanie danymi,

• dedykowane zespoły projektowe.

Cześć! Poznaj możliwości współpracy ze Scalo!

Zakres współpracy obejmuje:

• Projektowanie, budowa i utrzymanie nowoczesnych pipeline'ów danych z wykorzystaniem dbt oraz Apache Airflow.

• Rozwój rozwiązań przetwarzania danych w Pythonie i PySpark.

• Projektowanie oraz rozwój warstw Gold i Platinum platformy Data Lakehouse w oparciu o architekturę Medallion.

• Optymalizacja wydajności oraz kosztów środowiska BigQuery, w tym partycjonowanie, klastrowanie i działania FinOps.

• Budowa i utrzymanie procesów CI/CD z wykorzystaniem GitHub Actions.

• Zarządzanie infrastrukturą jako kodem (Terraform) oraz automatyzacja wdrożeń.

• Implementacja i rozwój modelu bezpieczeństwa danych, obejmującego m.in. IAM, RBAC/ABAC, Policy Tags oraz DLP.

• Współtworzenie standardów Data Governance, zarządzania metadanymi oraz data lineage.

• Udział w code review oraz rozwijaniu standardów technicznych zespołu.

• Wsparcie i konsultacje techniczne dla zespołów domenowych pracujących w modelu hub & spoke.

• Promowanie najlepszych praktyk z zakresu inżynierii danych i architektury rozwiązań na platformie GCP.

• Model świadczenia usług: hybrydowy obejmujący 8 dni w miesiącu z biura w Warszawie

• Budżet: do 150 zł netto + VAT/H/B2B

Kompetencje wymagane do realizacji usług:

• Min. 5 lat doświadczenia w obszarze Data Engineering, w tym min. 2 lata pracy z Google Cloud Platform.

• Doświadczenie w budowie i rozwoju hurtowni danych lub platform Data Lakehouse na dużą skalę.

• Bardzo dobra znajomość SQL, Python oraz PySpark.

• Praktyczne doświadczenie z BigQuery, dbt oraz Apache Airflow.

• Znajomość procesów CI/CD (GitHub Actions) oraz pracy z Git.

• Umiejętność projektowania rozwiązań end-to-end i podejmowania decyzji architektonicznych.

• Doświadczenie we współpracy z zespołami analitycznymi, biznesowymi i technologicznymi.

• Dobra znajomość usług GCP, takich jak IAM, Cloud Storage, Secret Manager i Monitoring.

Mile widziane:

• Terraform i podejście Infrastructure as Code.

• Data Governance (Dataplex, Data Catalog, Data Lineage, DLP).

• Docker, FinOps oraz architektura Medallion/Data Mesh.

• Doświadczenie w sektorze finansowym lub bankowym.

• Certyfikaty Google Cloud (Professional Data Engineer lub Professional Cloud Architect).

Co oferujemy w ramach współpracy?

• możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,

• zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,

• dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.