Data Engineer
Summary
Data Engineer designs, builds, and maintains enterprise-scale data pipelines and integrations using Python, PySpark, SQL, and BigQuery in Google Cloud, ensuring high-quality, scalable data solutions for analytics and reporting.
W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.
Obszary naszej działalności obejmują m.in.:
• doradztwo technologiczne,
• tworzenie oprogramowania,
• systemy wbudowane,
• rozwiązania chmurowe,
• zarządzanie danymi,
• dedykowane zespoły projektowe.
Cześć! Poznaj możliwości współpracy ze Scalo!
Zakres współpracy obejmuje:
Projektowanie, rozwój i utrzymanie rozwiązań do przetwarzania oraz integracji danych w środowiskach klasy Enterprise.
Tworzenie, rozwój i optymalizacja procesów ETL/ELT z wykorzystaniem Python, PySpark oraz SQL.
Projektowanie i implementacja modeli danych wspierających analitykę i raportowanie biznesowe.
Tworzenie oraz optymalizacja zaawansowanych zapytań SQL i obiektów bazodanowych w środowisku BigQuery.
Projektowanie i rozwój integracji pomiędzy systemami wewnętrznymi i zewnętrznymi, zapewniającymi bezpieczną oraz efektywną wymianę danych.
Implementacja wymagań funkcjonalnych i niefunkcjonalnych na podstawie dokumentacji analitycznej, biznesowej i architektonicznej.
Udział w projektowaniu architektury rozwiązań danych w środowisku chmurowym, ze szczególnym uwzględnieniem Google Cloud Platform.
Zapewnienie wysokiej jakości, spójności i dostępności danych.
Analiza oraz optymalizacja wydajności procesów przetwarzających duże wolumeny danych.
Tworzenie i utrzymywanie testów, dokumentacji technicznej oraz standardów programistycznych.
Praca z Git oraz współpraca przy budowie i utrzymaniu procesów CI/CD.
Współpraca z analitykami, architektami, administratorami i zespołami biznesowymi.
Udział w Code Review oraz dbanie o jakość, bezpieczeństwo i skalowalność dostarczanych rozwiązań.
Wsparcie inicjatyw związanych z zarządzaniem danymi klienta, jakością danych oraz rozwojem architektury danych przedsiębiorstwa.
Model świadczenia usług: Hybrydowy obejmujący 2 wizyty w miesiącu w warszawskim biurze
Budżet projektu: do 150 zł netto + VAT/H/B2B
Kompetencje wymagane do realizacji usług:
Minimum 5 lat doświadczenia na stanowisku Programisty / Software Engineera w projektach klasy Enterprise.
Bardzo dobra znajomość Python oraz PySpark.
Praktyczna znajomość dobrych praktyk wytwarzania wysokiej jakości oprogramowania.
Doświadczenie w integracji systemów oraz wymianie danych pomiędzy aplikacjami.
Bardzo dobra znajomość SQL oraz doświadczenie w pracy z BigQuery.
Doświadczenie w projektowaniu i budowie rozwiązań działających w środowiskach chmurowych (preferowana Google Cloud Platform).
Znajomość narzędzi kontroli wersji Git oraz procesów CI/CD.
Umiejętność analizy dokumentacji analitycznej i architektonicznej oraz implementacji wymagań biznesowych i technicznych.
Samodzielność, odpowiedzialność, nastawienie na jakość oraz umiejętność efektywnej współpracy zespołowej.
Mile widziane
Doświadczenie w obszarze Master Data Management (MDM).
Znajomość koncepcji Golden Record.
Doświadczenie związane z zarządzaniem danymi klienta i jakością danych.
Znajomość systemów bankowych.
Doświadczenie w sektorze bankowym lub finansowym.
Doświadczenie w projektowaniu mechanizmów monitorowania oraz walidacji jakości danych.
Udział w projektach transformacji danych i modernizacji platform danych w chmurze.
Co oferujemy w ramach współpracy?
możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,
zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,
dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.