Data Engineer (DataBricks) @ Scalo
Summary
Build and migrate AML data pipelines using PySpark and Databricks, centralizing data from multiple sources into a gold-layer warehouse and integrating batch and API feeds.
W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.
Obszary naszej działalności obejmują m.in.:
- doradztwo technologiczne,
- tworzenie oprogramowania,
- systemy wbudowane,
- rozwiązania chmurowe,
- zarządzanie danymi,
- dedykowane zespoły projektowe.
Co oferujemy w ramach współpracy?
- możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,
- zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,
- dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.
Kompetencje wymagane do realizacji usług:
- wykształcenie wyższe STEM,
- 5–8 lat doświadczenia w realizacji projektów związanych z przetwarzaniem i analizą danych,
- bardzo dobra znajomość Databricks, w tym umiejętność projektowania i implementacji rozwiązań, a nie wyłącznie korzystania z platformy od strony użytkownika,
- praktyczne doświadczenie w wykorzystaniu PySpark,
- doświadczenie w projektowaniu oraz migracji procesów ETL,
- umiejętność modelowania oraz przetwarzania danych w środowiskach hurtowni danych,
- doświadczenie w parsowaniu danych,
- doświadczenie w integracji procesów ze źródłami danych opartymi o API oraz procesy batchowe,
- bardzo dobra znajomość języka Python,
- praktyczna znajomość SQL, w szczególności środowiska Teradata,
- wysoko rozwinięte umiejętności analityczne,umiejętność współpracy w zespołach projektowych,
- komunikatywność oraz otwartość na współpracę zespołową.
W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.
Obszary naszej działalności obejmują m.in.:
- doradztwo technologiczne,
- tworzenie oprogramowania,
- systemy wbudowane,
- rozwiązania chmurowe,
- zarządzanie danymi,
- dedykowane zespoły projektowe.
Co oferujemy w ramach współpracy?
- możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,
- zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,
- dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.