Data Engineer
Posted 10
views 1 applied
- Prywatna opieka medyczna
- Dofinansowanie karty sportowej
- Stałe wsparcie konsultanta
- Program rekomendacji pracowników
- Minimum 3 lata komercyjnego doświadczenia jako Data Engineer
- Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline'ów ETL/ELT
- Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML
- Dobra znajomość SQL
- Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów i ponownym przetwarzaniu danych; znajomość narzędzi takich jak Pydantic, Pandera lub Great Expectations
- Praktyczne doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
- Znajomość Git oraz CI/CD z wykorzystaniem Azure DevOps lub GitHub Actions
- Angielski na poziomie minimum B2+, umożliwiający rozmowę rekrutacyjną i codzienną współpracę z klientem
- Samodzielność i umiejętność odnalezienia się w istniejącym zespole oraz środowisku technicznym
- Integracja wyników AI/LLM z pipeline'ami danych i ocena ich jakości
- Znajomość zasad przygotowania modeli danych pod Power BI
- Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament
Mile widziane: