Data Engineer - Data Warehouse & Analytics
Posted
Summary
Budapest-based Data Engineer who designs dimensional data models (star schemas, SCDs), builds and tunes scalable ELT pipelines, and rewrites legacy ETL into tested, layered transformations. Core stack is SQL, dbt and Python on an MPP warehouse such as Redshift, Snowflake or BigQuery, working closely with data scientists and business analysts.
Olyan szakembert keresünk, aki magas szinten ért az SQL-hez, erős adattárház- és adatmodellezési tapasztalattal rendelkezik, és képes egy meglévő adatplatform fejlesztésére úgy, hogy közben az üzleti működés zavartalan maradjon.
Főbb feladatok
- Kimutatási, elemzési és gépi tanulási (ML) igényeket kiszolgáló dimenzionális adatmodellek tervezése és fejlesztése (pl. csillagséma, slowly changing dimensions).
- Stabil és skálázható ELT folyamatok kialakítása, optimalizálása és üzemeltetése az adattárház és az elemző rendszerek kiszolgálására.
- A meglévő, örökölt ETL folyamatok átalakítása modern, rétegzett, tesztelt és dokumentált adattranszformációs modellekké.
- Az adattárház teljesítményének és költséghatékonyságának optimalizálása (pl. disztribúciós és rendezési kulcsok, workload management, materializációs stratégia).
- Adatminőségi szabályok és automatizált ellenőrzések kialakítása (tesztek, adatelérhetőségi és frissességi vizsgálatok, adatkontraktusok).
- Az adatmodellek, mutatószámok és elnevezési konvenciók dokumentálása, hogy az üzleti elemzők önállóan is használhassák az adatokat.
- Szoros együttműködés Data Scientist-ekkel és üzleti elemzőkkel az üzleti igények skálázható adatmodellekké alakítása érdekében.
- Az elemzői adattér technikai kockázatainak azonosítása, valamint a rendszer megbízhatóságának és architektúrájának folyamatos fejlesztése.
Requirements
- Legalább 5 év tapasztalat Data Engineer vagy Analytics Engineer pozícióban, adattárház-központú környezetben.
- Magas szintű SQL tudás:
- window függvények használata,
- összetett CTE-alapú lekérdezések,
- lekérdezésoptimalizálás és végrehajtási tervek elemzése,
- MPP adattárházak (pl. Redshift, Snowflake, BigQuery) teljesítményhangolása.
- window függvények használata,
- Erős dimenzionális adatmodellezési ismeretek és kiváló adatérzék.
- Gyakorlati tapasztalat dbt vagy hasonló adattranszformációs keretrendszer használatában.
- Tapasztalat meglévő adattárházak karbantartásában vagy modernizációs/migrációs projektekben.
- Python ismeret automatizálási és adatfolyam-kezelési feladatokhoz.
- Kiváló kommunikációs készség technikai és üzleti szereplőkkel egyaránt.
- Magabiztos angol nyelvtudás szóban és írásban.