Data Engineer
Summary
Senior Data Engineer contracting engagement (through ~end of January, hybrid in Budapest) building the Gold layer of an Azure Databricks Lakehouse for an American commercial real-estate insurer's digital transformation. Day to day: dimensional and event-history data models, dbt/SQL/Python pipelines, API integrations, and semantic layers supporting Power BI reporting.
Ügyfelünk egy amerikai kereskedelmi ingatlanbiztosítási szolgáltató, amely jelenleg jelentős digitalizációs transzformáción megy keresztül. A vállalat számos manuális folyamatot használ, például e-mail alapú ügyintézést, PDF-adatrögzítést és korlátozott funkcionalitású Power App megoldásokat.
A projekt célja egy modern, felhőalapú platform kialakítása, amely automatizálja a biztosítási folyamatokat az ajánlatkérések kezelésétől kezdve a kockázatértékelésen, szerződéskötésen és biztosítói jóváhagyásokon át egészen a pénzügyi elszámolásig.
Senior Data Engineerként kulcsszereped lesz az adatformációs platform megtervezésében és megvalósításában, amely a riportálást, üzleti elemzéseket és vezetői döntéstámogatást szolgálja.
Feladatok
- Databricks Lakehouse környezetben a Gold réteg megtervezése és fejlesztése.
- Dimenzionális adatmodellek és szemantikus rétegek kialakítása Power BI riportok támogatására.
- Adatbetöltési és adatfeldolgozási folyamatok fejlesztése SQL, Python, Databricks és dbt használatával.
- Tranzakciós backend rendszerek és külső kockázatelemző API-k integrálása.
- Külső API-k teljes válaszainak eltárolása auditálhatósági és nyomonkövethetőségi célokból.
- Történeti adatkezelési megoldások kialakítása snapshotok, immutable rekordok és SCD (Slowly Changing Dimension) minták alkalmazásával.
- Állapotváltozásokat követő, append-only eseménytörténeti modellek kialakítása KPI-ok és üzleti folyamatok elemzéséhez.
- Belső üzleti mutatók és partneri adatszolgáltatások elkülönítésére szolgáló riportálási rétegek tervezése.
- Adatminőségi ellenőrzések, sémavalidáció, monitorozás és pipeline-megfigyelhetőség bevezetése.
- Együttműködés architekt, fejlesztői, projektmenedzsment és üzleti elemzői csapatokkal.
Requirements
- Minimum 5 év releváns tapasztalat Data Engineer, Analytics Engineer vagy hasonló szerepkörben.
- Magabiztos gyakorlati tapasztalat az alábbi technológiákkal:
- Microsoft Azure
- Azure Databricks
- SQL (haladó szint)
- Python
- dbt
- ETL/ELT folyamatok fejlesztése
- Microsoft Azure
- Tapasztalat az alábbi területeken:
- Dimenzionális adatmodellezés
- KPI-rendszerek és szemantikus rétegek kialakítása
- Adattárház- és Lakehouse-architektúrák
- SCD Type 1/Type 2 megoldások
- Historikus snapshot alapú adatmodellezés
- Event history (eseménytörténeti) modellezés
- API-integrációk
- Data Quality és adatirányítási megoldások
- Dimenzionális adatmodellezés
- Önálló munkavégzés és architekturális döntések támogatása.
Előnyt jelent
- Biztosítási vagy pénzügyi szektorban szerzett tapasztalat.
- Az alábbi fogalmak ismerete:
- Loss Ratio
- Earned Premium
- IBNR (Incurred But Not Reported)
- Loss Ratio
- Power BI riporting környezetek támogatásában szerzett tapasztalat.
Technológiai környezet
- Microsoft Azure
- Azure Databricks
- SQL
- Python
- dbt
- Power BI
- Lakehouse architektúra (Raw → Cleaned → Gold)
Benefits
- Részvétel egy jelentős üzleti és technológiai transzformációs projektben.
- Egy tapasztalt projektcsapat támogatása, amely architektúrai, projektmenedzsment, design és technológiai kompetenciákkal rendelkezik.
- Magas szakmai színvonalú, támogató munkakörnyezet.
- Rugalmas hibrid munkavégzés.
- Nincs ügyfélkapcsolati vagy ügyfélprezentációs kötelezettség.