Senior Data Engineer (2)
Summary
Consultant engagement (via Omega 365 Consulting) for Norges Bank, Norway's central bank: build and modernize a new cloud-based data and analytics platform on Azure with Databricks. Day to day: ingesting, cleaning and modeling data, building medallion/lakehouse pipelines, automated testing and monitoring, and advising analysts.
Omega 365 Consulting er en ledende leverandør av dyktig prosjektpersonell til aktører innenolje, gass, fornybar energi og infrastruktur. Vi tilbyr et bredt utvalg av konsulentoppdrag,inkludert mange av de mest spennende prosjektene i Norge og i utlandet.
Beskrivelse av oppdraget
Norges Bank søker 1–2 erfarne Data Engineers til modernisering og videreutvikling av bankens data- og analyseplattform.
Dagens dataplattformer moderniseres gjennom etableringen av en ny skybasert plattform i Microsoft Azure, med Databrickssom sentral teknologi for databehandling, analyse og maskinlæring.
Eksisterende løsninger skal bygges på nytt på den nye plattformen for å unngå å videreføre teknisk gjeld og datagjeld. Løsningen omfatter rundt 100 integrasjoner og 450 datasett, som benyttes til økonomiske modeller, statistikk og analyser av rundt 200 brukere.
Rollen samarbeider tett med Data Reliability Engineering-teamet om standardisering, automatisering, observability, AI-støttet utvikling og kontinuerlig forbedring av plattformen.
Ansvar og arbeidsoppgaver
Du vil blant annet:
Innhente data fra interne og eksterne datakilder ved hjelp av blant annet Azure Data Factory og Python.
Vaske, transformere og klargjøre data ved hjelp av Python.
Tilgjengeliggjøre data etter prinsipper for medallion- og lakehouse-arkitektur.
Sikre teknisk kvalitet på data og datapipelines.
Arbeide med historisering og versjonering av data.
Administrere databaser, tabeller og skjemaer.
Arbeide med automatisert testing og monitorering av datapipelines.
Veilede og samarbeide tett med analytikere og andre brukere av data.
Omsette brukerbehov til tekniske løsninger som skaper konkret verdi.
Benytte moderne AI-assistenter aktivt i utviklingsarbeidet.
Vi ser etter kandidater med minimum 3 års relevant erfaring, og helst 5 år eller mer, innen data engineering og moderne skybaserte dataplattformer.
Det er særlig relevant med erfaring innen:
Utviklingsmetodikk og rammeverk for data engineering.
Datamodellering, inkludert relasjonsmodeller, stjerneskjema, fakta og dimensjoner.
Historisering og versjonering av data.
Database-, tabell- og schemaadministrasjon.
CI/CD, versjonskontroll og strukturerte utviklingsløp.
Databricks, Delta Lake og Apache Spark.
Design og implementering av lakehouse-, data warehouse- eller medallion-arkitekturer.
Ytelsesoptimalisering og kostnadseffektiv databehandling.
Kandidaten bør ha god forståelse for hvordan blant annet Parquet og Delta Lake påvirker:
Spørringsoptimalisering.
Forståelse av statistiske metoder og maskinlæring for analyse av tidsserier, eksempelvis økonomiske indikatorer, markedsdata eller andre observasjoner over tid, er også relevant.
Det er særlig ønskelig med kompetanse innen:
AI som del av utviklingsarbeidet
Det er også ønskelig at konsulentene bidrar til å øke AI-kompetansen blant både utviklere og sluttbrukere.
Løsningsorienterte.
Bruker- og produktorienterte.
Gode til å samarbeide på tvers av team, roller og fagområder.
I stand til å kombinere solid teknisk kompetanse med forståelse for brukernes behov.
Bli en del av Omega 365 Consulting for:
Tett og personlig oppfølging fra våre dedikerte Omega 365-teammedlemer
Du får jobbe med et av de mest velrennomerte konsulentselskapene i Norge
Veiledning fra erfarne avdelingsledere som hjelper deg med å bygge god prosjektkompetanse
Konkurransedyktig kompensasjon og forsikringsordninger
Svært attraktivt velferdstilbud med feriehus og hytter på Hovden, Hemsedal, Geilo, Hafjell, Oppdal, Voss, Vågsli, Sirdal, Gran Canaria og Thailand
Bredt utvalg av arrangementer, som konserter og turer til spennende destinasjoner i Norge og utland. Vi annonserer nye attraktive turer til våre ansatte hvert år