Senior Data Engineer (Graph) @ DS STREAM

Docelowo budujemy sieć, która połączy milnony podmiotów i osób fizycznych w blisko 10 miliardach relacji w jeden zintegrowany graf. Rozwiązanie posłuży do analizy ryzyka kredytowego, partnerstw oraz compliance – umożliwiając:

• Wieloetapowe wykrywanie ryzyka
• Kalkulację beneficjentów rzeczywistych
• Analizę powiązań sankcyjnych
• Głębokie przeszukiwanie struktur korporacyjnych na skalę, której dzisiejsze, silosowe systemy po prostu nie potrafią dostarczyć.

Must have:

• Biegła znajomość środowiska Databricks.
• Praktyczne doświadczenie z co najmniej dwiema grafowymi bazami danych (zdecydowanie preferowane Neo4j i/lub TigerGraph).
• Przynajmniej praktyczna znajomość języka zapytań Cypher.
• Bardzo mocny PostgreSQL: rekurencyjne CTE (recursive CTEs), widoki zmaterializowane, analiza planów zapytań (query plan analysis) oraz zaawansowane indeksowanie.

Nice to have:

• Znajomość domeny biznesowej KYC / AML.
• Zarządzanie obciążeniami bazodanowymi za pomocą Kubernetes.
• Doświadczenie w deploymentach baz danych w środowisku natywnym dla AWS.

Docelowo budujemy sieć, która połączy milnony podmiotów i osób fizycznych w blisko 10 miliardach relacji w jeden zintegrowany graf. Rozwiązanie posłuży do analizy ryzyka kredytowego, partnerstw oraz compliance – umożliwiając:

• Wieloetapowe wykrywanie ryzyka
• Kalkulację beneficjentów rzeczywistych
• Analizę powiązań sankcyjnych
• Głębokie przeszukiwanie struktur korporacyjnych na skalę, której dzisiejsze, silosowe systemy po prostu nie potrafią dostarczyć.

,(Ekstrakcja danych z Databricks, ich transformacja i ładowanie do rozważanych grafowych baz danych, a następnie powtarzanie procesu w kontrolowanych, mierzalnych warunkach., Budowanie i zarządzanie strukturami relacji oraz powiązań w każdej testowanej bazie, aby precyzyjnie odzwierciedlały docelowe modele danych z produkcji., Implementacja zapytań benchmarkowych w natywnych językach (Cypher, GSQL, nGQL, AQL, openCypher) oraz – jako technicznego punktu odniesienia w PostgreSQL, Budowa API na potrzeby testowanych silników w celu oceny rzeczywistej wydajności zapytań na realnych przypadkach użycia (use cases)., Ewaluacja, punktacja oraz przygotowanie pisemnej analizy wyników, która posłuży jako ostateczna rekomendacja technologiczna zaprezentowana przed kierownictwem inżynierii i architektury.) Requirements: Databricks, Neo4j, TigerGraph, Cypher, PostgreSQL, AWS, KYC, AML Additionally: Bike parking, Free coffee, In-house trainings, Modern office, No dress code.