Skip to content
Search jobs inside your AI agent. Claude, ChatGPT, Claude Code, Codex, Gemini, Cursor and Grok
Connect

Collective.work

NewBe an early applicant

Architecte Data Engineering Microsoft Fabric senior - Freelance (H/F)

Posted Updated

Description

CONTEXTELa banque est organisée en cinq lignes métier : Corporate Banking, Banque des professions réglementées, Wealth Management, Corporate & Investment Banking, Correspondent Banking. Son équipe Data BI Analytique compte 9 personnes rattachées au Head of Data (product manager, analytics engineers, data engineers, data analysts) et développe avec des agents (Claude Code, Copilot).La plateforme tourne en production depuis un an sur Microsoft Fabric. Elle alimente le reporting (PNB, cockpits métiers, qualité des données) et les projets réglementaires. L'équipe veut fiabiliser ce socle avant d'y adosser l'ontologie Fabric IQ et des agents IA.ENVIRONNEMENT * Fabric : OneLake, Lakehouse, Spark / PySpark, SQL endpoint, Direct Lake, capacité dédiée * Architecture médaillon Bronze / Silver / Gold, chaîne _ops * Environ 180 pipelines, 600 notebooks, un package Python partagé * Formats Delta Lake et Parquet * Sources : core banking SAB, Salesforce, via une couche API temps réel et le DataHub Fabric * Sécurité : Entra ID, rôles Fabric, RLS / OLS, RBAC Azure * Restitution : Power BI, applications HTML interactivesMISSIONSL'expert audite et optimise le socle sur trois volets. Chacun est mesuré avant et après, puis transmis à l'équipe (documentation, bonnes pratiques, atelier de restitution). Il se concentre sur les traitements les plus coûteux plutôt que de tout passer en revue.Sécurité et habilitations * Revue des workspaces, rôles, groupes Entra ID, partages, RLS / OLS, étiquettes de confidentialité, paramètres de tenant, identités, shortcuts, private endpoints * Cartographie des accès, rapport d'écarts priorisé, matrice cible des habilitations, matrice Fabric / RBAC Azure * Plan de remédiation, standard de nommage, procédure de recertification * Gouvernance des accès via OneLake Catalog et OneLake Security, architecture d'anonymisation hors productionSocle de développement * Inventaire des formats par couche et doctrine Delta / Parquet, avec grille de décision et plan de convergence * Diagnostic et optimisation des alimentations quotidiennes de plus de 30 minutesPerformance, coût et durabilité * Audit des jobs les plus coûteux : pools Spark, exécuteurs, autoscale, partitions, shuffle, AQE, petits fichiers * Doctrine de partitionnement, politique de rétention, plan de maintenance OPTIMIZE / VACUUM * Revue de code (anti-patterns, tests, documentation), quick wins chiffrés, refactoring de jobs pilotes * Préparation des tables pour Direct LakeCOMPÉTENCES ATTENDUES * Microsoft Fabric : Lakehouse, OneLake, Spark / PySpark, Delta Lake, SQL endpoint, Direct Lake, pipelines, environnements, gestion de capacité. Certification DP-600 ou DP-700 appréciée * Azure : Entra ID, RBAC, Key Vault, stockage, private endpoints * Ingénierie logicielle : Python packagé (wheel), tests automatisés, Git, CI/CD, revue de code * Data : architecture médaillon, modélisation, qualité des données, modèles sémantiques Power BI * Pratiques IA : usage courant de Claude Code ou Copilot * Métier : contexte bancaire et données comptables appréciés, connaissance de SAB en plusPROFIL8 ans et plus en data engineering ou architecture data, avec un déploiement Fabric mené en production. 1. 8 ans et plus en data engineering ou architecture data 2. Expérience avec un déploiement Fabric mené en production 3. Compétences en Microsoft Fabric : Lakehouse, OneLake, Spark / PySpark, Delta Lake, SQL endpoint, Direct Lake, pipelines, environnements, gestion de capacité 4. Certification DP-600 ou DP-700 appréciée 5. Connaissances en Azure : Entra ID, RBAC, Key Vault, stockage, private endpoints 6. Maîtrise de l'ingénierie logicielle : Python packagé (wheel), tests automatisés, Git, CI/CD, revue de code 7. Compétences en data : architecture médaillon, modélisation, qualité des données, modèles

Skills

What Senior Data Engineering jobs ask for — and how much of it you have →
Apply

See also

Data Engineering jobs by country — openings, pay and top skills →