Machine Learning Engineer Databricks / Microsoft
Summary
MLOps/ML engineer at a French data-AI services firm: industrialize ML and generative-AI models into production, build MLOps platforms on Azure Databricks (MLflow, Unity Catalog, Mosaic AI) and the Azure AI ecosystem, with CI/CD pipelines and production model monitoring. Requires 3+ years in data plus strong Python/Docker/CI-CD engineering skills.
Vos missions :
Industrialiser les modèles de Machine Learning et d’IA Générative : collaborer étroitement avec les Data Scientists pour transformer leurs modèles en produits prêts pour la production.
Concevoir et opérer des plateformes MLOps sur Azure Databricks : MLflow (tracking, Model Registry dans Unity Catalog), Feature Engineering, Mosaic AI Model Serving, Lakeflow Jobs, Databricks Asset Bundles.
Développer des solutions d’IA Générative sur Databricks : RAG avec Mosaic AI Vector Search, agents avec Agent Framework / Agent Bricks, évaluation et traçabilité avec MLflow.
Déployer des solutions ML et GenAI sur l’écosystème Microsoft Azure : Azure Machine Learning (pipelines, registry, endpoints), Azure AI Foundry, Azure OpenAI, Azure AI Search, Azure AI Services, Azure Functions.
Concevoir et optimiser des pipelines CI/CD pour l’entraînement, l’évaluation et le déploiement continu des modèles (GitHub Actions, Azure DevOps, Docker).
Mettre en place le monitoring des modèles en production : dérive des données et des modèles, qualité des prédictions, latence et coûts.
Optimiser les processus d’inférence batch et temps réel pour garantir scalabilité et maîtrise des coûts.
Promouvoir les bonnes pratiques de Software Engineering : revues de code, tests unitaires et d’intégration, gestion des dépendances.
Participer au cadrage de projets IA : recueil des besoins, définition de l’architecture et de la solution technique, accompagnement des Product Owners et des équipes métiers.
Participer à la conception d’offres innovantes autour du MLOps, de l’IA Générative (RAG, agents, LLMOps)… et à leur promotion.
Compétences techniques attendues :
Expérience significative d’au moins 3 ans dans la data
Maîtrise des technologies Microsoft Azure, Azure Databricks
Utilisation des coding agents : Claude Code, GitHub Copilot etc….
Expérience dans le déploiement et le monitoring de modèles en production
Solide expérience en Software Engineering appliqué à la Data / IA : Python, Git, Docker, CI/CD.
Maîtrise d’Azure Databricks pour le Machine Learning et l’IA :
Cycle de vie des modèles avec MLflow : suivi des expériences, Model Registry dans Unity Catalog (versions, alias, lignage), évaluation des modèles.
Feature Engineering : tables de features dans Unity Catalog, features en ligne pour l’inférence temps réel.
Mosaic AI Model Serving : déploiement de modèles custom, Foundation Model APIs et modèles externes (Azure OpenAI), AI Gateway (quotas, guardrails, suivi des usages).
Inférence batch : AI Functions (ai_query), Pandas UDF, Spark.
IA Générative et agents : Mosaic AI Vector Search, RAG, Agent Framework / Agent Bricks, MLflow Tracing et évaluation des LLM.
Monitoring : Lakehouse Monitoring et inference tables (dérive des données, qualité des prédictions).
Entraînement à l’échelle : PySpark, Delta Lake, clusters GPU, entraînement distribué (TorchDistributor, Ray), optimisation des hyperparamètres (Optuna), AutoML.
Industrialisation : Databricks Asset Bundles, MLOps Stacks, Lakeflow Jobs, Git folders, CI/CD.
Gouvernance et coûts : Unity Catalog (droits, lignage des modèles et des données), compute serverless, maîtrise des coûts.
Atout : Databricks Apps pour exposer des applications IA aux métiers.
Maîtrise de l’écosystème MLOps Microsoft Azure : Azure Machine Learning (Pipelines, Model Registry, Endpoints), Azure AI Foundry, Azure AI Search, Azure Functions, Azure DevOps.
Bonne compréhension des concepts de Machine Learning et des enjeux spécifiques de l’IA Générative (LLMOps, RAG, évaluation des LLM).
1er échange téléphonique de fit pour vous présenter, présenter votre parcours et vos motivations
2ème échange RH pour bien comprendre vos ambitions et vos motivations mais aussi pour vous projeter sur votre rôle au sein de Datatorii (durée : 45mn à 1h, Teams ou présentiel)
3ème et dernier échange avec un Directeur Technique selon votre profil pour valider votre niveau technique
Nous sommes agiles ! Ces entretiens peuvent se faire en visio et/ou en présentiel, dans cet ordre ou un autre.