Manufacturing Data Engineer AWS H/F

■ Ingestion & Intégration des données

 Connecter les sources de données (MES, ERP SAP, PLM, capteurs IoT, APIs tierces) vers la plateforme AWS
 Concevoir et développer des pipelines d'ingestion temps réel (Kinesis Data Streams, MSK/Kafka) et batch (AWS Glue, Lambda, Step Functions)
 Intégrer de nouveaux flux dans l'écosystème data en respectant les standards de qualité et de traçabilité
 Gérer les schémas d'import/export et les moteurs de contrôle qualité à l'entrée des données

■ Transformation & Enrichissement des données (couche Transformed & Enriched)

 Mettre en œuvre une architecture médaillon (Bronze / Silver / Gold) sur Amazon S3
 Développer les transformations AWS Glue (PySpark) pour enrichir, nettoyer et réconcilier les données
 Garantir la cohérence des modèles de données entre les différentes couches du Lakehouse
 Implémenter des règles de qualité des données et monitorer les anomalies

■ Construction & Maintenance du Lakehouse AWS

 Concevoir et opérer l'architecture Lakehouse : S3 (format Parquet/Iceberg), AWS Glue, Redshift Spectrum / Athena
 Administrer et optimiser le data warehouse Redshift (distribution keys, sort keys, WLM)
 Mettre en place le catalogage des données via AWS Glue Data Catalog et/ou Apache Atlas
 Gérer les politiques d'accès et de sécurité des données (Lake Formation, IAM, chiffrement KMS)
 Assurer la performance, la scalabilité et la maîtrise des coûts de l'infrastructure data

■ Gouvernance & Catalogage

 Maintenir et enrichir le catalogue de données (métadonnées techniques et métier, lignage, glossaire)
 Contribuer à la mise en place des Data Contracts entre les producteurs et consommateurs de données
 Performer et faire évoluer les besoins de données avec l'équipe de gouvernance data
 Documenter les modèles de données, les flux et les décisions d'architecture

■ Accompagnement des clients internes & Animation Data

 Recueillir et formaliser les besoins des équipes métier (production, méthodes, direction)
 Organiser et animer des ateliers de co-construction de dashboards Power BI et des présentations
 Être force de proposition pour standardiser et industrialiser les pratiques data au sein de l'entreprise
 Former les utilisateurs à l'exploitation des données et des outils BI

■ Industrialisation & Représentation

 Rédiger les spécifications fonctionnelles et le plan de recettage des livrables data
 Être le référent du service pour la gestion des prestataires (centre de service d'industrialisation)
 Contrôler et valider les livrables des sous-traitants
 Représenter le service dans les échanges de données entre nos applications et les autres systèmes de la continuité numérique (ERP, PLM, MES, industrie étendue)

■ Cloud AWS (cœur du poste)
Amazon S3 + Parquet/Iceberg
AWS Glue (ETL + Catalog)
Amazon Redshift
Amazon Athena
Kinesis / MSK (Kafka)
AWS Step Functions / Lambda
AWS Lake Formation + IAM
CloudWatch + Cost Explorer

■ Langages & Frameworks

Python (PySpark, Pandas)
SQL avancé
Terraform / CloudFormation

■ Visualisation & Outils Métier
Git / CI-CD