Ingénieur Data – Plateformes de données AWS- H/F - FNC

A career in IBM Consulting is built on long-term client relationships and close collaboration worldwide. You'll work with leading companies across industries, helping them shape their hybrid cloud and AI journeys. With support from our strategic partners, robust IBM technology, and Red Hat, you'll have the tools to drive meaningful change and accelerate client impact. At IBM Consulting, curiosity fuels success. You'll be encouraged to challenge the norm, explore new ideas, and create innovative solutions that deliver real results. Our culture of growth and empathy focuses on your long-term career development while valuing your unique skills and experiences. As a Data Engineer specializing in Data Platforms on AWS, you will advise on, develop, and maintain data engineering solutions on the AWS Cloud ecosystem. You will design, build, and operate batch and real-time data pipelines using various AWS services. Your primary responsibilities will include:

• Design and Develop Data Pipelines: Design, build, and operate batch and real-time data pipelines using AWS services such as AWS EMR, AWS Glue, Glue Catalog, and Kinesis, ensuring seamless integration and operation of data engineering solutions.
• Create Data Layers: Create data layers on AWS RedShift, Aurora, and DynamoDB, and migrate data using AWS DMS.
• Develop Batch and Real-Time Pipelines: Develop batch and real-time data pipelines for Data Warehouse and Datalake, utilizing AWS Kinesis and Managed Streaming for Apache Kafka.
• Manage Data Services: Schedule and manage data services on the AWS Platform, ensuring seamless integration and operation of data engineering solutions.
• Apply Open Source Technologies: Utilize open source technologies like Apache Airflow and dbt, Spark / Python or Spark / Scala on AWS Platform to support data engineering solutions.
• Exposure to AWS Toolset: Experience working with AWS services such as AWS EMR, AWS Glue, Glue Catalog, and Kinesis to design, build, and operate batch and real-time data pipelines.
• Data Pipeline Development: Exposure to developing batch and real-time data pipelines for Data Warehouse and Datalake, utilizing AWS Kinesis and Managed Streaming for Apache Kafka.
• Data Layer Creation: Experience working with AWS RedShift, Aurora, and DynamoDB to create data layers and migrate data using AWS DMS.
• Open Source Technologies: Exposure to utilizing open source technologies like Apache Airflow and dbt, Spark / Python or Spark / Scala on AWS Platform to support data engineering solutions.
• Data Service Management: Experience working with scheduling and managing data services on the AWS Platform to ensure seamless integration and operation of data engineering solutions.
• Proficiency with AWS Databrew: Experience working with AWS Glue Databrew to support data engineering solutions, including data preparation and data quality.
• Knowledge of Lambda Functions: Exposure to using Lambda functions with Python to support data engineering solutions, including data processing and data integration.
• Familiarity with RedShift Spectrum: Experience working with RedShift Spectrum to support data engineering solutions, including data warehousing and data analytics. Une carrière au sein d’IBM Consulting repose sur des relations durables avec les clients et une collaboration étroite à l’échelle mondiale. Vous travaillerez avec des entreprises de premier plan, issues de nombreux secteurs d’activité, afin de les accompagner dans leur transformation vers le cloud hybride et l’intelligence artificielle.Grâce au soutien de nos partenaires stratégiques, à la puissance des technologies IBM et à l’expertise de Red Hat, vous disposerez des outils et des ressources nécessaires pour générer un impact concret, accélérer l’innovation et créer de la valeur durable pour nos clients.Chez IBM Consulting, la curiosité est un moteur de réussite. Vous serez encouragé à remettre en question les approches établies, à explorer de nouvelles idées et à concevoir des solutions innovantes produisant des résultats concrets. Notre culture, fondée sur le développement, l’empathie et l’apprentissage continu, soutient votre évolution professionnelle sur le long terme tout en valorisant vos compétences et votre parcours uniques. Rejoignez IBM Consulting et contribuez à façonner l’avenir de la transformation numérique pour les plus grandes organisations du monde. En tant qu'Ingénieur(e) Data spécialisé(e) en Plateformes de Données sur AWS, vous conseillerez, développerez et maintiendrez des solutions d'ingénierie des données au sein de l'écosystème AWS Cloud. Vous concevrez, construirez et exploiterez des pipelines de données par lots et en temps réel en utilisant divers services AWS. Vos principales responsabilités seront les suivantes:
• Conception et développement de pipelines de données: Vous concevrez, développerez et exploiterez des pipelines de données par lots et en temps réel en utilisant des services AWS tels que AWS EMR, AWS Glue, Glue Catalog et Kinesis, garantissant une intégration et un fonctionnement fluides des solutions d'ingénierie des données.
• Création de couches de données: Vous créerez des couches de données sur AWS RedShift, Aurora et DynamoDB, et migrerez les données à l'aide d'AWS DMS.
• Développement de pipelines par lots et en temps réel: Vous développerez des pipelines de données par lots et en temps réel pour les entrepôts de données et les datalakes, en utilisant AWS Kinesis et Managed Streaming for Apache Kafka.
• Gestion des services de données: Vous planifierez et gérerez les services de données sur la plateforme AWS, assurant une intégration et un fonctionnement fluides des solutions d'ingénierie des données.
• Utilisation de technologies open source: Vous utiliserez des technologies open source comme Apache Airflow et dbt, Spark/Python ou Spark/Scala sur la plateforme AWS pour soutenir les solutions d'ingénierie des données.
• Expérience de AWS Toolset: Expérience dans l'utilisation des services AWS tels que AWS EMR, AWS Glue, Glue Catalog et Kinesis pour concevoir, construire et exploiter des pipelines de données en mode batch et en temps réel.
• Compréhension approfondie du développement de pipelines de données: Expérience dans le développement de pipelines de données en mode batch et en temps réel pour les Data Warehouse et Datalake, en utilisant AWS Kinesis et Managed Streaming for Apache Kafka.
• Expertise de la création de couches de données: Expérience dans l'utilisation d'AWS RedShift, Aurora et DynamoDB pour créer des couches de données et migrer des données à l'aide d'AWS DMS.
• Expérience des technologies open source: Connaissance de l'utilisation de technologies open source comme Apache Airflow et dbt, Spark/Python ou Spark/Scala sur la plateforme AWS pour soutenir les solutions d'ingénierie des données.
• Maîtrise de la gestion des services de données: Expérience dans la planification et la gestion des services de données sur la plateforme AWS afin d'assurer une intégration et un fonctionnement fluides des solutions d'ingénierie des données.
• Bonne maîtrise d'AWS Glue DataBrew: Expérience dans l'utilisation d'AWS Glue DataBrew pour soutenir les solutions d'ingénierie des données, notamment la préparation et la qualité des données.
• Compréhension approfondie des Lambda Functions: Connaissance de l'utilisation des fonctions Lambda avec Python pour appuyer les solutions d'ingénierie des données, incluant le traitement et l'intégration des données.
• Expertise de RedShift Spectrum: Expérience dans l'utilisation de RedShift Spectrum pour soutenir les solutions d'ingénierie des données, notamment le data warehousing et l'analyse des données. France Hybrid Professional Lille, FR Lille (1296) IBM Services Center - France Amazon Web Services Apache Kafka Data Integration Data Processing Data Quality Data Warehousing Design Integration Delivery Pipelines Python Scala Programming Language Scheduling Spark Data Preparation Data Engineering Data Pipelines AWS Lambda Amazon Redshift Apache Airflow Open Source Data Analytics Amazon DynamoDataBase Real-time Data Dealership Management Systems Amazon Web Services Glue AWS Kinesis AWS Elastic MapReduce Service Management