Technicien data engineering
Summary
Data engineering technician (non-commissioned officer) in the French Air and Space Force's operational information systems and cyberdefense squadron in Mont-de-Marsan, building and maintaining data ingestion/transformation pipelines, APIs and data lake/lakehouse storage using Python, SQL and tools such as Spark, dbt, Trino and Dagster.
Être militaire, c’est servir l’État, au sein des armées, en portant l’uniforme. Cela implique discipline, disponibilité et loyauté. Le sens de l’adaptation et le goût de l’effort sont des qualités indispensables.
Être sous-officier, c’est être en situation de responsabilité, auprès de ses supérieurs mais également auprès du personnel placé sous ses ordres.
Escadron des systèmes d’information opérationnels et de cyberdéfense
Mont-de-Marsan
Les missions de l’Escadron des systèmes d’information opérationnels et de cyberdéfense 62.430 s’articulent autour de 4 pôles : la réalisation de systèmes d’informations opérationnels, y compris embarqués sur aéronef, le soutien de systèmes d’information opérationnels déployés sur les théâtres d’opération, la cyberdéfense, et la valorisation des données Air par une approche orientée Big Data.
POSTE
Vous êtes chargé :
- De développer, exploiter et maintenir les flux d’ingestion et de transformation de données ;
- D’intégrer et de structurer des données issues de sources multiples, structurées ou non structurées ;
- De développer et de maintenir les traitements, connecteurs et interfaces nécessaires à la collecte et à la mise à disposition des données, notamment par API ;
- De contribuer à la mise en œuvre et à l’exploitation des solutions de stockage et de traitement de données, notamment dans des architectures data lake ou lakehouse ;
- De contrôler la qualité, la cohérence et la fiabilité des données et des traitements associés ;
- De superviser l’exécution des flux, d’identifier les anomalies et de contribuer à la résolution des incidents ;
- De tester, documenter et maintenir les développements et les procédures techniques ;
- D’accompagner les data analysts, data scientists et autres utilisateurs dans l’accès et l’exploitation des données ;
- De contribuer à l’amélioration continue des solutions d’ingénierie data et d’assurer une veille technologique.
CONDITIONS PARTICULIÈRES :
- Vous justifiez d’une expérience dans le développement informatique, le traitement de données ou la mise en œuvre de flux de données.
DIPLÔME – FORMATION :
- Vous êtes titulaire d’un diplôme de niveau Bac+2 ou équivalent en informatique, développement logiciel, systèmes d’information, traitement de données ou dans un domaine connexe.
COMPÉTENCES SPÉCIFIQUES REQUISES:
Vous possédez plusieurs des compétences suivantes :
- Maîtrise de Python et de SQL pour le traitement et la manipulation de données ;
- Connaissance des principes d’intégration de données, d’ETL/ELT et des traitements batch ;
- Bonne compréhension des bases de données relationnelles, du stockage objet compatible S3 et des principaux formats de données ;
- Connaissance des principes de qualité, de traçabilité et de contrôle des données ;
- Maîtrise des outils de gestion de versions et des bonnes pratiques de développement, de test et de documentation ;
- Connaissance d’un ou plusieurs outils d’ingénierie des données tels que iceberg, trino, dbt, Spark, Dagster ou équivalents ;
QUALITÉS RECHERCHÉES :
- Vous disposez d’une bonne capacité d’analyse et de résolution de problématiques techniques
- Vous êtes autonome et force de proposition dans l’évolution des solutions ;
- Vous appréciez le travail en équipe et le partage de connaissances
RECRUTEMENT :
Recrutement au grade de sous-officier, défini selon l’expérience et/ou les diplômes détenus.
What they ask for
Required
- Experience in software development, data processing or data pipelines
- Bac+2 degree or equivalent in computer science, software development, information systems or data processing
- Proficiency in Python and SQL for data processing and manipulation
- Knowledge of data integration principles, ETL/ELT and batch processing
- Understanding of relational databases, S3-compatible object storage and common data formats
- Knowledge of data quality, traceability and control principles
- Proficiency with version control tools and development, testing and documentation best practices
- Familiarity with data engineering tools such as Iceberg, Trino, dbt, Spark, Dagster or equivalents
- Good analytical and technical problem-solving ability
- Autonomy and ability to propose improvements
- Enjoy teamwork and knowledge sharing