Data Engineer | GCP
Summary
Data Engineer specializing in Google Cloud, working remotely from Portugal on a data platform project impacting several European countries. Day to day involves building and optimizing BigQuery ingestion pipelines, orchestrating workflows with Cloud Composer (Airflow), working with Cloud Run and GCS, and monitoring platform health.
Procuramos um Data Engineer, especialista em GCP, para integrar um projeto com impacto em vários países europeus. Terá a oportunidade de trabalhar em plataformas de dados moderna baseada em Google Cloud, contribuindo para a implementação, evolução e operação de soluções de dados escaláveis, robustas e de elevada performance.
Localização: Portugal (Remoto). Para profissionais na região de Lisboa poderá existir regime híbrido de 2 a 3 dias por semana.
Tempo mínimo de experiência:
- Mínimo de 5 anos de experiência em Data Engineering e plataformas Cloud de Dados
Principais Requisitos:
- Experiência comprovada em Google Cloud Platform (GCP)
- Forte experiência com Google BigQuery
- Experiência no desenvolvimento e otimização de pipelines de dados em produção
- Conhecimentos sólidos em Cloud Run
- Experiência prática com Google Cloud Storage (GCS)
- Experiência em Google Cloud Composer (Managed Airflow)
- Experiência em implementação e validação de modelos de dados
- Experiência em monitorização, troubleshooting e suporte operacional
- Português nativo ou fluente e Inglês nível B2 ou superior
Responsabilidades:
- Implementar e operacionalizar a solução de Data Model no ambiente de destino
- Desenvolver e otimizar pipelines de ingestão de dados para BigQuery
- Garantir escalabilidade, desempenho e qualidade dos dados
- Implementar e manter workflows de orquestração utilizando Cloud Composer (Airflow)
- Validar camadas de ingestão, transformação, histórico e consumo de dados
- Monitorizar a saúde da plataforma através de Cloud Logging e mecanismos de alerta
- Identificar e resolver problemas relacionados com pipelines, processamento e infraestrutura
- Colaborar com arquitetos, equipas de desenvolvimento e stakeholders de negócio
- Apoiar a evolução funcional da plataforma e a integração de novas capacidades
- Garantir boas práticas de engenharia de dados e estabilidade operacional
Se tem experiência prática em ambientes produtivos GCP, gosta de otimizar pipelines de dados e pretende participar em projetos de grande dimensão, esta pode ser a oportunidade ideal para si.