Data Engineer
Posted Updated
Summary
Data Engineer building and maintaining ETL/ELT data pipelines on Google Cloud Platform for an international project, using Python and SQL, with support for integrating AI models into pipelines. Hybrid role based in Lisbon with about 10 office days per month.
Procuramos um(a) Data Engineer – GCP / Python para integrar um projeto internacional, com atuação em ambientes cloud e desenvolvimento de pipelines de dados escaláveis.
A posição é híbrida em Lisboa, com presença no escritório cerca de 10 vezes por mês.
Responsabilidades
- Desenvolver e manter pipelines de dados ETL/ELT.
- Criar e evoluir soluções de dados em Google Cloud Platform.
- Desenvolver transformações, automações e validações utilizando Python e SQL.
- Apoiar a integração de modelos de IA em pipelines de dados.
- Realizar testes, validação de dados e controles de qualidade.
- Implementar boas práticas de monitorização, segurança, governança e documentação.
Requisitos
- 3+ anos de experiência em Data Engineering.
- Experiência sólida com Python e SQL.
- Experiência prática com GCP, especialmente BigQuery, Cloud Storage, Dataflow/Beam, Dataproc, Pub/Sub e Cloud Composer/Airflow.
- Experiência com modelagem de dados e pipelines em produção.
- Conhecimentos de Git, CI/CD e ferramentas de orquestração.
- Conhecimentos de MLOps e operacionalização de modelos de IA.
Diferenciais
Experiência com Spark, Databricks, Vertex AI, Kafka, Looker, Tableau ou Power BI, além de conhecimentos em UAT, QA e governança de dados.