Data Engineer- Apache Kafka
Posted Updated
Summary
Data Engineer building distributed, highly scalable data solutions: developing and maintaining data pipelines and real-time streaming with Apache Kafka, ETL/ELT processes, and API integrations. Requires professional Data Engineering experience, strong SQL and Python; hybrid role based in Lisbon or Porto.
Estamos à procura de um Data Engineer com experiência em Apache Kafka para integrar uma equipa de desenvolvimento responsável por soluções de dados distribuídas e de elevada escalabilidade.
Terás a oportunidade de trabalhar em projetos de Data Engineering, integração e processamento de dados em tempo real, colaborando com equipas de desenvolvimento, arquitetura e negócio.
Principais responsabilidades
- Desenvolver e manter data pipelines para ingestão, transformação e processamento de grandes volumes de informação;
- Trabalhar com Apache Kafka para implementação de soluções de streaming e comunicação assíncrona entre sistemas;
- Desenvolver e otimizar processos de ETL/ELT;
- Criar e integrar soluções de dados através de APIs e diferentes fontes de informação;
- Garantir a qualidade, consistência e disponibilidade dos dados;
- Participar no desenho e evolução de arquiteturas de dados escaláveis;
- Monitorizar e resolver problemas relacionados com pipelines e processos de ingestão;
- Colaborar com equipas Agile/DevOps no desenvolvimento, testes e deployment das soluções;
- Contribuir para a melhoria contínua da performance, fiabilidade e automação da plataforma de dados.
Requisitos
- Experiência profissional em Data Engineering;
- Experiência prática com Apache Kafka;
- Conhecimentos sólidos de SQL;
- Experiência com Python ou outra linguagem orientada para processamento de dados;
- Experiência com ETL/ELT e data pipelines;
- Conhecimentos de bases de dados relacionais e/ou NoSQL;
- Experiência em ambientes Cloud será valorizada;
- Conhecimentos de Docker, Kubernetes ou CI/CD serão valorizados;
- Capacidade de trabalhar em ambientes distribuídos e com grandes volumes de dados;
- Boa capacidade analítica, autonomia e trabalho em equipa;
- Inglês profissional.
Modelo de trabalho
- Regime híbrido;
- 2 dias por mês no escritório;
- Localização: Lisboa ou Porto.