Engenheiro de Dados Sênior

Engenheiro(a) de Dados Sênior, com sólida experiência em Google Cloud Platform (GCP), para atuar no desenvolvimento e na sustentação de soluções de engenharia de dados, construindo pipelines escaláveis, confiáveis e eficientes para processamento e disponibilização de dados.

Principais responsabilidades

• Engenharia de Dados na GCP: Projetar, desenvolver, orquestrar e otimizar pipelines de dados (batch e streaming) utilizando as principais ferramentas do ecossistema Google Cloud (BigQuery, Dataflow, Dataproc e Pub/Sub).
• Integração Multicloud e Híbrida: Conectar e integrar dados de ambientes diversos, incluindo Oracle (OCI), SQL Server (on-premises) e AWS (S3).
• Qualidade e Eficiência: Garantir a qualidade, escalabilidade, monitoramento e governança dos dados, além de focar na otimização de custos de armazenamento e processamento.
• Colaboração Estratégica: Apoiar times de Ciência e Análise de Dados, estruturando e preparando as informações para o consumo do negócio.

Requisitos técnicos

• Ingestão de Dados: Construção de pipelines ETL/ELT escaláveis em tempo real (Pub/Sub) e em lote (Dataflow, Apache Beam, Storage Transfer), integrando bancos relacionais (Oracle, SQL Server, MySQL) via JDBC ou soluções customizadas.
• Armazenamento e Processamento: Estruturação de Data Lakes no Cloud Storage (camadas Raw a Gold), modelagem e otimização no BigQuery (particionamento/clustering), além de uso de Dataproc (Spark/Hadoop) e bancos NoSQL (Bigtable, Firestore).
• Modelagem e Transformação: Desenvolvimento de transformações de dados em batch e streaming usando dbt ou Dataform, aplicando boas práticas de modelagem dimensional.
• Orquestração e Automação: Gerenciamento de fluxos complexos via Cloud Composer (Airflow) ou Workflows, aliado a microsserviços serverless (Cloud Functions, Cloud Run) com foco em monitoramento e tratamento de falhas.
• Linguagens e Ferramentas: Domínio de Python, SQL avançado (BigQuery) e controle de versão (Git / CI-CD).

Entregas esperadas

• Desenvolvimento de pipelines no Dataflow para extração de dados de Oracle e SQL Server, transformação e carga no BigQuery.
• Estruturação de modelos analíticos no BigQuery, organizados em camadas Raw, Bronze, Silver e Gold.
• Implementação de orquestrações no Cloud Composer, com execução ordenada, monitoramento e tratamento de falhas.
• Documentação de tabelas, metadados e ativos de dados utilizando Dataplex e/ou Data Catalog.

Diferenciais

Experiência ou conhecimento em sistemas de informação hospitalar e de saúde, especialmente:

• PEP / EMR / EHR: Prontuário Eletrônico do Paciente e sistemas de registro e gestão do histórico clínico.
• RIS (Radiology Information System): sistemas de informação para gestão de exames de imagem.
• LIS (Laboratory Information System): sistemas de informação para gestão de exames laboratoriais.
• Sistemas de agendamento e regulação: soluções para controle de consultas, internações e centro cirúrgico.

Requisitos

Valorizado

Experiência profissional