Pessoa engenheira de dados sênior — foco em governança, catálogo & finops operacional (gcp)
Summary
Senior data engineer role focused on data governance, cataloging and FinOps on Google Cloud: automating metadata pipelines with Dataplex, monitoring and optimizing BigQuery costs, applying security policies (Policy Tags, RLS, DLP) and defining data contracts. Core stack: GCP, BigQuery, Dataplex, Python, SQL, Terraform, Dataform/dbt.
Estamos buscando uma pessoa que ouse protagonizar com a gente.
Responsabilidades e atribuições:
- Governança Ativa e Catalogação: Implementar e evoluir a governança de dados no GCP utilizando Dataplex (Dataplex Catalog / Aspect Types, Business Glossary, Data Lineage, Data Profiling), criando pipelines automatizados de coleta e enriquecimento de metadados — incluindo a propagação automática de descrições e tags a partir dos arquivos .sqlx/.yaml do Dataform/dbt via IA (Antigravity/LLMs) e o mapeamento automatizado de dashboards e fontes do Looker Studio combinando Looker Studio API, Cloud Audit Logs (BigQueryAuditMetadata) e INFORMATION_SCHEMA.JOBS.
- FinOps Operacional no BigQuery: Monitorar continuamente o ambiente via INFORMATION_SCHEMA (jobs, storage, reservations, tabelas órfãs), implementando políticas automatizadas de rotulagem (job_labels e table_labels) para atribuição granular por centro de custo/tribo, criando alertas de anomalia de custo, quotas customizadas por projeto/usuário (maximum_bytes_billed), automatizando o expurgo/arquivamento de tabelas temporárias ou não consultadas (Zombie Tables) e atuando na otimização contínua de queries e armazenamento (Physical vs. Logical bytes).
- Segurança e Privacidade (By Design): Definir e automatizar políticas de segurança de dados no BigQuery: controle de acesso baseado em tags (Policy Tags para segurança em nível de coluna - CLS), segurança em nível de linha (RLS) e mascaramento dinâmico de dados (PII/LGPD), integrando varreduras automatizadas com Sensitive Data Protection (Cloud DLP) para descoberta e classificação automática de colunas sensíveis recém-ingeridas via código (Terraform/Python).
- Contratos de Dados: Definir a especificação técnica e o schema de Data Contracts (YAML/JSON Schema), o catálogo de contratos e as regras de evolução de schema (Schema Evolution) entre produtores e consumidores de dados, garantindo que as regras sejam acopladas às esteiras de CI/CD e que alterações em sistemas de origem não quebrem o Data Lake de forma silenciosa.
Requisitos e qualificações:
- Experiência avançada em Google Cloud Dataplex (incluindo a nova arquitetura de Aspect Types e Entry Groups do Dataplex Catalog em evolução ao Data Catalog clássico), Cloud IAM, Policy Tags e governança de dados em larga escala no BigQuery.
- Domínio profundo das views do INFORMATION_SCHEMA do BigQuery (JOBS_BY_ORGANIZATION, TABLE_STORAGE_BY_ORGANIZATION, RESERVATION_CHANGES, STREAMING_TIMELINE), exportação de Cloud Billing Detailed Usage Cost, Cloud Audit Logs e APIs do ecossistema GCP (incluindo Looker Studio API) para construção de soluções automatizadas de observabilidade, inventário e FinOps.
- Sólidos conhecimentos em Python e SQL para automação de políticas de governança, scripts de auditoria e pipelines de metadados.
- Conhecimento prático da arquitetura de precificação do BigQuery (On-Demand vs. Editions/Slots, Storage Logical vs. Physical, Time Travel costs), técnicas comprovadas de redução de custos e entendimento do impacto de performance/cache ao aplicar Row-Level Security (RLS) e Dynamic Data Masking sobre tabelas particionadas e clusterizadas.
Desejável:
- Experiência prática com Sensitive Data Protection (Cloud DLP) no GCP para classificação automática de dados pessoais (LGPD).
- Certificação FinOps Certified Practitioner ou Google Cloud Professional Cloud Security / Data Engineer.
- Experiência com padrões abertos de contratos de dados, como OpenDataContractStandard (ODCS) ou Data Contract Specification, integrados a catálogos de dados.
- Experiência no uso de LLMs/Agentes para enriquecimento automatizado de dicionários de dados e classificação semântica de tabelas legadas.
Informações adicionais:
Por aqui, você também conta com vantagens pensadas para apoiar sua rotina, bem-estar e desenvolvimento:
- Zenklub: duas sessões gratuitas por mês com psicólogos, terapeutas, nutricionistas ou coaches. Sessões extras saem por R$ 70 e o benefício também pode incluir dependentes.
- ️ Wellhub (Gympass): acesso a descontos de até 75% em mais de 22 mil academias espalhadas pelo Brasil.
- MomCare: incentivo monetário flexível no período pós-licença maternidade.
- Incentivo Alura: apoio ao desenvolvimento contínuo, com subsídio de 50% da licença Alura Plus, via reembolso pelo período de 12 meses.
- Parcerias educacionais: descontos de até 70% em diversas instituições de ensino, incluindo graduação, pós-graduação, MBAs, idiomas e muito mais.
- RecomenDatum: suas conexões também podem gerar oportunidades! Indique profissionais para o nosso time ou empresas para nosso ecossistema e ganha recompensas.
Quer conhecer outras vantagens de fazer parte da Datum? Acesse a home da nossa página de carreiras para conhecer os demais benefícios que oferecemos.
*Os benefícios podem variar conforme os acordos definidos na contratação.