Data Test Automation Engineer
Summary
Build and maintain automated test frameworks for ETL/data pipelines in Azure Databricks and Azure Data Factory, validate data flows, and write Python/SQL to ensure data integrity and consistency.
- Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadczącą usługi IT dla dużych i średnich firm z różnorodnych sektorów.
- Projektowanie, rozwój i wdrażanie zautomatyzowanych rozwiązań testowych dla procesów ETL oraz integracji danych.
- Przeprowadzanie testów funkcjonalnych i niefunkcjonalnych w środowiskach Azure Databricks oraz Azure Data Factory.
- Weryfikacja i walidacja procesów pobierania, transformacji oraz ładowania danych (ingestion, transformation, loading) z wielu źródeł.
- Tworzenie i utrzymywanie frameworków automatyzacji testów dedykowanych dla platform danych.
- Pisanie złożonych zaptań SQL w celu analizy danych, ich walidacji oraz badania defektów.
- Wykorzystanie języka Python do automatyzacji testów danych, ich porównywania, walidacji oraz generowania raportów.
- Przeprowadzanie walidacji danych typu source-to-target oraz dbanie o spójność danych pomiędzy systemami.
- Tworzenie i wykonywanie przypadków testowych dla pipeline w Azure Databricks i Azure Data Factory.
- Tworzenie syntetycznych danych testowych oraz ich maskowanie (data masking).
- Wsparcie inicjatyw CI/CD oraz automatyzacji w obszarze testowania platform danych.
- Tworzenie przejrzystej, dokładnej i kompleksowej dokumentacji testowej.
Kogo poszukujemy?
- Praktycznego doświadczenia w testowaniu funkcjonalnym i niefunkcjonalnym na platformach danych opartych o Azure (Azure Databricks, Azure Data Factory, SQL, Python).
- Silnego nastawienia na walidację danych, ich uzgadnianie (reconciliation), testowanie transformacji oraz automatyzację.
- Umiejętności tworzenia i utrzymywania frameworków do automatyzacji testowania danych.
- Umiejętności pisania zaawansowanych zapytań SQL oraz automatyzacji procesów w języku Python.
- Dobrej znajomości systemów kontroli wersji (np. Git).
- Doświadczenia w zarządzaniu testami przy użyciu narzędzia Xray (mile widziane podejście parametryzowane i skalowalne).
- Umiejętności tworzenia precyzyjnej i czytelnej dokumentacji testowej.
- Mile widziane doświadczenie w testowaniu raportów Power BI (PBI).
- Mile widziana znajomość pipeline CI/CD oraz Azure DevOps.
- Mile widziana znajomość języka PySpark.
- Mile widziane doświadczenie w domenie bankowości korporacyjnej lub inwestycyjnej (produkty, dane referencyjne, dane rynkowe itp.).
- Znajomość języka angielskiego na poziomie B2 lub C1 – umożliwiająca swobodną komunikację w międzynarodowym środowisku.
- Mile widziana dostępność ASAP; akceptowalny jest maksymalnie miesięczny okres wypowiedzenia ze skutkiem na koniec miesiąca.