Data Engineer

Team Connect to wiodący w Polsce dostawca usług IT w modelunearshore i offshore. Od 2008 roku z sukcesem tworzymy oraz rozwijamy oprogramowanie dla naszych klientów.Specjalizujemy się w wytwarzaniu oprogramowania w oparciu o metodykiAgile i DevOps- od etapu analizy, przez implementację, aż po dalszy rozwój produktu. Tworzymy aplikacjebackendowe, frontendowe oraz mobilne.

Dla jednego z naszych klientów z branży finansowej poszukujemy osoby na stanowisko Data Engineer. Specjalista/tka dołączy do wysoko wydajnego zespołu tworzącego nowoczesne platformy danych oraz rozwiązania oparte na danych dla klientów z sektora Usług Finansowych i Bankowości Inwestycyjnej. Rola koncentruje się na budowie, integracji i utrzymaniu skalowalnych potoków danych (data pipelines) wspierających analitykę, zarządzanie ryzykiem, wymagania regulacyjne oraz procesy raportowania.

Lokalizacja: praca hybrydowa z Wrocławia/Poznania (2 razy na tydzień praca z biura)

Zakres obowiązków:

• Projektowanie, rozwój i utrzymanie potoków danych ETL/ELT dla danych ustrukturyzowanych i częściowo ustrukturyzowanych.
• Budowa i optymalizacja rozwiązań typu data lakehouse wspierających analitykę, raportowanie oraz wymagania regulacyjne.
• Implementacja procesów pozyskiwania danych z wielu źródeł (bazy danych, API, pliki, strumienie komunikatów/zdarzeń).
• Wykonywanie transformacji danych, walidacji oraz kontroli jakości w całych przepływach danych (end-to-end).
• Współpraca z Analitykami Biznesowymi oraz interesariuszami w celu przełożenia wymagań biznesowych na rozwiązania danych.
• Wsparcie środowisk produkcyjnych, analiza incydentów oraz udział w optymalizacji wydajności.
• Zapewnienie zgodności z zasadami zarządzania danymi (data governance), bezpieczeństwa oraz standardami regulacyjnymi.

Wymagania:

• Min.3–7+ lat doświadczenia jako Inżynier Danych lub na podobnym stanowisku.
• Udokumentowane doświadczenie w dostarczaniu rozwiązań danych dla sektora Financial Services / Investment Banking.
• Silne doświadczenie w zakresie: integracji danych, transformacji danych, modelowania danych.
• Doświadczenie w pracy z platformami danych działającymi w chmurze.
• Doświadczenie/Znajomość:
  • Programowanie i przetwarzanie danych: Python, SQL, PySpark,
  • Platformy danych: Databricks (Delta Lake, DLT),
  • Coud data lakes / architektury lakehouse,
  • Chmura: Azure: ADLS (Azure Data Lake Storage), Data Factory, Synapse lub równoważne usługi chmurowe,
  • Modelowanie danych: Architektura Medallion, Modele wymiarowe (dimensional models), Data Vault (mile widziane),
  • Integracja: REST API, Przetwarzanie wsadowe (batch ingestion), Przetwarzanie strumieniowe (streaming ingestion),
  • DevOps i narzędzia: Git, Pipeline’y CI/CD, Azure DevOps lub podobne narzędzi,
  • Bardzo dobra znajomość: jakości danych, optymalizacji wydajności, skalowalności rozwiązań.