Senior Data Engineer

• Senior Data Enginner
• Lokalizacja: Warszawa, Polska
• Tryb pracy: Hybrydowy, 1 dzień w tygodniu z biura
• Współpraca: B2B
• Stawka: B2B: od 70 do 129 pln netto/h

O firmie/projekcie

Kogo szukamy

Twórz z nami nowoczesne rozwiązania Data Lake i DWH w środowisku GCP, mające realny wpływ na decyzje biznesowe. Pracuj z zaawansowanymi technologiami Big Data, GenAI oraz architekturą zdarzeniową, rozwijając swoje kompetencje w Pythonie i Rust. Dołącz do zespołu, który działa w modelu DevSecOps i buduje skalowalne rozwiązania przyszłości. 🚀

Zadania

• Projektowanie i budowa rozwiązań klasy Data Lake oraz Data Warehouse (DWH),
• Realizacja procesów zasilania danych on-line oraz off-line,
• Projektowanie i wdrażanie rozwiązań informatycznych w obszarze integracji i zasilania danych,
• Analiza danych oraz przygotowywanie modeli logicznych i fizycznych,
• Optymalizacja i strojenie zapytań SQL w bazach relacyjnych i hurtownianych (on-premise oraz GCP),
• Tworzenie przepływów danych on-line i off-line w narzędziach on-prem oraz chmurowych (GCP),
• Implementacja procesów ładowania danych w Python oraz Rust dla danych strukturalnych i niestrukturalnych,
• Budowa datamartów tematycznych na bazach relacyjnych i kolumnowych,
• Opracowywanie koncepcji oraz implementacja rozwiązań zgodnie z wymaganiami biznesowymi,
• Udział w analizie i usuwaniu incydentów oraz rozwiązywaniu problemów,
• Wsparcie testów oraz wdrożeń zmian w obszarze procesów zasilania danych,
• Wsparcie serwisowe dla wdrożonego oprogramowania,
• Praca zgodnie z modelem DevSecOps.

Wymagania

• Doświadczenie w projektowaniu oraz budowie rozwiązań klasy Data Lake,
• Praktyczna znajomość programowania w językach Python i/lub Rust,
• Doświadczenie w pracy z architekturą sterowaną zdarzeniami (np. Kafka, Pub/Sub),
• Bardzo dobra znajomość baz danych Google Cloud Platform, w szczególności BigQuery (projektowanie, budowa oraz tuning),
• Znajomość relacyjnych baz danych Oracle oraz PostgreSQL (projektowanie, budowa i optymalizacja),
• Zaawansowana znajomość systemu operacyjnego Linux.

Mile widziane

• Doświadczenie w budowie rozwiązań Big Data wykorzystujących możliwości GenAI, w tym przetwarzanie danych niestrukturalnych (np. transkrypcje audio, dokumenty tekstowe, obrazy),
• Znajomość narzędzia Automate Now,
• Doświadczenie w pracy z Apache Airflow,
• Znajomość Apache Spark (preferowane środowisko GCP DataProc),
• Znajomość Apache Beam (preferowane środowisko GCP DataFlow),
• Doświadczenie z Informatica PowerCenter.

Co oferujemy