Data Engineer (K/M)
Posted 1
view
Summary
Data Engineer in Warsaw who designs, builds and maintains ETL/ELT data pipelines, models and optimizes relational and vector databases, and prepares data for AI/ML and LLM systems. Core stack: Python, SQL, PostgreSQL/MySQL/Oracle, AWS/GCP/Azure, with Airflow and Big Data tech.
WYMAGANIA:
- Minimum 4 lata doświadczenia na stanowisku Data Engineera lub w pokrewnej roli
- Bardzo dobra znajomość Python oraz SQL
- Doświadczenie w budowie i utrzymaniu pipeline’ów danych (ETL/ELT)
- Praktyczna znajomość pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi (transformacje, normalizacja, przygotowanie)
- Umiejętność modelowania danych oraz pracy z różnymi schematami baz danych
- Doświadczenie z relacyjnymi bazami danych (np. PostgreSQL, MySQL, MS SQL, Oracle)
- Znajomość wektorowych baz danych i ich zastosowań w kontekście AI
- Doświadczenie w integracji z API
- Znajomość rozwiązań chmurowych (AWS, GCP lub Azure)
- Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem technologii Big Data
Mile widziane:
- Doświadczenie w projektach wykorzystujących LLM (np. RAG)
- Znajomość narzędzi do orkiestracji danych (np. Airflow)
- Współpraca z zespołami ML / AI
- Doświadczenie w migracjach i znajomość architektury rozwiązań CRM (Pega, Salesforce, SAS, Adobe)
ZADANIA:
- Projektowanie, budowa i utrzymanie pipeline’ów danych (ETL/ELT)
- Integracja danych z różnych źródeł oraz zapewnienie ich jakości i spójności
- Modelowanie danych i projektowanie struktur bazodanowych
- Zarządzanie oraz optymalizacja baz danych (relacyjnych i wektorowych)
- Przygotowywanie danych na potrzeby systemów AI/ML (w tym LLM)
- Współpraca z zespołami AI/ML w zakresie dostarczania i przetwarzania danych
- Implementacja rozwiązań w chmurze (AWS, GCP, Azure) związanych z przetwarzaniem danych
- Monitorowanie i optymalizacja wydajności pipeline’ów oraz procesów danych
- Wdrażanie dobrych praktyk w zakresie zarządzania danymi i ich bezpieczeństwa