Mid Data Engineer
Summary
Mid-level data engineer for a 3-6 month project developing, maintaining, and optimizing data pipelines in PySpark with Databricks for large-scale data processing. Day to day: integrating data from multiple sources, tuning SQL queries, implementing data quality checks, and fixing performance issues.
Projekt data engineeringowy na 3–6 miesięcy, w którym głównym zadaniem będzie rozwijanie, utrzymanie i optymalizacja pipeline'ów danych w PySpark oraz praca z Databricks przy przetwarzaniu dużych zbiorów. Będziesz integrować dane z różnych źródeł, optymalizować zapytania SQL, wdrażać kontrole jakości danych i rozwiązywać problemy wydajnościowe. To oferta dla samodzielnego inżyniera danych na poziomie mid, dla którego PySpark jest kluczową kompetencją, a Databricks to obszar do dalszego rozwoju.
Wymagania
- mocne, praktyczne doświadczenie z PySpark (kluczowe wymaganie)
- komercyjne doświadczenie w Data Engineering na poziomie mid
- bardzo dobra znajomość SQL i technik transformacji danych
- praktyczne rozumienie Apache Spark i przetwarzania rozproszonego
- podstawowe praktyczne doświadczenie z Databricks
- doświadczenie w budowie i utrzymaniu pipeline'ów ETL/ELT
- znajomość środowisk chmurowych (Azure, AWS lub GCP)