Big Data Engineer
Summary
Builds and optimizes distributed data pipelines using Apache Spark (Python/Scala) to process large datasets for enterprise clients.
Billennium to globalna firma technologiczna z ponad 20-letnim doświadczeniem we współpracy z międzynarodowymi klientami. Działamy w dynamicznym środowisku, w którym kluczowe są odpowiedzialność, jasna komunikacja i mierzalne rezultaty.
Overview
Poszukujemy Big Data Developera, który dołączy do zespołu rozwijającego rozwiązania przetwarzające duże wolumeny danych w środowisku rozproszonym. Będziesz mieć realny wpływ na kształt architektury oraz jakość budowanych rozwiązań, pracując z nowoczesnym stackiem technologicznym.
Praca odbywa się w modelu hybrydowy (raz na dwa tygodnie). Biura naszego klienta znajdują się w Warszawie oraz Łodzi.
Responsibilities
- Projektowanie i rozwój rozwiązań Big Data w oparciu o Apache Spark (Python / Scala)
- Przetwarzanie oraz integracja danych z wielu źródeł
- Praca z dużymi zbiorami danych w architekturach rozproszonych
- Optymalizacja wydajności procesów przetwarzania danych
- Współpraca z zespołem projektowym oraz udział w usprawnianiu procesów
Requirements
- Minimum 2 lata doświadczenia w pracy z Apache Spark (Python lub Scala)
- Dobra znajomość koncepcji Big Data, hurtowni danych oraz zarządzania danymi
- Doświadczenie z platformami Hadoop (Cloudera lub Hortonworks)
- Znajomość dobrych praktyk inżynieryjnych (modelowanie danych, testowanie, wdrożenia)
- Doświadczenie w pracy z formatami danych: JSON, Parquet, ORC, Avro
- Bardzo dobra znajomość SQL
- Znajomość różnych typów baz danych (Hive, Kudu, HBase, Iceberg)
- Doświadczenie w integracji danych z wielu źródeł
- Znajomość narzędzi buildowych (np. Maven)
Nice to have
- Znajomość Agile (Scrum, Kanban) oraz narzędzi: Jira, Confluence
- Doświadczenie z Kubeflow
- Znajomość narzędzi streamingowych (Kafka, Apache NiFi)
- Wiedza z zakresu automatyzacji CI/CD
- Elastyczny model pracy oraz godziny pracy
- Szeroki pakiet benefitów: prywatna opieka medyczna, karta Multisport, lekcje językowe, Udemy for Business, vouchery, opieka weterynaryjna
- Możliwość pracy w środowisku międzynarodowym i współpracy z globalnymi zespołami
- Szkolenia oraz programy rozwojowe w stabilnej organizacji z przestrzenią na innowacje
- Inicjatywy zespołowe, sesje dzielenia się wiedzą, działania CSR oraz wydarzenia firmowe