Snowflake Data Engineer
Summary
Designs and builds Snowflake-based data pipelines and warehouses for clients in banking, healthcare, retail and other industries, using ETL tools, AWS services and real-time streaming tech.
Dla jednego z naszych klientów, firmy konsultingowej poszukujemy Snowflake Data Engineera, który dołączy do rozwijającego się zespołu Data & Analytics pomagając klientom rozwiązywać złożone wyzwania biznesowe przy wykorzystaniu danych i nowoczesnych technologii.
W zespole analizujemy dane, aby wydobywać z nich największą wartość i identyfikować nowe możliwości biznesowe w takich branżach jak bankowość, ubezpieczenia, produkcja, opieka zdrowotna, handel detaliczny, motoryzacja, łańcuch dostaw oraz finanse.
Poszukujemy osobę posiadającą solidną wiedzę technologiczną oraz doświadczenie w obszarze inżynierii danych i Big Data, która ma udokumentowane sukcesy w realizacji projektów.
Oczekujemy
- Wykształcenia wyższego informatycznego lub pokrewnego.
- Od 4 do 7 lat doświadczenia zawodowego na podobnym stanowisku.
- Doświadczenia w pracy zgodnie z metodykami Agile (mile widziane).
- Samodzielności, proaktywnego podejścia oraz odpowiedzialności za realizowane zadania.
- Bardzo dobrych umiejętności komunikacyjnych w mowie i piśmie.
- Udziału we wszystkich etapach cyklu życia rozwiązań Big Data – od analizy i projektowania, przez rozwój i testowanie, aż po wdrożenie produkcyjne oraz utrzymanie.
- Praktyczne doświadczenie w obszarze hurtowni danych (Data Warehouse) oraz procesów ETL.
- Bardzo dobra znajomość platformy Snowflake.
- Doświadczenie w modelowaniu danych w Snowflake, obejmujące role, schematy, bazy danych oraz polityki bezpieczeństwa.
- Praktyczna znajomość mechanizmów Tasks, Streams oraz Stages w Snowflake.
- Doświadczenie w integracji danych z wykorzystaniem narzędzi takich jak Matillion, Palantir, Informatica, dbt lub podobnych.
- Doświadczenie w budowie potoków danych do przetwarzania wsadowego oraz danych strumieniowych (real-time) dla danych ustrukturyzowanych i nieustrukturyzowanych.
- Znajomość narzędzi i technologii takich jak Kafka oraz NiFi w zakresie przesyłania, pobierania i przetwarzania danych.
- Bardzo dobra znajomość usług AWS, w szczególności S3, Lambda, EMR oraz Glue.
- Wiedza z zakresu wzorców przetwarzania danych, systemów rozproszonych oraz budowy rozwiązań do analityki wsadowej i czasu rzeczywistego.
- Doświadczenie w pracy z dużymi zbiorami danych oraz ich analizą i przetwarzaniem z wykorzystaniem baz SQL i NoSQL oraz języków programowania takich jak Java, Scala lub Python.
- Znajomość formatów danych ORC, Parquet oraz AVRO oraz technik kompresji i optymalizacji zapytań.
- Wiedza z zakresu DevOps oraz konteneryzacji; doświadczenie we wdrażaniu rozwiązań będzie dodatkowym atutem.
Mile widziane
- Umiejętność budowania i utrzymywania relacji z klientami.
- Znajomość zaawansowanych funkcji Snowflake, takich jak konfiguracja Resource Monitors oraz optymalizacja wydajności (mile widziane).
Szukamy osób, które
- Posiadają praktyczne doświadczenie techniczne.
- Chętnie rozwijają swoje kompetencje i uczą się nowych technologii.
- Dobrze odnajdują się w dynamicznym środowisku projektowym i lubią pracę z nowoczesnymi rozwiązaniami z obszaru Data & Analytics.