Data Engineer
Summary
The Data Engineer will design and implement real-time and batch data processing platforms, focusing on event-driven architectures and data pipelines. The role involves collaborating with DevOps teams to build scalable solutions for clients in the energy, utilities, and manufacturing sectors using technologies like Python, SQL, Kafka, and Spark.
- Projektowanie, implementacja irozwój platform orazprocesów doprzetwarzania danychwczasie rzeczywistym (real-time)i wsadowo
- Budowa irozwój architektury opartej oevent streamingoraz integrację systemów wymieniających dane wczasie rzeczywistym
- Tworzenie ioptymalizacjapipeline’ówdanych orazmodeli danych dla systemów analitycznych ioperacyjnych
- Projektowanie niezawodnych, skalowalnych rozwiązań wewspółpracy zzespołemDevOps
- Wsparcie klientów zobszaru Energy, Utilities iManufacturing wbudowie nowoczesnych platform danych
Kogo poszukujemy?
- Masz minimum3 lata doświadczenia jako DataEngineer
- Cechuje Cię bardzo dobra znajomośćPythoni SQL
- Posiadasz doświadczenie wprojektowaniu ibudowiepipeline’ówdanych, wszczególnościprzetwarzania danych strumieniowych ieventowych
- Znaszarchitekturę event-drivenoraz narzędziado przetwarzania danych wczasie rzeczywistym (np.Apache Kafka, Kafka Connect, Apache Flink, Spark Structured Streaming, Apache Pulsar, Azure Event Hubs, Google Pub/Sub)
- Możesz pochwalić się znajomościąrelacyjnych baz danych oraztechnologii wykorzystywanych dobudowy nowoczesnych platform danych
- Pracaz Git orazCI/CDnie jest Ciobca
- Masz doświadczenie zwybranymi technologiami zobszarów:
- Open SourceData: Apache Kafka, Spark, Flink, Trino, Hive
- Chmurypubliczne: Azure, AWS, Google Cloud
- Orkiestracja iintegracja:Airflow,NiFi
- Storage: S3-compatible Object Storage, Azure Storage, GCS
- Formaty danych:Iceberg, Delta Lake
- Bazydanych: PostgreSQL,TimescaleDB, SQL Server
- Umieszmonitorowaćjakości danych orazdiagnozowaćproblemywydajnościowe
- Nieboisz sięwspółpracy zklientem irozumieszpotrzebybiznesowe
- Cechuje Cię komunikatywnośća Twójjęzyk angielski umożliwiacodzienną pracę