Data Engineer room
Posted Updated
Summary
Data engineer building unstructured-data pipelines for an AI project at Scalo: designing ETL flows, OCR/ASR and document extraction, embeddings and semantic search with Qdrant, Python or Rust services, REST APIs, and event-driven processing via Kafka/Pub/Sub. Hybrid — 1 day/week from the Warsaw office; budget up to 140 PLN/h.
Cześć! Poznaj możliwości współpracy ze Scalo!
Zakres współpracy obejmuje:
- budowa i rozwój pipeline’ów danych niestrukturalnych w ramach projektu realizowanego dla obszaru sztucznej inteligencji,
- projektowanie i implementacja przepływów ETL zasilających Repozytorium Danych Niestrukturalnych oraz rozwiązania wykorzystywane przez agentów AI,
- tworzenie procesów przetwarzania danych pochodzących z dokumentów, obrazów i plików audio,
- implementacja mechanizmów ekstrakcji treści, OCR, ASR (transkrypcji audio) oraz konwersji dokumentów,
- rozwój rozwiązań wykorzystujących embeddingi, wyszukiwanie semantyczne, indeksowanie oraz filtrowanie danych po metadanych,
- integracja pipeline’ów z wektorowymi bazami danych, w szczególności Qdrant,
- projektowanie i rozwój usług przetwarzających dane z wykorzystaniem Pythona lub Rusta,
- tworzenie i integracja usług udostępniających funkcjonalności poprzez REST API,
- rozwój mechanizmów przetwarzania danych opartych na architekturze zdarzeniowej, m.in. Kafka lub Pub/Sub,
- współpraca przy projektowaniu usług kategoryzacji danych, ontologii oraz rozwiązań wspierających przetwarzanie informacji na potrzeby AI,
- analiza i optymalizacja wydajności oraz niezawodności procesów przetwarzania danych,
- współpraca z zespołami rozwijającymi rozwiązania Data Engineering oraz AI,
- model realizacji usług: hybrydowo – 1 dzień w tygodniu z biura w Warszawie,
- budżet projektu: do 140 PLN/h + VAT, w zależności od doświadczenia oraz zakresu świadczonych usług.
Kompetencje wymagane do realizacji usług:
- doświadczenie w inżynierii danych, w szczególności w budowaniu pipeline’ów i usług przetwarzających dane (min. 3-5 lat doświadczenia),
- dobra znajomość Pythona lub Rusta,
- praktyczna znajomość wektorowych baz danych, w szczególności Qdrant,
- znajomość embeddingów, wyszukiwania semantycznego, indeksowania i filtrowania danych po metadanych,
- doświadczenie w projektowaniu lub rozwijaniu integracji opartych na REST API,
- znajomość architektury sterowanej zdarzeniami (event-driven architecture), np. z wykorzystaniem Kafka lub Pub/Sub,
- dobra znajomość systemu Linux,
- znajomość relacyjnych baz danych, np. PostgreSQL,
- umiejętność projektowania i rozwijania procesów przetwarzania danych,
- samodzielność w analizie problemów technicznych i proponowaniu rozwiązań.
Mile widziane:
- doświadczenie z Docker, Kubernetes i CI/CD,
- znajomość GCP, w tym BigQuery, Dataflow, Dataproc lub Pub/Sub,
- znajomość Apache Airflow, Apache Spark lub Apache Beam,
- doświadczenie z przetwarzaniem danych niestrukturalnych, w tym OCR, transkrypcją audio i konwersją dokumentów,
- znajomość grafowych baz danych, np. Neo4j,
- doświadczenie z Knowledge Graph, GraphRAG lub klasycznymi rozwiązaniami RAG,
- znajomość FastAPI.
Co oferujemy w ramach współpracy?
Różnorodne projekty technologiczne
Realizacja projektów z obszaru Software, Embedded, Data, Cloud Services i AI.
Inicjatywy eksperckie i presalesowe
Możliwość udziału w działaniach eksperckich oraz wsparciu procesów presalesowych.
Dodatkowe korzyści
Opieka medyczna, karta sportowa oraz platforma kafeteryjna dostępne zgodnie z obowiązującymi zasadami współpracy.