Data Engineer (k/m/x) – Python / Rust / Qdrant
Summary
Data engineer building pipelines and ETL processes (with OCR and audio transcription) that turn unstructured documents, images and audio into embeddings for AI systems, using the Qdrant vector database for semantic search. Core stack: Python or Rust, REST APIs, Kafka/Pub-Sub, Linux, PostgreSQL.
Projekt związany z budową i rozwojem rozwiązań przetwarzających dane nieustrukturyzowane (dokumenty, obrazy, nagrania audio) na potrzeby systemów AI. Projektujesz i rozwijasz pipeline'y danych, tworzysz procesy ETL z elementami OCR i transkrypcji, generujesz embeddingi i pracujesz z wektorową bazą danych Qdrant na potrzeby wyszukiwania semantycznego.
Oferta dla inżyniera danych, który chce pracować przy nowoczesnych rozwiązaniach AI i przetwarzaniu danych nieustrukturyzowanych.
- dobra znajomość Pythona i/lub Rust (wystarczy jeden z tych języków)
- praktyczne doświadczenie w projektowaniu i budowaniu pipeline'ów danych oraz procesów ETL
- doświadczenie z wektorowymi bazami danych, w szczególności Qdrant lub podobnymi
- znajomość embeddingów, wyszukiwania semantycznego, indeksowania i filtrowania po metadanych
- doświadczenie w tworzeniu i integracji REST API
- znajomość architektury zdarzeniowej (Apache Kafka lub Google Pub/Sub)
- dobra znajomość systemu Linux
- doświadczenie z relacyjnymi bazami danych (np. PostgreSQL)