Senior Data Engineer
Summary
Senior Data Engineer developing and maintaining a scalable AWS data platform that generates intelligent suggestions for pharmaceutical sales representatives, working internationally across multiple countries. Day-to-day: Python-based ETL development, debugging pipelines in Glue/Step Functions/Athena/Lambda, and supporting a migration to a new CRM.
co.brick talents — powered by AI, powered by people. Senior Data Engineer
Dołącz do międzynarodowego projektu z obszaru Data Engineering, którego celem jest rozwój platformy generującej inteligentne sugestie wspierające pracę przedstawicieli farmaceutycznych.
Poszukujemy Senior Data Engineera, który będzie odpowiedzialny za rozwój i utrzymanie skalowalnej platformy danych oraz budowanie reużywalnych rozwiązań, które mogą być wdrażane w różnych krajach i środowiskach biznesowych.
Zakres obowiązków
- Rozwój i utrzymanie platformy Data Engineering odpowiedzialnej za generowanie inteligentnych sugestii.
- Projektowanie i implementacja skalowalnych, reużywalnych modułów z wykorzystaniem nowoczesnych praktyk programistycznych w Pythonie.
- Tworzenie utrzymywalnych i skalowalnych rozwiązań do przetwarzania danych z wykorzystaniem OOP i design patterns.
- Praca z danymi oraz rozwój procesów ETL w środowisku AWS.
- Udział w migracji platformy generowania sugestii do nowego systemu CRM, w tym:
- aktualizacji pipeline'ów dla poszczególnych use case'ów,
- przeprowadzaniu testów end-to-end,
- walidacji generowanych sugestii,
- realizacji zadań migracyjnych.
- Analizowanie problemów w istniejących pipeline'ach danych i procesach generowania sugestii oraz identyfikowanie ich root cause.
- Debugowanie i rozwiązywanie problemów w środowisku AWS Step Functions, Glue, Athena oraz Lambda.
- Dbanie o jakość kodu, testowanie oraz efektywny proces developmentu i deploymentu.
- Współpraca z zespołem w środowisku Agile.
Wymagania
- 5–10 lat doświadczenia w Data Engineering, najlepiej w projektach globalnych lub regionalnych.
- Bardzo dobra znajomość Pythona, w szczególności:
- pandas do manipulacji i analizy danych,
- programowania obiektowego (OOP),
- design patterns,
- nowoczesnych narzędzi i praktyk Python development.
- Praktyczne doświadczenie z AWS, w szczególności:
- AWS Glue – procesy ETL,
- Amazon Athena – zapytania i analiza danych,
- DynamoDB – NoSQL,
- AWS Step Functions – orkiestracja workflow,
- AWS Lambda.
- Dobre zrozumienie architektury rozwiązań chmurowych, szczególnie AWS.
- Doświadczenie w pracy w metodykach Agile.
- Znajomość narzędzi projektowych, np. Azure DevOps.
- Umiejętność samodzielnego debugowania problemów w złożonych pipeline'ach danych.
Mile widziane
- Podstawowa znajomość platform Veeva.
- Doświadczenie z CI/CD, Git/version control oraz automated testing.
- Doświadczenie w branży pharma, healthcare lub praca z danymi medycznymi/farmaceutycznymi.
Dlaczego warto?
- Praca przy globalnym projekcie Data Engineering dla sektora farmaceutycznego.
- Rozwój i utrzymanie platformy wykorzystywanej w różnych krajach i środowiskach biznesowych.
- Praca z nowoczesnym stackiem Python + AWS.
- Możliwość zdobycia doświadczenia przy migracji dużej platformy do nowego systemu CRM.
- Praca nad rozwiązaniem, które bezpośrednio wspiera procesy biznesowe przedstawicieli farmaceutycznych.
- Międzynarodowe, zwinne środowisko pracy.