Senior Python Streaming & Data Engineer (RabbitMQ / Snowflake / PostgreSQL)
Posted Updated
Description
Coopers Group sucht zwei Engineers, die die gesamte Datenverarbeitungskette verantworten und sich auf Python-Streaming-Lösungen konzentrieren. Sie entwickeln RabbitMQ-Consumer, optimieren Concurrency und sorgen für stabile Verarbeitung unter Belastung.
Sie integrieren Datenaufnahme in Snowflake und Snowflake Postgres, implementieren Recovery-, Replay- und Backfill-Prozesse und arbeiten eng mit Data-Ingestion-Engineering sowie Azure DevOps CI/CD.
Entwicklung und Optimierung einer skalierbaren Python-Anwendung zur Verarbeitung von RabbitMQ-Datenströmen. Implementierung und Weiterentwicklung von RabbitMQ-Consumern für produktive Streaming-Umgebungen. Integration und Konfiguration der Datenaufnahme in Snowflake und Snowflake Postgres. Sicherstellung einer zuverlässigen Nachrichtenverarbeitung inklusive Acknowledgements, Redelivery, Backpressure und Deduplizierung. Konzeption und Implementierung robuster Recovery-, Replay- und Backfill-Prozesse. Optimierung von Latenz, Durchsatz sowie CPU- und Speicherverbrauch. Analyse und Behebung von Performance-Engpässen, Lastspitzen und Fehlerfällen. Sicherstellung von Datenvollständigkeit und Datenkonsistenz bei Live- und historischen Daten. Integration von Nachladeprozessen unter Verwendung von Kestra und dlt (dltHub) in Zusammenarbeit mit dem internen Data Ingestion Engineer. Entwicklung automatisierter Tests sowie Durchführung von Performance- und Lasttests. Integration der Lösung in Azure DevOps CI/CD und Implementierung grundlegender Monitoring-Funktionen. Enge Zusammenarbeit mit internen Plattform- und Engineering-Teams sowie Dokumentation und Wissenstransfer Sehr gute praktische Erfahrung in der Python-Entwicklung nachhaltiger Anwendungen. Fundierte Erfahrung mit RabbitMQ, insbesondere Consumer-Entwicklung, Message Processing und Fehlerbehandlung. Praxis in Streaming-Systemen unter realer Last sowie deren Performance-Optimierung.Skills
Sign in to read and join the discussion.