Testautomatisierer/-manager KI, remote und München (m/w/d)
Summary
Build and run automated tests for AI-based applications, focusing on prompt engineering, LLM outputs, and non-deterministic behavior; coordinate releases and regression suites using Playwright, Java, and aqua.
Wir, die emagine GmbH, suchen einen Testautomatisierer/Manager KI (m/w/d).
Start: 01.09.2026
Dauer: Bis 31.12.2026
Ort: Remote und München, Onboarding vor Ort, danach 1-2x pro Monat und alle 13 Wochen für 2-3 Tage
Auslastung: 100%
Allgemein der zu besetzenden Position des Testmanagers:
Koordination und Steuerung eines effizienten Tests der Anwendung im Rahmen des Projektauftrags.
Durchführung von Release- und Regressionstests (auch automatisiert)
Dokumentation der Testfälle, einschließlich ihrer Ergebnisse
Priorisierung von Testvorgehen, Testumfang, Testfällen, Testfehler.
Erstellung und Abstimmung des Testplans im Rahmen des bestehenden Gesamtprojektplans.
Bewertung der Testobjekte nach ihrer Kritikalität (Risikobewertung) zur Sicherstellung der Abdeckung von notwendigen Testschwerpunkten.
Methodenauswahl im Rahmen der Testfallerstellung und -durchführung auf den unterschiedlichen Entwicklungsumgebungen
Erstellung und Pflege eines Testkonzepts (Testdesign, Testspezifikation, Testrahmenkonzept).
Koordination und Überwachung der Testfallerstellung.
Überwachung und Auswertung des Testfortschritts.
Durchführung eines regelmäßigen Fehler-Tracking, d. h. Überwachung der Bearbeitung gefundener Fehler.
operative Testautomatisierung ca. 70%, Testmanagement/Koordination ca. 30%
Einarbeitung und Anwendung der regulatorischen Vorgaben.
Ticketkoordination und Bearbeitung
Aufbau und Weiterentwicklung der Testautomatisierung, insbesondere im Hinblick auf die Besonderheiten durch KI
Verantwortlich für die Entwicklung und Weiterentwicklung einer Teststrategie für KI-basierte Anwendungen
Tools und Eigenschaften:
aqua (Testmanagement Tool)
Testautomatisierung (Playwright)
Jira
Confluence
Bruno
Testautomatisierung (BE)
Java
praktische Erfahrung in Softwareentwicklung
Prompt Engineering: Erfahrungen mit der Optimierung von prompts, um präzise Ergebnisse von LLMs (Large Language Models) zu erhalten.
Verständnis für nicht-deterministische Tests
Kenntnisse über Golden-Data-Sets und entsprechende Qualitätstests
Verständnis für Statistik & Maschine Learning; Wie arbeitet KI.
Hoher Anspruch an Qualität der erstellten und getesteten Anwendung
Hochstrukturierte Arbeitsweise
Lernbereitschaft
Agile Projektarbeitsweise (Scrum, SAFe)
Vertreten der agilen Werte: Fokus, Offenheit, Respekt, Mut und Selbstverpflichtung
Zusammenarbeit mit cross-funktionalen Teams
Sehr gute Deutschkenntnisse (min. Sprachniveau C1)
Weitere Anforderungen im KI Kontext:
Verständnis von KI und ML-Technologien, um darauf basierend die Teststrategien anzupassen
Validierung von KI-Modellen: Kompetenz, Tests für KI-Modelle zu planen und durchzuführen (z. B. Modellgenauigkeit, Bias-Untersuchung, Robustheit und Verlässlichkeit)
Sicherstellung ethischer und regulatorischer Compliance: Anwendung von Regularien und ethischen Grundsätzen (z. B. Datenschutz, DSGVO, KI-Transparenzanforderungen).
Frameworks für KI-Testing: Erfahrung mit spezialisierten KI-Testwerkzeugen
Cloud-Plattformen: Erfahrung mit Cloud-Lösungen (insbesondere deren KI/ML-Dienste) im Kontext von Testautomatisierungen
Testing von KI-Anwendungen: Praktische Erfahrung mit Algorithmentests