freehire launches on Product Hunt on 26 August.

Follow →

Testautomatisierer/-manager KI, remote und München (m/w/d)

Summary

Build and run automated tests for AI-based applications, focusing on prompt engineering, LLM outputs, and non-deterministic behavior; coordinate releases and regression suites using Playwright, Java, and aqua.

Wir, die emagine GmbH, suchen einen Testautomatisierer/Manager KI (m/w/d).

Start: 01.09.2026
Dauer: Bis 31.12.2026
Ort: Remote und München, Onboarding vor Ort, danach 1-2x pro Monat und alle 13 Wochen für 2-3 Tage
Auslastung: 100%


Allgemein der zu besetzenden Position des Testmanagers:

  • Koordination und Steuerung eines effizienten Tests der Anwendung im Rahmen des Projektauftrags.

  • Durchführung von Release- und Regressionstests (auch automatisiert)

  • Dokumentation der Testfälle, einschließlich ihrer Ergebnisse

  • Priorisierung von Testvorgehen, Testumfang, Testfällen, Testfehler.

  • Erstellung und Abstimmung des Testplans im Rahmen des bestehenden Gesamtprojektplans.

  • Bewertung der Testobjekte nach ihrer Kritikalität (Risikobewertung) zur Sicherstellung der Abdeckung von notwendigen Testschwerpunkten.

  • Methodenauswahl im Rahmen der Testfallerstellung und -durchführung auf den unterschiedlichen Entwicklungsumgebungen

  • Erstellung und Pflege eines Testkonzepts (Testdesign, Testspezifikation, Testrahmenkonzept).

  • Koordination und Überwachung der Testfallerstellung.

  • Überwachung und Auswertung des Testfortschritts.

  • Durchführung eines regelmäßigen Fehler-Tracking, d. h. Überwachung der Bearbeitung gefundener Fehler.

  • operative Testautomatisierung ca. 70%, Testmanagement/Koordination ca. 30%

  • Einarbeitung und Anwendung der regulatorischen Vorgaben.

  • Ticketkoordination und Bearbeitung

  • Aufbau und Weiterentwicklung der Testautomatisierung, insbesondere im Hinblick auf die Besonderheiten durch KI

  • Verantwortlich für die Entwicklung und Weiterentwicklung einer Teststrategie für KI-basierte Anwendungen


Tools und Eigenschaften:

  • aqua (Testmanagement Tool)

  • Testautomatisierung (Playwright)

  • Jira

  • Confluence

  • Bruno

  • Testautomatisierung (BE)

  • Java

  • praktische Erfahrung in Softwareentwicklung

  • Prompt Engineering: Erfahrungen mit der Optimierung von prompts, um präzise Ergebnisse von LLMs (Large Language Models) zu erhalten.

  • Verständnis für nicht-deterministische Tests

  • Kenntnisse über Golden-Data-Sets und entsprechende Qualitätstests

  • Verständnis für Statistik & Maschine Learning; Wie arbeitet KI.

  • Hoher Anspruch an Qualität der erstellten und getesteten Anwendung

  • Hochstrukturierte Arbeitsweise

  • Lernbereitschaft

  • Agile Projektarbeitsweise (Scrum, SAFe)

  • Vertreten der agilen Werte: Fokus, Offenheit, Respekt, Mut und Selbstverpflichtung

  • Zusammenarbeit mit cross-funktionalen Teams

  • Sehr gute Deutschkenntnisse (min. Sprachniveau C1)

Weitere Anforderungen im KI Kontext:

  • Verständnis von KI und ML-Technologien, um darauf basierend die Teststrategien anzupassen

  • Validierung von KI-Modellen: Kompetenz, Tests für KI-Modelle zu planen und durchzuführen (z. B. Modellgenauigkeit, Bias-Untersuchung, Robustheit und Verlässlichkeit)

  • Sicherstellung ethischer und regulatorischer Compliance: Anwendung von Regularien und ethischen Grundsätzen (z. B. Datenschutz, DSGVO, KI-Transparenzanforderungen).

  • Frameworks für KI-Testing: Erfahrung mit spezialisierten KI-Testwerkzeugen

  • Cloud-Plattformen: Erfahrung mit Cloud-Lösungen (insbesondere deren KI/ML-Dienste) im Kontext von Testautomatisierungen

  • Testing von KI-Anwendungen: Praktische Erfahrung mit Algorithmentests