Über uns

muffintech ist der Vorreiter im Bereich KI-gestützter Lösungen für die Versicherungsindustrie und unterstützt Unternehmen dabei, modernste Technologien erfolgreich zu integrieren. Zur Verstärkung unseres Teams suchen wir einen QA Engineer, der/die strukturierte Qualitätssicherungsprozesse für unsere KI-Produkte aufsetzt, weiterentwickelt und optimiert. Du spielst dabei eine zentrale Rolle bei der Definition von Teststrategien, der Automatisierung von Testabläufen und der Sicherstellung der Zuverlässigkeit, Fairness und Sicherheit unserer Machine-Learning-Modelle.

Deine Rolle

Als QA Engineer für AI-Produkte bist du verantwortlich für den Aufbau, die Weiterentwicklung und das Management von Qualitätssicherungsprozessen speziell für conversational Künstliche Intelligenz (AI)-basierte Systeme. Dein Fokus liegt auf der Entwicklung von strukturierten Testing-Plänen, der Implementierung von Qualitätssicherungsprozessen und der kontinuierlichen Verbesserung der Teststrategien für AI-Produkte.

In deiner Rolle arbeitest du sowohl mit Produkt und Customer Success zusammen, um Anforderungen und Test-cases mit Customern zusammen zu erstellen, als auch mit Data scientist und Machine Learning Engineers um die Zuverlässigkeit und Qualität von AI-systemen sicherzustellen.

Deine Aufgaben

Qualitätssicherungsprozesse für AI-Produkte aufsetzen & optimieren

• Entwicklung einer umfassenden QA-Strategie für Machine Learning- und AI-basierte Produkte.
• Definition und Implementierung von Best Practices für Testprozesse in AI-Projekten.
• Aufbau und Wartung von Testautomatisierungssystemen für AI-Modelle, APIs und Softwareumgebungen.

Testplanung & Qualitätssicherung für AI-Modelle und -Systeme

• Entwicklung und Dokumentation strukturierter Testpläne für verschiedene AI-Use Cases.
• Sicherstellung der Datenqualität durch Testverfahren für Trainingsdaten und Data Pipelines.
• Implementierung von Methoden zur Validierung und Evaluation von Machine Learning-Modellen (z. B. Bias Detection, Model Drift, Robustness Testing).

Fehlermanagement & kontinuierliche Verbesserung

• Identifikation und Dokumentation von Fehlern in AI-Modellen und Softwareprozessen.
• Zusammenarbeit mit AI- und Engineering-Teams, um Qualitätsprobleme zu analysieren und zu beheben.
• Sicherstellung der Reproduzierbarkeit von AI-Ergebnissen durch Monitoring- und Logging-Mechanismen.

Sicherheits- & Ethiktests für AI-Produkte

• Durchführung von Fairness-, Bias- und Interpretierbarkeitstests für AI-Modelle.
• Einhaltung von Datenschutz- und Compliance-Richtlinien für Machine Learning-Anwendungen.

Deine Profil

Fachliche Qualifikationen:

• Erfahrung in der Qualitätssicherung von Software
• Muttersprachliche Deutsch- und sehr gute Englischkenntnisse.
• Kenntnisse in Testmethoden, Datenvalidierung und Model Evaluation.
• Erfahrung mit Testautomatisierungstools und -frameworks (z. B. PyTest, Selenium, Cypress).

Soft Skills & Arbeitsweise:

• Analytische Denkweise und strukturierte Arbeitsweise zur Entwicklung nachhaltiger QA-Prozesse.
• Kommunikationsstärke zur Zusammenarbeit mit interdisziplinären Teams (Data Science, DevOps, Produktmanagement).
• Hohes Qualitätsbewusstsein und Eigeninitiative zur kontinuierlichen Optimierung von Teststrategien.

Warum wir?

• Arbeit an innovativen AI-Produkten mit modernsten Technologien.
• Ein innovatives Umfeld in einem dynamischen, KI-getriebenen Unternehmen.
• Flexible Arbeitsmodelle und eine teamorientierte Unternehmenskultur.
• Möglichkeit, eine zentrale Rolle in der Qualitätssicherung von AI-Systemen einzunehmen und Standards zu definieren.

🔹 Klingt spannend? Dann schick deine Bewerbung (CV + Antworten auf die 3 unten stehenden Fragen) an elias@muffintech.ai

1. Welche besonderen Herausforderungen gibt es bei der Qualitätssicherung von Conversational AI im Vergleich zu traditioneller Software?
2. Welche Herangehensweise verwendest du, um nicht-technische Anforderungen (z. B. Benutzererfahrung, Verständlichkeit eines Chatbots) in messbare Qualitätskriterien umzuwandeln?
3. Angenommen, ein Chatbot gibt inkonsistente Antworten auf dieselbe Frage – wie würdest du das Problem analysieren und lösen?