Ein Testfall, ein erwartetes Soll-Ergebnis, ein klarer Vergleich: So funktioniert klassisches Softwaretesting seit Jahrzehnten. Doch der Einsatz von KI in Produktivsystemen verändert die Grundlagen der Softwareentwicklung und Qualitätssicherung fundamental. Klassische Testmethoden, die auf Reproduzierbarkeit und exakter Übereinstimmung basieren, stoßen an ihre Grenzen. Wie lässt sich die Qualität von Software sichern, die per Design nicht vorhersehbar ist? Welche Ansätze sind geeignet, um KIs zu testen, ohne dabei in Beliebigkeit zu verfallen?
Der Verlust der Eindeutigkeit im Softwaretest
Klassische Software funktioniert deterministisch. Bei gleichen Eingaben erzeugt sie stets identische Ausgaben. Dieses vorhersagbare Verhalten ermöglicht klare Soll-Ist-Vergleiche und eindeutige Testergebnisse. Ein Testfall ist bestanden oder nicht bestanden.
KIs verhalten sich grundlegend anders. Selbst bei identischem Prompt können Antworten variieren (nicht-deterministisch). Beeinflusst durch interne Wahrscheinlichkeitsberechnungen und den jeweiligen Kontext, wählt das System aus einer Vielzahl möglicher Formulierungen. Es existiert dabei nicht eine eindeutig richtige Antwort, sondern ein Spektrum fachlich akzeptabler Antworten. Diese nicht-deterministische Natur durchbricht das klassische Testvorgehen vollständig.
Tests für KIs sind daher überwiegend bewertend. Sie prüfen nicht, ob eine Antwort korrekt ist, sondern ob sie ausreichend gut ist. Das Testen wird dadurch erweitert und es braucht angepasste Ziele, Methoden und Metriken.
Warum KI nicht verifiziert werden kann
Die veränderte Natur von KI-Systemen zwingt uns, unser Testverständnis anzupassen. Im Zentrum dieser Veränderung stehen zwei Begriffe: Verifikation und Validierung.
Verifikation fragt: „Haben wir das Produkt richtig gebaut?“ Sie prüft die Übereinstimmung mit Spezifikationen durch objektive, messbare Kriterien. Bei klassischer Software ist sie zentral. Unit-Tests, Integrationstests, Regressionstests überprüfen alle exakte Übereinstimmung mit definierten Erwartungen.
Validierung hingegen fragt: „Haben wir das richtige Produkt gebaut?“ Sie bewertet, ob das System den tatsächlichen Nutzerbedürfnissen entspricht, auch wenn diese nicht vollständig spezifizierbar sind. Bei klassischer Software ergänzt sie die Verifikation durch Akzeptanztests und Usability-Prüfungen.
Bei KIs ist eine Verifikation im klassischen Sinne nicht mehr möglich, da kein eindeutiges Soll-Ergebnis definierbar ist. Validierung tritt damit in den Vordergrund der Qualitätssicherung von KI-Systemen. Ob Antworten angemessen, nützlich und sicher sind, wird bewertet durch menschliches Urteil, automatisierte Metriken wie semantische Ähnlichkeit oder durch KIs selbst als Evaluatoren.
In der Praxis bestehen die meisten Systeme aus einer Kombination klassischer, deterministischer Software und KI-Komponenten. Während die umgebende IT weiterhin verifiziert werden kann, muss die KI selbst validiert werden. Qualitätssicherung in KI-Systemen ist daher kein Ersatz, sondern eine Erweiterung klassischer Testansätze.
Die Erweiterung des Qualitätsrahmens von ISO 25010 durch die ISO 25059
Wenn Qualität nicht mehr über die Übereinstimmung mit einer Referenzantwort bestimmt werden kann, benötigen wir einen systematischen Rahmen zur Bewertung. Die zentrale Frage lautet: Was bedeutet eigentlich „Qualität“ bei KI-Systemen, und welche Merkmale müssen validiert werden?
Seit 2011 definiert die ISO/IEC 25010 ein etabliertes Qualitätsmodell für Software mit acht, seit 2023 mit neun Hauptmerkmalen: funktionale Eignung, Leistungsfähigkeit, Kompatibilität, Interaktionsfähigkeit, Zuverlässigkeit, funktionale Sicherheit, Instandhaltbarkeit, Anpassungsfähigkeit und Betriebssicherheit. Das Modell basiert auf der SQuaRE-Methodik (Systems and software Quality Requirements and Evaluation).
Speziell für KI-Systeme konkretisiert die ISO/IEC 25059 dieses Qualitätsmodell. Sie erweitert es nicht um ein eigenständiges Modell, sondern interpretiert die bestehenden Qualitätsmerkmale im Kontext von KI. Dabei wird berücksichtigt, dass KI-Systeme lernen, sich anpassen, mit unvollständigen Daten umgehen und wahrscheinlichkeitsbasiert arbeiten. Besonders hervorzuheben sind KI-spezifische Aspekte wie Transparenz, Robustheit, funktionale Anpassbarkeit und Eingreifbarkeit.
Diese Matrix dient als Kompass für die Qualitätssicherung: Sie hilft zu bestimmen, welche Merkmale im konkreten Anwendungsfall relevant sind. Die Priorisierung erfolgt risikobasiert. Je höher das Risiko eines KI-Systems, desto mehr Fokus und Aufwand müssen in kritische Qualitätsmerkmale investiert werden. Dabei steht nicht die Frage im Vordergrund, WIE getestet wird, sondern zunächst WAS validiert werden muss.
Die Programmierung der KI-Aufrufe und die Einbindung der KI, ob über einen Cloud Provider oder eine lokale Installation, unterliegen den Qualitätsmerkmalen der „klassischen“ Softwareentwicklung und damit dem Test auf die Teilmerkmale der ISO 25010. Die KI soll gegen die Teilmerkmale der ISO 25059 getestet werden.
Wische seitlich, um alle Spalten zu sehen.
| ISO 25010 Merkmal (DE) | ISO 25010 Merkmal (EN) | ISO 25010 Teilmerkmal | ISO 25059 (KI) zusätzliches Teilmerkmal* |
|---|---|---|---|
| Funktionale Eignung | Functional Suitability | Funktionale Vollständigkeit · Funktionale Korrektheit · Funktionale Angemessenheit | funktionale Anpassbarkeit (a) · Funktionale Korrektheit (m) |
| Leistungsfähigkeit | Performance Efficiency | Zeitverhalten · Verwendung von Ressourcen · Kapazität | Ökologische Nachhaltigkeit (a) |
| Kompatibilität | Compatibility | Koexistenz · Interoperabilität | |
| Interaktionsfähigkeit / Usability | Interaction Capability | Erkennbarkeit der Angemessenheit · Erlernbarkeit · Bedienbarkeit · Schutz vor Benutzerfehlern · Benutzerbindung · Inklusivität · Unterstützung des Benutzers · Selbstbeschreibungsfähigkeit | Benutzerkontrollierbarkeit (a) · Transparenz (a) |
| Zuverlässigkeit | Reliability | Fehlerfreiheit · Verfügbarkeit · Fehlertoleranz · Wiederherstellbarkeit | Robustheit (a) |
| Funktionale Sicherheit | Security | Vertraulichkeit · Integrität · Nichtabstreitbarkeit · Zurechenbarkeit · Authentizität · Resistenz | Eingreifbarkeit (a) |
| Instandhaltbarkeit | Maintainability | Modularität · Wiederverwendbarkeit · Analysierbarkeit · Modifizierbarkeit | |
| Anpassungsfähigkeit | Flexibility | Testbarkeit · Adaptierbarkeit · Skalierbarkeit · Installierbarkeit · Ersetzbarkeit | |
| Betriebssicherheit / Safety | Safety | Betriebliche Einschränkungen · Risikoidentifizierung · Ausfallsicherheit · Warnung vor Gefährdung · Sichere Integration | |
| * Quelle: ISO/IEC DIS (Draft) 25059:2026-01 · (a) = hinzugefügte Teilmerkmale · (m) = modifizierte Teilmerkmale | |||
Risikobasierte Qualitäts-Priorisierung: Zwei Szenarien
Wie stark sich unterschiedliche Risikoklassen auf die Qualitätssicherung auswirken, wird an zwei Beispielen deutlich.
Medizintechnik mit KI-gestützten Chirurgierobotern
Ein autonomer Operationsroboter analysiert mittels KI Gewebe und plant Schnittführungen. Er fällt unter die höchste Risikoklasse des EU AI Act, denn ein Fehler kann zu irreversiblen Schäden oder zum Tod führen: das Qualitätsmerkmal Safety ist im Fokus.
Die Anforderungen sind extrem hoch und enthalten umfassende Konformitätsbewertungen, technische Dokumentation, kontinuierliches Risikomanagement sowie menschliche Überwachung. Besonders kritisch ist die Erkennung von Verzerrungen in den Trainingsdaten. Sind bestimmte Patientengruppen unterrepräsentiert, kann die KI dort versagen. Der Testaufwand fällt entsprechend hoch aus und muss alle regulatorischen Anforderungen vollständig abdecken.
Wissenschafts-Chatbot für Literaturrecherche
Ein deutlich geringeres Risiko birgt ein universitärer Chatbot, der Studierenden bei der Quellensuche hilft. Fehlerhafte Quellenangaben sind zwar ärgerlich, aber nicht lebensgefährlich. Hier konzentrieren sich die Anforderungen auf funktionale Eignung, Transparenz und Benutzbarkeit.
Verzerrungen spielen eine untergeordnete Rolle, solange die Quellenvielfalt gewährleistet bleibt. Proportional zum niedrigeren Risiko reichen schlankere Testansätze aus, und der Testaufwand reduziert sich erheblich. Die konkrete Methodenwahl bleibt dem jeweiligen Entwicklungsteam überlassen und orientiert sich an den priorisierten Qualitätsmerkmalen.
Vom „Was“ zum „Wie“: Risikobasierte Methodenwahl
Für die Validierung von KI-Systemen existiert mittlerweile ein breites Spektrum an Testansätzen, von automatisierten Bewertungen über statistische Analysen bis hin zu menschlicher Evaluierung. Die Vielfalt ist groß: LLM-basierte Bewertungen, Human-in-the-Loop-Verfahren, metamorphe Tests, Golden Sets/Ground Truth oder stochastische Analysen sind nur einige Beispiele.
Entscheidend ist jedoch nicht die vollständige Anwendung aller verfügbaren Methoden, sondern die gezielte Auswahl. Diese richtet sich nach:
- der Risikoeinschätzung des Systems
- den priorisierten Qualitätsmerkmalen aus ISO 25010/25059
- den regulatorischen Anforderungen des Anwendungsbereichs
- den verfügbaren Ressourcen und der Projektphase
Es gibt kein universelles Testrezept für KI-Systeme. Jede Organisation muss basierend auf ihrem spezifischen Kontext entscheiden, welche Kombination von Ansätzen angemessen und ausreichend ist. Dabei sollte besonders für die Integration der KI-Systeme eine Überprüfung der Teilmerkmale aus der ISO 25010 in die Teststrategien mit einbezogen werden.
Schlussfolgerung
Die Qualitätssicherung für KI-Systeme erfordert ein grundlegendes Umdenken. Testen bleibt, wenn auch nicht unbedingt in der klassischen Form, unverzichtbar. Validierung, statistische Analyse, Verhalten unter Unsicherheit und umfassende Negativtests ergänzen deterministische Verifikation.
Einen belastbaren Normenrahmen zur Orientierung liefern hierfür die ISO/IEC 25010 und die ISO/IEC 25059. Systematisch definieren sie die für KI-Systeme relevanten Qualitätsmerkmale, wie funktionale Anpassbarkeit, Robustheit, Transparenz und Eingreifbarkeit.
Wer KI erfolgreich, compliant und sicher produktiv einsetzen will, benötigt eine Teststrategie, die risikobasiert arbeitet, früh im Entwicklungsprozess ansetzt und KI-spezifische ebenso wie „klassische“ Qualitätskriterien systematisch adressiert. Die konkrete Umsetzung in Bezug auf Methoden, Umfang und Priorisierung muss jedoch jede Organisation für ihren spezifischen Kontext selbst bestimmen. Verantwortung und Kontrolle bleiben dabei stets beim Menschen verankert. Nur so lassen sich Innovation und Regulatorik in ein nachhaltiges Gleichgewicht bringen.
