11 Testbegeisterte, ein Haus, 4 Tage
Das German Testing Retreat ging in die zweite Runde, wie schon beim ersten Mal in Eschwege. Der Ort ist für dieses Format einfach super geeignet. Kein Konferenzsaal, keine Keynotes, keine Sponsorenstände. Stattdessen 11 Menschen, die Softwaretest und Qualitätssicherung nicht nur als Job sehen, sondern als Thema, über das man gern auch noch nach dem 3. Bier streitet.
Mit dabei waren dieses Jahr Georg Haupt, Julia Leitner, Florian Fieber, Björn Scherer, Christian Mercier, Dehla Sokenou, Ina Schieferdecker, Lilia Gargouri, Wolfgang Sperling, Richard Seidl und ich (Matthias Groß). Neu im Kreis waren Georg und Ina.
Beim Ankommen war es schön, die vertrauten Gesichter wiederzusehen und direkt in spannende Fachthemen einzusteigen.
Das Format: Arbeiten, Kochen, Abwaschen
Das Retreat läuft über 4 Tage: Anreise am Vortag, 2 volle Tage intensiver Austausch, Abreise am 4. Tag. Bewusst unter der Woche und nicht am Wochenende.
Wir waren in einem Haus für Selbstversorger. Heißt konkret: Alle müssen mal kochen, und alle müssen mal abwaschen. Klingt banal, trägt aber enorm positiv zur Teamdynamik bei. Beim Schnitzelpanieren und Kartoffelschälen entstehen Gespräche, die in keiner Session-Agenda stehen. Hierarchien gibt es beim Retreat ohnehin nicht.
Die Themen sammelten wir nach dem Abendessen am ersten Abend und priorisierten sie gemeinsam am Flipchart, ganz im Stil einer Unkonferenz.
Die Themen: Was uns 2 Tage beschäftigt hat
Auf den Flipcharts landete eine bunte Mischung: Test Harness, KI im Testmanagement, Testorganisation im Betrieb, Communities, NFT-Challenges, Model-Based Testing, Spec-Driven Testing und TDD, Testen von KI-basierten Systemen, digitale Souveränität, Compliance und Governance und die Frage, wohin sich das Berufsbild im Testen entwickelt. Außerdem diskutierten wir über Mensch vs. TestSkill.md und über Testmethoden neben ISTQB. 3 Themen hielten uns besonders lange fest.
KI als Strukturbruch im Testen?
Ina brachte das Thema mit und ordnete es über die Phasen der Digitalisierung ein: von der technischen Digitalisierung der 90er über Prozessdigitalisierung und digitale Transformation bis zur heutigen digitalen Selbsttransformation mit agentischer Software.
Neu daran ist die Rekursion: Software verändert Software, die Produktion wird zur Entwicklungs- und Testumgebung. Ein Beispiel: Man sagt der Hausautomation, dass man einen Einkaufszettel auf dem Handy braucht, und sie baut ihn. Ganz ohne Release oder Testzyklus.
Im Business bremst die Haftung diese Evolution deutlich. Und ist nicht jeder Fortschritt ein Strukturbruch, vom Ochsenpflug bis zur Dampfmaschine? Offen blieb die Kernfrage: Werden wir im Test durch KI wirklich deutlich produktiver?
Test Harness: Was genau schützen wir eigentlich?
Schnell war klar, dass wir für die weiteren Diskussionen erst eine gemeinsame Definition brauchten. Das ISTQB Glossar beschreibt einen Test Harness als Testumgebung aus Stubs und Treibern, die zur Testdurchführung nötig sind. Ist das also im Grunde ein Testframework?
Im KI-Umfeld bekommt der Begriff eine neue Bedeutung. Ein Agent Harness steckt den Rahmen ab, in dem sich eine KI bewegt: Tools, Rechte, Guardrails, Skills. Daraus entstanden unsere Fragen: Brauchen wir einen Test-Agent-Harness oder gleich einen Quality-Agent-Harness? Wie unterscheiden sich Inner und Outer Harness? Und weil ein Harness immer Artefakte schützt: Welche Artefakte sind im Testen überhaupt schützenswert?
Der QA-Engpass bei KI-generierter Software
Bauen ist billig geworden. Für eine gleichbleibende Testabdeckung bräuchte es mehr QA-Fachleute, doch das ist meist nicht gegeben.
Von Vibe Coding über Vibe Testing bis Vibe Testscripting bleibt für den Menschen vor allem Review und Prüfen. Und ehrlich: Nach 5 Minuten Review ist der Kopf Matsch.
Also mehr Testautomatisierung, mehr Personen, mehr KI oder gleich eine andere Teststrategie? Da Unternehmen meist bestehende Systeme erweitern statt neu zu bauen, braucht jede Skalierung zuerst Basisarbeit.
Beim EU AI Act zeigte sich ein Widerspruch: Code ohne Review finden viele okay, Testfälle will man lesen, Testskripte wieder nicht. Unsere Vermutung: Code und Changes explodieren, die Zahl der Funktionalitäten bleibt überschaubar.
Mein Highlight: Austausch auf Augenhöhe
Das Beste am Retreat ist für mich der Austausch auf Augenhöhe. Man darf eine halbfertige These in den Raum werfen und bekommt ehrliche Gegenfragen statt höflichem Nicken.
Die Diskussionen hörten auch nicht um 17 Uhr auf. Sie gingen beim Grillen auf der Terrasse im Sonnenuntergang weiter, am Abend vor dem Flipchart im Freien und beim Spaziergang zur Blauen Kuppe. Und dann gab es noch den Hitster-Abend, bei dem sich zeigte, dass viele aus dem Testumfeld auch Musikjahre ziemlich präzise einordnen können. Ich gehöre da eindeutig nicht dazu.
Beim Schwäbischen Abend bekamen wir drei vom TestLänd (Julia, Wolfgang und ich) tatkräftige Unterstützung von Georg aus dem Norden und der StugHH.
Fazit: Ich nehme vor allem Fragen mit
Das Tolle an diesem Event: Man fährt nicht nur mit Antworten nach Hause, sondern vor allem mit vielen guten Fragen. Fragen, die einen locker ein Jahr beschäftigen können. Das hier sind einige davon:
- Werden wir im Softwaretest durch KI wirklich produktiver, oder verschiebt sich der Engpass nur?
- Welche Artefakte muss ein Test Harness für KI-Agenten schützen?
- Wie sieht eine Teststrategie aus, wenn die Testabdeckung sinkt und die Changes explodieren?
- Was lesen wir als Menschen noch selbst, und was überlassen wir der Maschine?
Danke an alle, die dabei waren, für die Offenheit, die Diskussionen und das Abwaschen. Ich freue mich schon auf das 3. German Testing Retreat.
