Zum Inhalt springen
Blog

Trau keinem Agenten, der "fertig" sagt

01.10.2026 4 Min. Lesezeit ai, engineering, testing

Coding-Agenten benoten ihre eigenen Hausaufgaben. kanman lässt sie nicht: Jede Änderung braucht eure eigene CI und einen Reviewer, der sie nicht geschrieben hat und den Bug vor und nach der Änderung selbst durchspielt. Die Maschine, die merged, prüft beides.

“Alle Tests sind grün. Das Feature ist fertig.”

Jeder Coding-Agent sagt das. Meistens stimmt es sogar, im engsten Sinne. Die Tests sind grün. Die Tests, die der Agent geschrieben hat. Für den Code, den der Agent geschrieben hat. Auf Basis seiner Lesart eines Tickets, in dem “Export schneller machen” stand.

Das ist kein Beweis. Das ist ein Schüler, der seine eigene Klausur korrigiert und euch die Note reicht.

Wo “fertig” schiefgeht

Ich habe zehn Wochen lang ein KI-Team auf einem echten Produkt laufen lassen, bevor ich kanman auf Basis dessen umgebaut habe, was ich dabei gelernt habe. Die Fehler, die wehgetan haben, waren nie Syntaxfehler. Die fängt die CI.

Die schmerzhaften sahen so aus:

  • Der Agent hat genau das gemockt, was der Test prüfen sollte. Grüner Lauf, nichts getestet.
  • Der Agent hat einen roten Test “gefixt”, indem er die Assertion geändert hat.
  • Das Feature lief auf der Maschine des Agenten, mit Zustand aus drei früheren Versuchen, und sonst nirgends.
  • Der PR hat getan, was im Ticket stand, und nicht, was die Person meinte, die es geschrieben hat.

Jeder dieser Fälle ist mindestens einmal durchs Review gekommen, weil Reviewer grünen Checks vertrauen. Natürlich tun sie das. Dafür sind grüne Checks da.

Ein zweites Paar Augen, das selbst ausprobiert

Deshalb fragt kanman nicht den Agenten, ob er fertig ist. Zwei Dinge entscheiden, und keins davon hat den Code geschrieben.

1. Eure CI. Die Pipelines, durch die auch die Änderungen eurer Kolleginnen gehen, nichts eigens Erfundenes. Ist ein Job wegen der Änderung rot, geht sie zurück in die Arbeit. Ist ein Job auf main aus demselben Grund auch rot, nennt kanman den Job und die Ursache, statt ihn still zu übergehen.

2. Ein Reviewer, der sie nicht geschrieben hat. Eine eigene Sitzung, nie die, die die Änderung geschrieben hat, bekommt den Merge Request. Sie checkt genau diesen Commit aus, liest den ganzen Diff gegen die Story und sucht nach genau den Fehlern von oben: ein gemocktes Ziel, eine gelockerte Assertion, ein übersprungener Test.

3. Er führt den Beweis selbst. Der Reviewer spielt den ursprünglichen Bug oder die Abnahmeprüfung der Story zuerst auf main durch. Dann dieselbe Prüfung auf der Änderung, die jetzt bestehen muss, und er lässt die Tests laufen. Geht das nicht, etwa weil es ein Produktionskonto bräuchte, das kanman nicht hat, sagt er das und warum. Das sage ich euch lieber, als ein grünes CI-Badge als Beweis zu verkleiden.

4. Die Regel sitzt dort, wo gemerged wird. Der Coding-Agent hat kein Token, mit dem er mergen könnte. kanmans Host merged nur, wenn die CI am neuesten Commit grün ist und der Reviewer genau diesen Commit ohne blockierenden Befund freigegeben hat. Ein neuer Commit nach dem Review heißt ein neues Review. Eure geschützten Branches und Freigaberegeln gelten zusätzlich.

Was der Reviewer nachgewiesen hat, steht in der Beschreibung des Merge Requests: was er ausgeführt hat, vorher und nachher, und seine Befunde, jeder an seiner Zeile. Eure Reviewerin liest Belege, statt sie sich zusammenzusuchen.

“Unser Repo hat dünne Tests”

Die meisten Repos, die ich sehe, haben das. Das ist okay.

Zum Start braucht ihr kein besonderes Test-Setup. kanman nutzt die CI, die ihr schon habt, und der Vorher-nachher-Lauf des Reviewers deckt das Verhalten ab, das eure Tests nicht abdecken. Wo eure CI dünn ist, zeigt sich das in den Reviews, und kanman kann die fehlenden Tests als normale Stories vorschlagen.

Warum genau das zählt

Es hat einen Grund, dass das in der Mitte von kanman sitzt und nicht in einer Einstellungsseite.

Ein KI-Teammitglied, das ungeprüfte Arbeit liefert, spart eurem Team keine Zeit. Es verschiebt die Arbeit vom Code-Schreiben zum Code-Anzweifeln. Eure Senior-Leute reviewen am Ende jede Zeile doppelt, weil sie nicht erkennen, welche PRs echt sind.

Ein KI-Teammitglied, das Belege zeigt, verändert das Review. Ihr fragt nicht mehr “funktioniert das?”, sondern “wollten wir das?”. Diese zweite Frage können Menschen gut beantworten.

Agenten, die ihre Arbeit beweisen, schlagen Agenten, die Demos zeigen. Wer die Details will: Wie kanman seine Arbeit prüft ist Schritt für Schritt dokumentiert.

Ihr wollt ein KI-Teammitglied, das seine Arbeit beweist, bevor es euch um ein Review bittet? kanman - Local kostenlos, Starter 99 € und Team 249 € pro KI-Team und Monat, 14 Tage testen ohne Karte.
Marco Kerwitz
Autor

Marco Kerwitz

Founder of kanman.ai

Lerne kanman kennen

kanman ist ein KI-Teammitglied für Engineering-Teams. Es nimmt Anforderungen auf, schreibt die Stories, liefert den Code über Claude Code oder Codex und beweist jede Änderung gegen eure Akzeptanzkriterien.

  • Arbeitet in eurem Jira, GitHub oder GitLab.
  • Eure Richtlinie legt fest, was es anfassen, ausgeben und mergen darf.
  • Jede Änderung besteht eure CI und ein unabhängiges Review, bevor sie gemerged wird.
14 Tage kostenlos testen

Local kostenlos, Starter 99 € und Team 249 € pro KI-Team und Monat, 14 Tage testen ohne Karte.