Warum Selbstprüfung nicht reicht
Zuletzt aktualisiert: 2026-11-03Lesezeit ca. 4 Min.
Quellen geprüft am 2026-11-03keine externen Zahlen
Unabhängige Verifikation ist keine einzelne Produkteigenschaft. Session, Modell, Anbieter, deterministisches Tool, Auftragsreferenz und verantwortlicher Mensch lassen sich jeweils getrennt halten, und jede dieser Trennungen betrifft eine andere Abhängigkeit. Die Forschung hat Self-Preference bei der LLM-Bewertung generierten Textes gemessen, nicht direkt die Leistung im Code-Review. Behandelt die Übertragung auf Code als Hypothese und messt sie an repräsentativen Änderungen.
Inhalt
Der bequeme Default: Der Assistent prüft sich selbst
Die Tool-Landschaft 2026 macht Selbstprüfung zum Weg des geringsten Widerstands. Claude Code schreibt eine Änderung und prüft sie auf Zuruf oder über sein gehostetes Code-Review; Cursors Agent schreibt einen PR und Bugbot prüft ihn; Copilot generiert Code und Copilots Code-Review kommentiert ihn. Der Fairness halber: Diese Reviewer sind gut, und eine zweite Review-Phase im frischen Kontext kann eine weitere Lesart ergänzen. Ein Praxisbericht beschreibt einen anbieterübergreifenden Workflow, ist aber weder ein kontrollierter Vergleich noch ein Ergebnis für eure Repositories.
Die engere Frage lautet, welche Abhängigkeiten Review und Generierung teilen. Kontext, Modellfamilie, Anbieter-Infrastruktur, Eingabedaten und unvollständiger Auftrag können jeweils relevant sein. Architektur allein sagt nicht, welchen konkreten Fehler ein Reviewer findet oder übersieht.
Was die Forschung zeigt: Modelle bevorzugen eigene Ausgaben
Der folgende Befund wurde an der Bewertung generierten Textes gemessen, nicht am Code-Review. Panickssery, Bowman und Feng (2024) zeigten, dass LLM-Evaluatoren ihre eigenen Ausgaben mit deutlicher Trefferquote erkennen und dass die Fähigkeit zur Selbst-Erkennung linear mit der Stärke der Self-Preference korreliert. Der Bias tritt ohne jedes Fine-Tuning in diese Richtung auf (arXiv v1, geprüft am 3. November 2026).
Wataoka, Takahashi und Ri (2024) fanden den Mechanismus: Modelle bewerten Text mit niedriger Perplexität, also Text, der ihnen vertraut vorkommt, höher als menschliche Juroren; GPT-4 zeigte in ihren Messungen signifikante Self-Preference (arXiv v2, geprüft am 3. November 2026). Code-Review ist eine andere Domäne mit anderen Referenzen und Tools. Ein Praxisbericht spricht dafür, Reviewer-Distanz zu testen; zum gemessenen Code-Befund macht er die Übertragung nicht.
Die Unabhängigkeits-Leiter
Unabhängigkeit hat mehrere Dimensionen
| Frische Review-Phase | Anderes Modell/Anbieter | Deterministische Checks | Auftragsabgleich + Mensch | |
|---|---|---|---|---|
| TrennungWelche Erzeugungsabhängigkeit wird verändert? | Session-KontextRedaktionelle Entscheidungszuordnung · 2026-11-03Vorsichtige Architektur-Hypothese aus Text-Evaluationsforschung; lokal messen. | Modell- oder AnbieterabhängigkeitRedaktionelle Entscheidungszuordnung · 2026-11-03Vorsichtige Architektur-Hypothese aus Text-Evaluationsforschung; lokal messen. | LLM-Urteil auf der mechanischen EbeneRedaktionelle Entscheidungszuordnung · 2026-11-03Operative Zuordnung; Ergebnis hängt von Check, Auftrag und Entscheidung ab. | Code als einzige Referenz und automatische EndentscheidungRedaktionelle Entscheidungszuordnung · 2026-11-03Operative Zuordnung; Ergebnis hängt von Check, Auftrag und Entscheidung ab. |
| ReferenzWogegen wird geprüft? | Diff und CodebasisRedaktionelle Entscheidungszuordnung · 2026-11-03Vorsichtige Architektur-Hypothese aus Text-Evaluationsforschung; lokal messen. | Diff, Codebasis und Review-RegelnRedaktionelle Entscheidungszuordnung · 2026-11-03Vorsichtige Architektur-Hypothese aus Text-Evaluationsforschung; lokal messen. | Typregeln, Tests, Linter oder ScannerRedaktionelle Entscheidungszuordnung · 2026-11-03Operative Zuordnung; Ergebnis hängt von Check, Auftrag und Entscheidung ab. | Vorab geschriebener Auftrag, Kriterien, Ergebnisse und verantwortliche EntscheidungRedaktionelle Entscheidungszuordnung · 2026-11-03Operative Zuordnung; Ergebnis hängt von Check, Auftrag und Entscheidung ab. |
| ErgänztWelche neue Perspektive entsteht? | Neue Aufmerksamkeit ohne GenerierungshistorieRedaktionelle Entscheidungszuordnung · 2026-11-03Vorsichtige Architektur-Hypothese aus Text-Evaluationsforschung; lokal messen. | Andere Trainings- und ProduktdefaultsRedaktionelle Entscheidungszuordnung · 2026-11-03Vorsichtige Architektur-Hypothese aus Text-Evaluationsforschung; lokal messen. | Reproduzierbare beobachtete ErgebnisseRedaktionelle Entscheidungszuordnung · 2026-11-03Operative Zuordnung; Ergebnis hängt von Check, Auftrag und Entscheidung ab. | Konformitätsfrage und verantwortliche Merge-EntscheidungRedaktionelle Entscheidungszuordnung · 2026-11-03Operative Zuordnung; Ergebnis hängt von Check, Auftrag und Entscheidung ab. |
| Bleibende GrenzeWas bleibt unbewiesen? | Geteiltes Modell und ungemessene Wirkung auf die TrefferquoteRedaktionelle Entscheidungszuordnung · 2026-11-03Vorsichtige Architektur-Hypothese aus Text-Evaluationsforschung; lokal messen. | Geteilte Daten, Auftragslücken und mögliche ModellverwandtschaftRedaktionelle Entscheidungszuordnung · 2026-11-03Vorsichtige Architektur-Hypothese aus Text-Evaluationsforschung; lokal messen. | Check-Qualität, Abdeckung und VorgabeRedaktionelle Entscheidungszuordnung · 2026-11-03Operative Zuordnung; Ergebnis hängt von Check, Auftrag und Entscheidung ab. | Falscher Auftrag, unvollständige Kriterien oder menschlicher IrrtumRedaktionelle Entscheidungszuordnung · 2026-11-03Operative Zuordnung; Ergebnis hängt von Check, Auftrag und Entscheidung ab. |
Diese Dimensionen sind kein Reifegrad-Score. Ein anderer Reviewer verändert eine Abhängigkeit, deterministische Checks ergänzen reproduzierbare Beobachtungen, und ein schriftlicher Auftrag wechselt die Referenz. Zusammen erlauben sie die Fragen „Was haben die Checks beobachtet?“ und „Entspricht die Änderung dem erklärten Auftrag?“
Wie ein unabhängiges Setup praktisch aussieht
- Den Auftrag vor dem Run aufschreiben. Ziel, Grenzen, prüfbare Kriterien – das schafft eine Referenz außerhalb des generierten Diffs. Der Auftrag kann trotzdem falsch oder unvollständig sein; haltet diese Grenze sichtbar.
- Deterministische Checks vorlassen. Typen, Tests und Linter liefern reproduzierbare Ergebnisse für ihre erklärten Checks. Sie beweisen weder Abdeckung, Absicht noch semantische Vollständigkeit. Ob sie überhaupt gelaufen sind oder nur als gelaufen gemeldet wurden, ist eine eigene Frage, die der Beleg über tatsächlich ausgeführte Checks beantwortet.
- Mit Distanz prüfen. Nutzt ein anderes Modell oder einen anderen Anbieter, wo das Tooling es erlaubt, und messt dann die nützlichen Funde. Die zitierten Studien belegen diesen Code-Effekt nicht.
- Die Merge-Entscheidung menschlich halten. Eine verantwortliche Person liest die beobachteten Ergebnisse und Grenzen und entscheidet. Die Entscheidung ist nicht automatisch richtig, aber Verantwortliche und Grundlage bleiben prüfbar.
Wo Reality Graph ansetzt
Reality Graph kann schriftlichen Auftrag, gewählte Validierung und verantwortliche Entscheidung von der generierenden Session trennen und beobachtete Ergebnisse in einem Prüfbericht festhalten. Das beweist weder Vollständigkeit des Auftrags noch Bias-Freiheit und ersetzt weder PR-Review noch menschliche Merge-Entscheidung.
Diese Einordnung liefert
- Den echten Studien-Scope
- Eine explizite Transfergrenze zu Code
- Vier kombinierbare Prüfdimensionen
- Eine verantwortliche menschliche Endentscheidung
Sie behauptet nicht
- Dass Selbstprüfung nutzlos ist
- Dass ein anderes Modell alle Bias entfernt
- Dass deterministische Checks semantische Vollständigkeit beweisen
- Dass Auftragsabgleich Korrektheit oder Audit-Assurance garantiert
FAQ
- Kann ein KI-Anbieter glaubwürdig seinen eigenen Code prüfen?
- Eine separate Review-Phase kann eine neue Lesart ergänzen; ihre Wirkung muss aber an repräsentativen Änderungen gemessen werden. Zwei zitierte Studien fanden Selbst-Erkennung und Self-Preference bei LLM-Bewertung generierten Textes. Sie testeten weder Code-Review noch einen Anbieter. Session-, Modell-, Anbieter-, Tool- und Referenztrennung sind verschiedene Dimensionen; keine beweist Neutralität oder Korrektheit.
- Prüft Cursor Bugbot Code, den Cursor selbst geschrieben hat?
- Cursor dokumentiert Bugbot als PR-Review-Produkt; ein konkreter Workflow kann aber verschiedene Generatoren, Modelle und Einstellungen nutzen. Dieser Artikel leitet weder ein internes Modell noch ein Ergebnis zur Trefferquote ab. Erfasst den tatsächlichen Generator, die Reviewer-Konfiguration, die Prüfreferenz und die beobachteten Funde, bevor ihr die Trennung bewertet.
- Reicht ein anderes Modell fürs Review als Unabhängigkeit?
- Es verändert eine Abhängigkeit und kann andere Defaults ergänzen, belegt aber weder einen nützlichen Fund noch die Entfernung aller gemeinsamen Abhängigkeiten. Prüft auch die Referenz: Diff-/Codebasis-Review und Abgleich mit einem vorab geschriebenen Auftrag beantworten verschiedene Fragen. Kombiniert Dimensionen risikogerecht und messt ihre Wirkung lokal.
- Was zeigt die Forschung konkret zum Self-Preference-Bias?
- Panickssery, Bowman und Feng fanden nichttriviale Selbst-Erkennung bei GPT-4 und Llama 2 und verbanden Erkennung in kontrollierten Text-Evaluations-Experimenten mit Self-Preference. Wataoka, Takahashi und Ri berichteten signifikante Self-Preference bei GPT-4 und höhere LLM-Wertungen für niedrig-perplexen Text als menschliche Evaluatoren. Keine Arbeit untersuchte generierten Code, PR-Review oder Auftragskonformität; die Übertragung auf Code ist eine zu testende Hypothese.
- Ist KI-Selbstprüfung also nutzlos?
- Keine kategorische Folgerung ist belegt. Eine frische Review-Phase kann Probleme finden, doch diese Seite hat kein kontrolliert gemessenes lokales Ergebnis zur Trefferquote. Behandelt die Selbstprüfung als einen Check, erfasst Funde und Lücken und ergänzt je nach Risiko deterministische Befehle, Auftragsabgleich oder einen weiteren Reviewer.
- Wie ergänzt ein Team Unabhängigkeit, ohne eine weitere Plattform zu kaufen?
- Beginnt mit Prozessänderungen statt mit einer Beschaffung: frischer Review-Kontext; anderes Modell, wo verfügbar; deterministische Typen, Tests und Linter; Auftragskriterien vor der Generierung; verantwortliche menschliche Entscheidung. Jeder Schritt hat Grenzen, und die Wirkung hängt von Änderung und Checks ab.
Weiterlesen
Quellen
- Panickssery, Bowman, Feng – LLM Evaluators Recognize and Favor Their Own Generations (arXiv 2404.13076, v1 vom April 2024; geprüft 2026-11-03, englisch)
- Wataoka, Takahashi, Ri – Self-Preference Bias in LLM-as-a-Judge (arXiv 2410.21819, v2 vom Juni 2025, NeurIPS 2024 Safe Generative AI Workshop; geprüft 2026-11-03, englisch)
- madewithlove – Praxisbericht zum Vergleich von Bugbot- und Claude-Review (veröffentlicht 2025-10-15; abgerufen 2026-11-03, englisch)
- WorkOS – Cursor Bugbot prüft Claude-Code-PRs: anbieterübergreifendes Review in der Praxis (veröffentlicht 2026-03-16; abgerufen 2026-11-03, englisch)
- Cursor – Bugbot-Dokumentation: Pull-Request-Review auf GitHub, GitLab, Bitbucket und Azure DevOps, nutzungsbasierte Abrechnung (abgerufen 2026-11-03, englisch)
- Claude-Code-Dokumentation – Code-Review: gehostetes Pull-Request-Review für Team- und Enterprise-Pläne neben dem lokalen Review-Kommando (abgerufen 2026-11-03, englisch)