Warum Selbstprüfung nicht reicht
Zuletzt aktualisiert: 2026-07-17Lesezeit ca. 4 Min.
Unabhängige Verifikation ist keine einzelne Produkteigenschaft. Session-, Modell-, Anbieter-, deterministische Tool-, Auftragsreferenz- und menschliche Entscheidungstrennung adressieren verschiedene Abhängigkeiten. Forschung misst Self-Preference bei LLM-Bewertung generierten Textes, nicht direkt die Leistung im Code-Review. Übertragt das als Hypothese und messt lokal.
Inhalt
Der bequeme Default: Der Assistent prüft sich selbst
Die Tool-Landschaft 2026 macht Selbstprüfung zum Weg des geringsten Widerstands. Claude Code schreibt eine Änderung und reviewt sie auf Zuruf; Cursors Agent schreibt einen PR und Bugbot reviewt ihn; Copilot generiert Code und Copilot Code Review kommentiert ihn. Der Fairness halber: Diese Reviewer sind gut, und ein zweiter Durchgang im frischen Kontext kann eine weitere Lesart ergänzen. Ein Praxisbericht beschreibt einen anbieterübergreifenden Workflow , ist aber weder kontrollierter Vergleich noch Ergebnis für eure Repositories.
Die engere Frage lautet, welche Abhängigkeiten Review und Generierung teilen. Kontext, Modellfamilie, Anbieter-Infrastruktur, Eingabedaten und unvollständiger Auftrag können jeweils relevant sein. Architektur allein sagt nicht, welchen konkreten Fehler ein Reviewer findet oder übersieht.
Was die Forschung zeigt: Modelle bevorzugen eigene Ausgaben
Der folgende Befund ist für Text-Evaluation gemessen, nicht für Code-Review. Panickssery, Bowman und Feng (2024) zeigten, dass LLM-Evaluatoren ihre eigenen Ausgaben mit deutlicher Trefferquote erkennen - und dass die Fähigkeit zur Selbst-Erkennung linear mit der Stärke der Selbst-Bevorzugung korreliert. Die Bias tritt out of the box auf, ohne jedes Fine-Tuning in diese Richtung.
Wataoka, Takahashi und Ri (2024) fanden den Mechanismus: Modelle bewerten niedrig-perplexen Text - Text, der ihnen vertraut vorkommt - höher als menschliche Juroren; GPT-4 zeigte in ihren Messungen signifikante Self-Preference. Code-Review ist eine andere Domäne mit anderen Referenzen und Werkzeugen. Ein Praxisberichtmotiviert einen Test von Reviewer-Distanz, macht die Übertragung aber nicht zum gemessenen Code-Befund.
Die Unabhängigkeits-Leiter
Unabhängigkeit hat mehrere Dimensionen
| Frischer Durchgang | Anderes Modell/Anbieter | Deterministische Checks | Auftragsabgleich + Mensch | |
|---|---|---|---|---|
| TrennungWelche Erzeugungsabhängigkeit wird verändert? | Session-KontextRedaktionelle Entscheidungszuordnung · 2026-07-17Vorsichtige Architektur-Hypothese aus Text-Evaluationsforschung; lokal messen. | Modell- oder AnbieterabhängigkeitRedaktionelle Entscheidungszuordnung · 2026-07-17Vorsichtige Architektur-Hypothese aus Text-Evaluationsforschung; lokal messen. | LLM-Urteil auf der mechanischen EbeneRedaktionelle Entscheidungszuordnung · 2026-07-17Operative Zuordnung; Ergebnis hängt von Check, Auftrag und Entscheidung ab. | Code als einzige Referenz und automatische EndentscheidungRedaktionelle Entscheidungszuordnung · 2026-07-17Operative Zuordnung; Ergebnis hängt von Check, Auftrag und Entscheidung ab. |
| ReferenzWogegen wird geprüft? | Diff und CodebasisRedaktionelle Entscheidungszuordnung · 2026-07-17Vorsichtige Architektur-Hypothese aus Text-Evaluationsforschung; lokal messen. | Diff, Codebasis und Review-RegelnRedaktionelle Entscheidungszuordnung · 2026-07-17Vorsichtige Architektur-Hypothese aus Text-Evaluationsforschung; lokal messen. | Typregeln, Tests, Linter oder ScannerRedaktionelle Entscheidungszuordnung · 2026-07-17Operative Zuordnung; Ergebnis hängt von Check, Auftrag und Entscheidung ab. | Vorab geschriebener Auftrag, Kriterien, Ergebnisse und verantwortliche EntscheidungRedaktionelle Entscheidungszuordnung · 2026-07-17Operative Zuordnung; Ergebnis hängt von Check, Auftrag und Entscheidung ab. |
| ErgänztWelche neue Perspektive entsteht? | Neue Aufmerksamkeit ohne GenerierungshistorieRedaktionelle Entscheidungszuordnung · 2026-07-17Vorsichtige Architektur-Hypothese aus Text-Evaluationsforschung; lokal messen. | Andere Trainings- und ProduktdefaultsRedaktionelle Entscheidungszuordnung · 2026-07-17Vorsichtige Architektur-Hypothese aus Text-Evaluationsforschung; lokal messen. | Reproduzierbare beobachtete ErgebnisseRedaktionelle Entscheidungszuordnung · 2026-07-17Operative Zuordnung; Ergebnis hängt von Check, Auftrag und Entscheidung ab. | Konformitätsfrage und accountable Merge-EntscheidungRedaktionelle Entscheidungszuordnung · 2026-07-17Operative Zuordnung; Ergebnis hängt von Check, Auftrag und Entscheidung ab. |
| Bleibende GrenzeWas bleibt unbewiesen? | Geteiltes Modell und ungetestete FindungswirkungRedaktionelle Entscheidungszuordnung · 2026-07-17Vorsichtige Architektur-Hypothese aus Text-Evaluationsforschung; lokal messen. | Geteilte Daten, Aufgabenlücken und mögliche ModellverwandtschaftRedaktionelle Entscheidungszuordnung · 2026-07-17Vorsichtige Architektur-Hypothese aus Text-Evaluationsforschung; lokal messen. | Check-Qualität, Abdeckung und SpezifikationRedaktionelle Entscheidungszuordnung · 2026-07-17Operative Zuordnung; Ergebnis hängt von Check, Auftrag und Entscheidung ab. | Falscher Auftrag, unvollständige Kriterien oder menschlicher IrrtumRedaktionelle Entscheidungszuordnung · 2026-07-17Operative Zuordnung; Ergebnis hängt von Check, Auftrag und Entscheidung ab. |
Diese Dimensionen sind kein Reifegrad-Score. Ein anderer Reviewer verändert eine Abhängigkeit, deterministische Checks ergänzen reproduzierbare Beobachtungen, und ein schriftlicher Auftrag wechselt die Referenz. Zusammen erlauben sie die Fragen „Was haben die Checks beobachtet?“ und „Entspricht die Änderung dem erklärten Auftrag?“
Wie ein unabhängiges Setup praktisch aussieht
- Den Auftrag vor dem Run aufschreiben. Ziel, Grenzen, prüfbare Kriterien - das schafft eine Referenz außerhalb des generierten Diffs. Der Auftrag kann trotzdem falsch oder unvollständig sein; haltet diese Grenze sichtbar.
- Deterministische Checks vorlassen. Typen, Tests und Linter liefern reproduzierbare Ergebnisse für ihre erklärten Checks. Sie beweisen weder Abdeckung, Absicht noch semantische Vollständigkeit. Ob sie überhaupt gelaufen sind oder nur als gelaufen gemeldet wurden, ist eine eigene Frage, die der Beleg über tatsächlich ausgeführte Checks beantwortet.
- Mit Distanz reviewen. Nutzt ein anderes Modell oder einen anderen Anbieter, wo das Tooling es erlaubt, und messt dann die nützlichen Funde. Die zitierten Studien belegen diesen Code-Effekt nicht.
- Die Merge-Entscheidung menschlich halten. Jemand liest verantwortlich beobachtete Ergebnisse und Grenzen und entscheidet. Die Entscheidung ist nicht automatisch richtig, aber Eigentümer und Grundlage bleiben prüfbar.
Wo Reality Graph ansetzt
Reality Graph kann schriftlichen Auftrag, gewählte Validierung und accountable Entscheidung von der generierenden Session trennen und beobachtete Ergebnisse in einem Prüfbericht festhalten. Das beweist weder Vollständigkeit des Auftrags noch Bias-Freiheit und ersetzt weder PR-Review noch menschliche Merge-Entscheidung.
Diese Einordnung liefert
- Den echten Studien-Scope
- Eine explizite Transfergrenze zu Code
- Vier kombinierbare Prüfdimensionen
- Eine verantwortliche menschliche Endentscheidung
Sie behauptet nicht
- Dass Self-Review nutzlos ist
- Dass ein anderes Modell alle Bias entfernt
- Dass deterministische Checks semantische Vollständigkeit beweisen
- Dass Auftragsabgleich Korrektheit oder Audit-Assurance garantiert
FAQ
- Kann ein KI-Anbieter glaubwürdig seinen eigenen Code prüfen?
- Ein separater Durchgang kann eine neue Lesart ergänzen; seine Wirkung muss aber an repräsentativen Änderungen gemessen werden. Zwei zitierte Studien fanden Selbst-Erkennung und Self-Preference bei LLM-Bewertung generierten Textes. Sie testeten weder Code-Review noch einen Anbieter. Session-, Modell-, Anbieter-, Tool- und Referenztrennung sind verschiedene Dimensionen; keine beweist Neutralität oder Korrektheit.
- Reviewt Cursor Bugbot Code, den Cursor selbst geschrieben hat?
- Cursor dokumentiert Bugbot als PR-Review-Produkt; ein konkreter Workflow kann aber verschiedene Generatoren, Modelle und Einstellungen nutzen. Dieser Artikel leitet weder ein internes Modell noch ein Findungsergebnis ab. Erfasst tatsächlichen Generator, Reviewer-Konfiguration, Prüfreferenz und beobachtete Funde, bevor ihr Trennung bewertet.
- Reicht ein anderes Modell fürs Review als Unabhängigkeit?
- Es verändert eine Abhängigkeit und kann andere Defaults ergänzen, belegt aber weder einen nützlichen Fund noch die Entfernung aller gemeinsamen Abhängigkeiten. Prüft auch die Referenz: Diff-/Codebasis-Review und Abgleich mit einem vorab geschriebenen Auftrag beantworten verschiedene Fragen. Kombiniert Dimensionen risikogerecht und messt ihre Wirkung lokal.
- Was zeigt die Forschung konkret zur Self-Preference-Bias?
- Panickssery, Bowman und Feng fanden nicht-triviale Selbst-Erkennung bei GPT-4 und Llama 2 und verbanden Erkennung in kontrollierten Text-Evaluations-Experimenten mit Self-Preference. Wataoka, Takahashi und Ri berichteten signifikante Self-Preference bei GPT-4 und höhere LLM-Wertungen für niedrig-perplexen Text als menschliche Evaluatoren. Keine Arbeit untersuchte generierten Code, PR-Review oder Auftragskonformität; die Übertragung auf Code ist eine zu testende Hypothese.
- Ist KI-Selbstprüfung also nutzlos?
- Keine kategorische Folgerung ist belegt. Ein frischer Durchgang kann Probleme finden, doch diese Seite hat kein kontrolliertes lokales Findungsergebnis. Behandelt Self-Review als einen Check, erfasst Funde und Lücken und ergänzt je nach Risiko deterministische Befehle, Auftragsabgleich oder einen weiteren Reviewer.
- Wie ergänzt ein Team Unabhängigkeit, ohne eine weitere Plattform zu kaufen?
- Beginnt mit Prozessänderungen statt einer Kaufbehauptung: frischer Review-Kontext; anderes Modell, wo verfügbar; deterministische Typen, Tests und Linter; Auftragskriterien vor der Generierung; accountable menschliche Entscheidung. Jeder Schritt hat Grenzen, und die Wirkung hängt von Änderung und Checks ab.
Weiterlesen
Quellen
- Panickssery, Bowman, Feng - LLM Evaluators Recognize and Favor Their Own Generations (arXiv v1, geprüft 2026-07-17, englisch)
- Wataoka, Takahashi, Ri - Self-Preference Bias in LLM-as-a-Judge (arXiv v2, geprüft 2026-07-17, englisch)
- madewithlove - Praxisbericht zum Vergleich von Bugbot- und Claude-Review (2026, englisch)
- WorkOS - Cursor Bugbot reviewt Claude-Code-PRs: Cross-Vendor-Review in der Praxis (2025, englisch)
- Cursor - Bugbot-Dokumentation (abgerufen 2026-07, englisch)