Ein neuer Benchmark von Alibaba-Forschern zeigt, dass selbst die besten Coding-Agenten im Schnitt nur rund ein Viertel realer Aufgaben vollständig lösen. Das führende Modell GPT-6 Astra erfüllt durchschnittlich etwa 70 Prozent der Anforderungen einer Aufgabe und ist bei 26,4 Prozent der Aufgaben vollständig korrekt.

Der Benchmark Co-Design Bench stammt von Forschern von Alibaba und weiteren Partnern (arXiv:2610.35138, Projektseite codesignbench.github.io). Grundlage sind echte Coding-Sitzungen; bevorzugt wurden Fälle, in denen Nutzer ihre Anfrage mehrfach umformulieren mussten oder Änderungen wieder zurückgenommen haben.

Getestet wurden zehn Modelle, darunter multimodale Aufgaben, bei denen Agenten Werte aus Rechnungen, Tabellen oder Videos ziehen und alle abhängigen Ansichten einer Webanwendung aktualisieren müssen. GPT-6 Astra führt beide Teststrecken, erfüllt im Schnitt aber nur rund 70 Prozent der Anforderungen einer Aufgabe und ist bei 26,4 Prozent der Aufgaben vollständig korrekt. Dahinter folgen Claude Opus 5 und Qwen3.8-Max, Grok 4.6 liegt am Ende des Feldes.

Die Autoren begründen den neuen Test mit der Sättigung älterer Benchmarks. Auf Aufgaben wie WebCompass-edit erreichen agentische Coding-Modelle über 99 Prozent; der Abstand zu Co-Design Bench liegt bei mehr als 35 Prozentpunkten.

Die Bewertung ist aufwendig abgesichert. Ein KI-Richter testet die fertige Anwendung im Browser, ein zweiter prüft jedes positive Urteil nach und sucht gezielt nach Attrappen und fest einprogrammierten Ergebnissen.

Bemerkenswert ist ein Vergleich innerhalb derselben Modellfamilie: Qwen3.8-27B erreichte bei großen Umbauten je nach Arbeitsumgebung 75 oder 56 Prozent, und die Rangfolge der Modelle kehrte sich zwischen den Testumgebungen um. Ranglisten, die nur das Modell nennen, erzählen damit nur einen Teil der Geschichte.

Zusätzliche Rechenleistung schloss die Lücke nicht. GLM-5.2 verbrauchte bei kleineren Änderungen fast sechsmal so viele Token wie GPT-6 Astra und schnitt trotzdem deutlich schlechter ab. Alle zehn Modelle verlieren Leistung, sobald eine Aufgabe drei oder vier Änderungsarten verbindet – der Normalfall in realen Projekten.

Die Autoren nennen die Grenzen des Verfahrens: eine feste Anfrage pro Aufgabe, keine Korrekturen durch Nutzer während der Bearbeitung und KI-Richter, die selbst irren können. Der Befund ist damit eine belastbare Größenordnung, keine exakte Messung betrieblicher Praxis.

Für Handwerksbetriebe und KMU verschiebt sich durch solche Zahlen vor allem die Frage nach dem Prüfschritt. Ein Agent arbeitet wie ein sehr geduldiger Junior mit perfektem Gedächtnis – und ohne Kenntnis der betrieblichen Zusammenhänge. Sinnvoll sind ein klar zugeschnittener Aufgabenausschnitt, ein definiertes Ende und eine Person, die das Ergebnis lesen und bewerten kann. Der erste Entwurf lässt sich delegieren, die Verantwortung für das Ergebnis nicht.

Autor: Team REN-AI-SSANCE – mit KI-Unterstützung erstellt, von Menschen geprüft und freigegeben.

Quelle: shift.zone – Originalartikel vom 08.11.2026; Abruf/Archivstand: 09.11.2026