Zum Hauptinhalt springen

RESEARCH 04 / FRONTIER AI

WAS KÖNNEN NEUE
MODELLE WIRKLICH?

Frontier AI steht hier für die sich verschiebende Leistungsgrenze moderner Modelle: mehrstufiges Denken, multimodales Verstehen und der Einsatz von Werkzeugen. Für Unternehmen zählt, welche konkrete Aufgabe dadurch besser gelingt.
KAAY PERSPEKTIVE / 16. SEPTEMBER 2026
Generierte Anwendungsszene zur Prüfung eines digitalen Agentenablaufs.
GENERIERTE KONZEPTSZENE / KAAY RESEARCH

SELBST EINORDNEN

Ein Modellwechsel braucht einen Vergleich.

Ein Gedankenexperiment zum CMS-Testbestand aus diesem Artikel. Drei Ansichten zeigen, was einen aussagekräftigen Vergleich ausmacht.
ILLUSTRATIVER PRÜFAUFTRAG

Vergleichbar beginnen.

TESTBESTAND
Dieselben Fachtexte und dieselben CMS-Felder
VARIANTEN
Einfache Texte, fehlende Angaben und widersprüchliche Quellen.
PRÜFFRAGE
Sind Aufgabe und Rahmen für beide Modellversionen gleich?
ILLUSTRATIVER PRÜFAUFTRAG

Mehr als den Durchschnitt sehen.

PRÜFUNG
Fachliche Treue, Feldbelegung und offene Fragen
GENAUER HINSEHEN
Welche Fehlertypen treten auf und welche sind besonders relevant?
PRÜFFRAGE
Ist ein Ergebnis im tatsächlichen Arbeitsablauf akzeptierbar?
ILLUSTRATIVER PRÜFAUFTRAG

Qualität und Aufwand zusammen betrachten.

VERGLEICH
Akzeptierte Ergebnisse, Korrekturaufwand, Laufzeit und Kosten
VERANTWORTUNG
Das Team bewertet den Nutzen für diesen Ablauf.
GRENZE
Ein allgemeiner Benchmark entscheidet nicht über Ihren Modellwechsel.
Gedankenexperiment / keine Live-KI, keine Messdaten, kein dokumentierter Kundenversuch.

DAS SIGNAL AUS DER FORSCHUNG

Längere Aufgaben brauchen bessere Prüfungen.

METR misst, welche Aufgabenlängen Modelle mit einer bestimmten Erfolgswahrscheinlichkeit bewältigen; die Länge bezieht sich auf den Aufwand menschlicher Fachleute. Das ist kein Versprechen über beliebige Büroarbeit. Anthropic beschreibt ergänzend, wie Agenten anhand von Aufgaben, mehreren Versuchen und prüfbaren Ergebnissen bewertet werden können.

METR · Task-Completion Time Horizons · abgerufen 16.09.2026 ↗ · Anthropic · Demystifying evals for AI agents · 09.01.2026 ↗

UNSERE EINORDNUNG

Unser Maßstab für einen Modellwechsel wäre ein Vergleich an derselben Aufgabe: Liefert das neue Modell bessere Ergebnisse? Braucht es weniger Korrektur? Wie ändern sich Laufzeit und Kosten je akzeptiertem Ergebnis? Auch ein leistungsfähigeres Modell kann für einen bestimmten Ablauf die ungünstigere Wahl sein.

Ein möglicher Prüfauftrag.

Ein Content-Agent soll einen freigegebenen Fachtext in CMS-Felder übertragen. Für einen Vergleich enthält der Testbestand einfache Texte, fehlende Angaben und widersprüchliche Quellen. Beide Versionen bearbeiten denselben Bestand. Das Team prüft fachliche Treue, Feldbelegung und den Umgang mit offenen Fragen.

Was dabei offen bleibt.

Ein allgemeiner Benchmark bildet Ihre Sprache, Quellen, Berechtigungen und Ausnahmen nur teilweise ab. Gute Durchschnittswerte können seltene, aber wichtige Fehler verdecken. Ergebnisse müssen deshalb auf einzelne Fehlertypen und die tatsächlich erreichten Arbeitsschritte zurückgeführt werden.

Drei Fragen vor dem nächsten Schritt.

  • Welche Aufgabe rechtfertigt zusätzliche Modellleistung?
  • Was ist ein akzeptiertes Ergebnis – und was ein kritischer Fehler?
  • Kann die neue Version kontrolliert eingeführt und zurückgenommen werden?

Die Verbindung zu KAAY.

Diese Perspektive fließt in Pilot und Agentenbetrieb ein: repräsentative Aufgaben, fachliche Abnahme und ein vereinbarter Umgang mit Änderungen. So lässt sich Fortschritt am eigenen Ablauf beurteilen.

WEITERLESEN