GPT-5.5 konkurriert mit Mythos in Cybersicherheitstests

Letzten Monat erregte Anthropic große Aufmerksamkeit, als es sein Mythos Preview-Modell vorstellte und es als einen großen Fortschritt in den Fähigkeiten der Cybersicherheits-KI positionierte. Die Ankündigung verdeutlichte die potenziell schwerwiegenden Sicherheitsbedrohungen, die von fortgeschrittenen Sprachmodellen in den falschen Händen ausgehen, und veranlasste das Unternehmen zu einer vorsichtigen Vorgehensweise, indem es den Erstzugriff ausschließlich auf „kritische Industriepartner“ beschränkte. Diese maßvolle Einführung spiegelte echte Bedenken hinsichtlich des Angriffspotenzials des Modells im Bereich der Cybersicherheit wider.

Neu veröffentlichte Forschungsergebnisse des britischen AI Security Institute (AISI) stellen jedoch einige der Annahmen über die außergewöhnlichen Fähigkeiten von Mythos Preview in Frage. Die Analyse zeigt, dass das kürzlich eingeführte GPT-5.5-Modell von OpenAI im direkten Vergleich mit dem eingeschränkten Modell von Anthropic „ein ähnliches Leistungsniveau bei unseren Cyber-Bewertungen“ erreicht hat. Dieses Ergebnis legt nahe, dass die Lücke bei den Cybersicherheitsfähigkeiten zwischen führenden KI-Systemen möglicherweise geringer ist als zunächst angenommen, was wichtige Fragen über den relativen Fortschritt verschiedener Spitzen-KI-Modelle aufwirft.

Seit der Einführung seines Bewertungsrahmens im Jahr 2023 hat das AISI systematisch verschiedene Frontier-KI-Modelle mithilfe einer umfangreichen Batterie von 95 verschiedenen Bewertungsherausforderungen bewertet, die darauf abzielen, reale Cybersicherheitsfähigkeiten zu testen. Bei diesen Bewertungen kommt die Capture the Flag (CTF)-Methodik zum Einsatz, ein in der Cybersicherheits-Community etablierter Ansatz, der den Teilnehmern bestimmte zu erreichende Sicherheitsziele vorgibt. Die Herausforderungen umfassen mehrere kritische Cybersicherheitsbereiche, einschließlich Reverse Engineering von kompiliertem Code, Techniken zur Ausnutzung von Webanwendungen, kryptografische Schwachstellen und Netzwerksicherheitsbewertung.

Die Bewertungsmethodik ist besonders streng. Die Aufgaben sind in Schwierigkeitsstufen kategorisiert, die die Komplexität und reale Relevanz von Cybersicherheitsproblemen widerspiegeln. Auf der höchsten Schwierigkeitsstufe, die als „Experten“-Aufgaben bezeichnet wird, zeigte GPT-5.5 eine beeindruckende Leistung, indem es durchschnittlich 71,4 Prozent der Herausforderungen bestand. Dieses Ergebnis stellt das Modell von OpenAI in einen bemerkenswert engen Wettbewerb mit Mythos Preview, das bei gleichwertigen Bewertungen auf Expertenebene eine Erfolgsquote von 68,6 Prozent erreichte. Während GPT-5.5 einen numerischen Vorteil von 2,8 Prozentpunkten aufweist, stellen die Forscher fest, dass dieser Unterschied innerhalb akzeptabler statistischer Fehlergrenzen liegt, sodass die beiden Modelle in der Leistung praktisch gleichwertig sind.

Die Implikationen dieser Erkenntnisse sind für die KI-Sicherheitsforschungsgemeinschaft und Branchenakteure, die die Entwicklung immer leistungsfähigerer KI-Systeme genau beobachten, von erheblicher Bedeutung. Die technische Tiefe, die beide Modelle bei besonders anspruchsvollen Aufgaben zeigen, wirft wichtige Überlegungen zur Entwicklung der KI-Fähigkeiten in sensiblen Bereichen auf. Die Tatsache, dass öffentlich verfügbare Modelle sich der Leistung absichtlich eingeschränkter Systeme annähern oder diese erreichen, deutet darauf hin, dass sich die Sicherheitslandschaft rund um fortschrittliche KI-Modelle schneller weiterentwickelt, als einige Beobachter erwartet hatten.

Die Forschungsmethodik des AISI liefert wertvolle Einblicke in die Art und Weise, wie verschiedene KI-Systeme komplexe Cybersicherheitsprobleme angehen. Anstatt einfach nur die reine Leistung zu messen, bewertet der Bewertungsrahmen die Argumentationsprozesse und Problemlösungsstrategien, die von jedem Modell verwendet werden. Sowohl GPT-5.5 als auch Mythos Preview zeigten ein ausgeprägtes Verständnis von Cybersicherheitskonzepten, die Fähigkeit, Schwachstellen zu identifizieren und Kompetenz bei der Entwicklung praktischer Ausnutzungsstrategien. Diese qualitative Dimension der Bewertung verleiht der Bewertung Nuancen, die über einfache Vergleiche der Erfolgsquoten hinausgehen.

Eine besonders komplexe Herausforderung, die sich als aufschlussreich erwies, umfasste mehrschichtige Sicherheitsziele, die eine sequenzielle Problemlösung und Anpassung auf der Grundlage von Zwischenergebnissen erforderten. Der Leistungsunterschied bei solch differenzierten Aufgaben bleibt zwischen den beiden Modellen minimal, was darauf hindeutet, dass fortgeschrittene Sprachmodelle echte Cybersicherheits-Argumentationsfähigkeiten entwickelt haben, die über Mustervergleich oder einfache heuristische Anwendung hinausgehen. Beide Systeme zeigten die Fähigkeit, ihren Ansatz basierend auf Feedback anzupassen und zu erkennen, wenn anfängliche Strategien unzureichend waren.

Die Entscheidung des AISI, detaillierte Bewertungsergebnisse öffentlich zu veröffentlichen, spiegelt sein Engagement für Transparenz in der KI-Sicherheitsforschung wider. Indem das Institut seine Methodik und Ergebnisse offen zugänglich macht, trägt es wertvolle Daten zur breiteren Diskussion über den Umgang mit Risiken bei, die mit leistungsfähigen KI-Systemen verbunden sind. Forscher und politische Entscheidungsträger können sich jetzt mit konkreten Beweisen über die Fähigkeiten der KI im Grenzbereich befassen, anstatt sich auf Marketingbehauptungen oder Spekulationen zu verlassen. Diese Transparenz ermöglicht auch eine unabhängige Überprüfung und ermutigt andere Forscher, auf den Ergebnissen aufzubauen oder sie in Frage zu stellen.

Der Vergleich zwischen GPT-5.5 und Mythos Preview beleuchtet auch wichtige Fragen zum Zusammenhang zwischen Modellmaßstab, Trainingsmethodik und spezifischer Fähigkeitsentwicklung. Während Mythos Preview speziell für Cybersicherheitsanwendungen entwickelt und trainiert wurde, stellt GPT-5.5 ein Allzweck-Sprachmodell ohne speziellen Schulungsschwerpunkt in diesem Bereich dar. Dennoch schneiden die beiden Systeme bei spezialisierten Cybersicherheitsbewertungen vergleichbar ab, was darauf hindeutet, dass umfassende Sprachverständnis- und Argumentationsfähigkeiten zunehmend ausreichen können, um Fachwissen in komplexen technischen Bereichen zu entwickeln.

Branchenbeobachter stellen fest, dass diese Bewertungsergebnisse erhebliche Auswirkungen darauf haben, wie Unternehmen an die KI-Sicherheits-Governance und das Risikomanagement herangehen sollten. Das traditionelle Modell der Zugriffsbeschränkung auf potenziell gefährliche Systeme muss möglicherweise überarbeitet werden, da es Beweise dafür gibt, dass mehrere Organisationen durch unterschiedliche Ansätze ähnlich leistungsfähige Modelle entwickeln können. Dies deutet darauf hin, dass der alleinige Einsatz von Zugriffsbeschränkungen als umfassende Sicherheitsstrategie möglicherweise nicht ausreicht und dass umfassendere systemische Ansätze zum Management von KI-Risiken erforderlich sein könnten, da die Fähigkeiten immer weiter auf verschiedene Systeme und Organisationen verteilt werden.

Mit Blick auf die Zukunft plant die AISI, ihr Evaluierungsprogramm fortzusetzen, neue Modellversionen zu testen und zusätzliche Aspekte der KI-Cybersicherheitsfunktionen zu untersuchen. Bei den kommenden Evaluierungen werden wahrscheinlich neuere Grenzmodelle untersucht, sobald diese verfügbar sind, und ein Längsschnittdatensatz erstellt werden, der zeigt, wie sich die KI-Fähigkeiten in Cybersicherheitsbereichen im Laufe der Zeit weiterentwickeln. Diese laufende Forschung liefert wichtige Basisdaten für politische Entscheidungsträger und Branchenführer, die Entscheidungen über den Einsatz von KI und Governance-Strategien treffen.

Die Ergebnisse der AISI-Bewertung unterstreichen die Bedeutung der Aufrechterhaltung robuster, objektiver Bewertungsrahmen für die Bewertung neuer KI-Fähigkeiten. Da Sprachmodelle immer weiter voranschreiten und in sensiblen Bereichen Anwendung finden, wird die Verfügbarkeit zuverlässiger, standardisierter Bewertungsmethoden immer wichtiger. Sowohl die Cybersicherheitsbranche als auch die breitere KI-Sicherheitsgemeinschaft profitieren von dieser Art strenger, transparenter Bewertung, die über Marketingnarrative hinausgeht und echte Erkenntnisse darüber liefert, was diese Systeme leisten können und was nicht.