GPT-5.5 конкурує з Mythos у тестах кібербезпеки

Минулого місяця компанія Anthropic привернула значну увагу, представивши свою модель Mythos Preview, позиціонуючи її як великий крок вперед у можливостях штучного інтелекту з кібербезпеки. Оголошення підкреслило потенційно серйозні загрози безпеці, які представляють просунуті мовні моделі в чужих руках, що спонукало компанію прийняти обережний підхід, обмеживши початковий доступ виключно для «важливих галузевих партнерів». Це зважене розгортання відображало щире занепокоєння щодо наступального потенціалу моделі в сфері кібербезпеки.

Однак нещодавно оприлюднене дослідження Британського Інституту безпеки штучного інтелекту (AISI) ставить під сумнів деякі припущення щодо виняткових можливостей Mythos Preview. Аналіз показує, що нещодавно запущена модель OpenAI GPT-5.5 досягла «подібного рівня продуктивності в наших кібер-оцінках» у прямому порівнянні з обмеженою моделлю Anthropic. Цей висновок свідчить про те, що розрив у можливостях кібербезпеки між провідними системами штучного інтелекту може бути меншим, ніж передбачалося спочатку, що викликає важливі питання щодо відносного прогресу різних передових моделей штучного інтелекту.

З моменту створення своєї системи оцінювання в 2023 році AISI систематично оцінював різні передові моделі штучного інтелекту, використовуючи велику кількість 95 різних завдань оцінки, призначених для перевірки реальних можливостей кібербезпеки. У цих оцінках використовується методологія Capture the Flag (CTF), усталений підхід у спільноті кібербезпеки, який ставить учасникам конкретні цілі безпеки, яких вони повинні досягти. Проблеми охоплюють кілька критичних областей кібербезпеки, включаючи зворотне проектування скомпільованого коду, методи використання веб-додатків, криптографічні вразливості та оцінку безпеки мережі.

Методологія оцінювання є особливо суворою, із завданнями, класифікованими за рівнями складності, які відображають складність і актуальність проблем кібербезпеки в реальному світі. У завданнях найвищого рівня складності, позначених як «Експерт», GPT-5.5 продемонстрував вражаючу продуктивність, пройшовши в середньому 71,4 відсотка завдань. Цей результат ставить модель OpenAI у надзвичайно тісну конкуренцію з Mythos Preview, яка досягла 68,6 відсотка успіху на еквівалентних оцінках експертного рівня. Хоча GPT-5.5 показує чисельну перевагу на 2,8 відсоткових пункти, дослідники відзначають, що ця різниця знаходиться в межах прийнятної статистичної похибки, що робить обидві моделі фактично еквівалентними за продуктивністю.

Наслідки цих висновків є суттєвими для спільноти дослідників безпеки штучного інтелекту та зацікавлених сторін у галузі, які уважно стежили за розробкою все більш потужних систем ШІ. Технічна глибина, продемонстрована обома моделями в особливо складних завданнях, викликає важливі міркування щодо траєкторії можливостей ШІ в чутливих областях. Той факт, що загальнодоступні моделі наближаються або відповідають продуктивності навмисно обмежених систем, свідчить про те, що ландшафт безпеки навколо просунутих моделей ШІ розвивається швидше, ніж передбачали деякі спостерігачі.

Методологія дослідження AISI дає цінну інформацію про те, як різні системи ШІ підходять до складних проблем кібербезпеки. Замість того, щоб просто вимірювати необроблену ефективність, система оцінювання оцінює процеси міркування та стратегії вирішення проблем, які використовує кожна модель. І GPT-5.5, і Mythos Preview продемонстрували глибоке розуміння концепцій кібербезпеки, здатність визначати вразливості та компетентність у розробці практичних стратегій експлуатації. Цей якісний вимір оцінки додає нюанси, окрім простого порівняння рівня успіху.

Одна особливо складна проблема, яка виявилася яскравою, стосувалася багаторівневих цілей безпеки, які вимагали послідовного вирішення проблем і адаптації на основі проміжних результатів. Різниця в продуктивності таких нюансів між двома моделями залишається мінімальною, що свідчить про те, що розширені мовні моделі розробили справжні можливості міркування щодо кібербезпеки, які виходять за межі зіставлення шаблонів або простого евристичного застосування. Обидві системи продемонстрували здатність адаптувати свій підхід на основі зворотного зв’язку та розпізнавати, коли початкові стратегії були недостатніми.

Рішення AISI оприлюднити детальні результати оцінки відображає прагнення до прозорості досліджень безпеки ШІ. Роблячи свою методологію та висновки відкрито доступними, інститут вносить цінні дані в ширшу дискусію про управління ризиками, пов’язаними зі здатними системами ШІ. Тепер дослідники та політики можуть використовувати конкретні докази передових можливостей штучного інтелекту, а не покладатися на маркетингові заяви чи спекуляції. Ця прозорість також уможливлює незалежну перевірку та заохочує інших дослідників спиратися на висновки або оскаржувати їх.

Порівняння між GPT-5.5 і Mythos Preview також висвітлює важливі питання про зв’язок між масштабом моделі, методологією навчання та розвитком конкретних можливостей. У той час як Mythos Preview було спеціально розроблено та навчено з урахуванням програм кібербезпеки, GPT-5.5 представляє мовну модель загального призначення без спеціального навчання в цій області. Тим не менш, ці дві системи порівнюють результати в спеціалізованих оцінках кібербезпеки, що свідчить про те, що широке розуміння мови та здатність міркувати може бути все більш достатньою для розвитку досвіду в складних технічних сферах.

Галузові спостерігачі відзначають, що ці результати оцінки мають значний вплив на підхід організацій до керування безпекою ШІ та управління ризиками. Традиційна модель обмеження доступу до потенційно небезпечних систем, можливо, потребуватиме перегляду в світлі доказів того, що численні організації можуть розробляти подібні дієві моделі за допомогою різних підходів. Це свідчить про те, що покладатися лише на обмеження доступу може бути недостатньо як комплексну стратегію безпеки, і що можуть знадобитися ширші системні підходи до управління ризиками штучного інтелекту, оскільки можливості стають більш широко розподіленими між різними системами та організаціями.

У майбутньому AISI планує продовжити свою програму оцінки, тестуючи нові випуски моделей і вивчаючи додаткові аспекти можливостей кібербезпеки ШІ. Майбутні оцінки, ймовірно, досліджуватимуть нові передові моделі, щойно вони стануть доступними, створюючи лонгітюдний набір даних, що показуватиме, як з часом розвиваються можливості штучного інтелекту в сферах кібербезпеки. Це поточне дослідження надає основні базові дані для політиків і лідерів галузі, які приймають рішення щодо розгортання ШІ та стратегій управління.

Результати оцінки AISI підкреслюють важливість підтримки надійних, об’єктивних систем оцінювання нових можливостей ШІ. Оскільки мовні моделі продовжують розвиватися та знаходять застосування в чутливих сферах, наявність надійних стандартизованих методологій оцінювання стає все більш критичною. Як індустрія кібербезпеки, так і ширша спільнота безпеки штучного інтелекту отримують вигоду від такого ретельного, прозорого оцінювання, яке виходить за рамки маркетингових наративів і надає справжнє розуміння того, що ці системи можуть, а що ні.