Небезпечна модель ШІ від Anthropic зламана неавторизованими користувачами

Під час серйозного інциденту безпеки, який викликав тривогу в галузі штучного інтелекту, модель Anthropic Mythos AI була скомпрометована та отримала доступ невелика група неавторизованих осіб. Згідно з повідомленням Bloomberg, злам стався, коли учасники приватного онлайн-форуму скористалися вразливими місцями, щоб отримати доступ до складного інструменту кібербезпеки, про який Anthropic раніше попереджав, що він може становити серйозну небезпеку в разі неправильного використання. Несанкціонований доступ було здійснено за допомогою комбінації тактик, які використовували облікові дані стороннього підрядника, який співпрацює з Anthropic, разом із тим, що джерела описують як «загально використовувані інструменти розшуку в Інтернеті» та методи розвідки.

Порушення є помітним збоєм у безпеці однієї з провідних організацій безпеки ШІ в галузі. Anthropic явно позначив модель Mythos як потенційно небезпечну через її розширені можливості та призначення. За словами неназваного підрядника, який спілкувався з Bloomberg, учасники приватного онлайн-форуму змогли скласти воєдино методології доступу, поєднавши підвищені привілеї підрядника зі стандартними методами цифрового розслідування. Цієї комбінації виявилося достатньо, щоб обійти заходи безпеки, які, імовірно, запровадив Anthropic для захисту доступу до цієї чутливої системи штучного інтелекту.

Попередній перегляд Claude Mythos являє собою значний крок вперед у можливостях кібербезпеки за допомогою ШІ. Модель розроблена з можливістю ідентифікувати та використовувати вразливості в широкому діапазоні обчислювальних середовищ, включаючи кожну основну операційну систему та кожен основний веб-браузер, який зараз використовується. Ця широта можливостей — хоч і цінна для цілей оборонної безпеки — також робить інструмент надзвичайно небезпечним, якщо його розгортають зловмисники або особи без відповідних етичних захисних огорож і відповідального навчання ШІ.

Відмінність між моделями штучного інтелекту загального призначення Anthropic і варіантом Mythos полягає в тому, що вони спеціалізуються на виявленні та використанні вразливостей. Там, де стандартні мовні моделі, як-от Claude, розроблені для широких розмовних і аналітичних завдань, Mythos спеціально навчено та оптимізовано для розуміння слабких місць безпеки на детальному рівні. Ця спеціалізація робить його надзвичайно потужним для легітимних досліджень кібербезпеки та захисних програм, але не менш занепокоєним у сценаріях, коли зловмисники отримують доступ до його можливостей без нагляду чи механізмів підзвітності.

Природа самого порушення викликає важливі питання щодо керування обліковими даними підрядників і протоколів контролю доступу в компаніях зі штучним інтелектом. Той факт, що доступ стороннього підрядника може бути використаний для компрометації конфіденційної моделі, вказує на можливі прогалини в тому, як Anthropic керує безпекою ланцюга поставок і процесами адаптації підрядника. Сторонні підрядники часто займають складну позицію в системі корпоративної безпеки — їм потрібен достатній доступ для виконання своїх обов’язків, однак цей самий доступ може стати вектором атаки, якщо їхні облікові записи скомпрометовано або якщо вони самі стають векторами для неавторизованого доступу.

Галузеві експерти вже давно підкреслюють подвійний характер просунутих систем штучного інтелекту як критичну проблему в управлінні штучним інтелектом. Ті самі можливості, які роблять такі інструменти, як Mythos, цінними для виявлення та усунення вразливостей безпеки, також роблять їх невід’ємно ризикованими у разі неправильного використання. Ця напруга між корисними програмами та потенційним зловживанням стала центральною темою дискусій про керування ШІ та відповідальне розгортання моделі. Такі компанії, як Anthropic, інвестували значні кошти в дослідження безпеки штучного інтелекту спеціально для вирішення цих проблем, що робить це порушення особливо важливим як тестовий приклад того, наскільки добре ці системи безпеки насправді працюють на практиці.

Використання групою несанкціонованого доступу «поширених інструментів пошуку в Інтернеті» свідчить про те, що злом не потребував складних експлойтів нульового дня чи передових методів злому. Натомість, схоже, він покладався на більш прості підходи розвідки та соціальної інженерії в поєднанні з скомпрометованими обліковими даними підрядника. Цей висновок викликає особливе занепокоєння, оскільки він вказує на те, що рішучі особи, які володіють базовими технічними знаннями та доступом до стандартних інструментів, потенційно можуть зламати подібні захищені системи. Цей інцидент підкреслює, наскільки важливо для компаній зі штучним інтелектом впроваджувати стратегії глибокого захисту, які не покладаються на жодну точку відмови.

Відповідь Anthropic на цей інцидент безпеки, ймовірно, стане прецедентом для того, як ширша індустрія штучного інтелекту справляється зі зломами конфіденційних моделей. Компанія стикається з тиском, щоб розслідувати повний обсяг несанкціонованого доступу та впровадити більш надійні захисні заходи. Ключові питання включають визначення того, які саме особи чи організації отримали доступ, які дії вони могли вжити з цим доступом і чи було скомпрометовано будь-яку конфіденційну інформацію чи дослідження поза межами самого доступу до моделі.

Цей інцидент також підкреслює ширші наслідки для регулювання та управління передовими системами штучного інтелекту. Оскільки моделі стають потужнішими та спеціалізованими для потенційно шкідливих програм, питання про те, як збалансувати відкриті дослідження та розробки з відповідними заходами безпеки, стає дедалі актуальнішим. Політики та лідери галузі, ймовірно, вказуватимуть на подібні інциденти як на докази необхідності посилення нормативної бази та обов’язкових стандартів безпеки для розробників ШІ.

У майбутньому це порушення може пришвидшити дискусії в Anthropic і в іншій галузі про те, як краще захистити чутливі моделі штучного інтелекту, забезпечуючи при цьому законні дослідження та розробки. Компанія може запровадити більш суворі процеси перевірки підрядників, більш складні системи моніторингу доступу та додаткові рівні автентифікації та перевірки. Цей інцидент, імовірно, вплине на те, як компанії оцінюють ризики, пов’язані з наданням третім сторонам доступу до конфіденційних систем, у масштабах галузі.

Порушення моделі Mythos служить явним нагадуванням про те, що навіть компанії, які мають серйозні сертифікати безпеки та продемонстрували відданість відповідальній розробці штучного інтелекту, стикаються із серйозними проблемами безпеки. Оскільки можливості штучного інтелекту продовжують розвиватися, забезпечення того, щоб потужні інструменти залишалися у відповідних руках, стає все більш критичним. Цей інцидент підкреслює необхідність комплексних стратегій безпеки, спрямованих не лише на зовнішні загрози, але й на внутрішні вразливості та протоколи керування доступом підрядників.