ШІ-спам переповнює програми винагород за помилки

Кібербезпека стикається з безпрецедентним викликом, оскільки згенеровані штучним інтелектом дані заповнюють платформи винагород за помилки низькоякісними фальшивими звітами про вразливості. Компанії, які традиційно покладалися на незалежних дослідників безпеки для виявлення недоліків програмного забезпечення, тепер борються з небажаними наслідками широкого поширення інструментів ШІ, що змушує деякі організації переглядати свої програми виявлення вразливостей.

Програми винагород за помилки перетворилися на наріжний камінь сучасних стратегій безпеки програмного забезпечення, створюючи симбіотичні стосунки між технологічними компаніями та світовою спільнотою етичних хакерів. Ці програми стимулюють фахівців із безпеки відповідально розкривати виявлені ними вразливості, часто винагороджуючи їх грошовою компенсацією. Однак демократизація передових інструментів штучного інтелекту докорінно змінила динаміку цих програм, створивши нову проблему, яку групи безпеки не були готові вирішувати в масштабі.

Сплеск кількості поданих документів низької якості є серйозною операційною проблемою для платформ винагород за помилки та їхніх корпоративних клієнтів. Bugcrowd, одна з найбільших платформ координації уразливостей, що обслуговує великі корпорації, включаючи OpenAI, T-Mobile і Motorola, зазнала драматичного сплеску кількості надсилань протягом тритижневого періоду в березні. Платформа повідомила, що за цей період отримані звіти зросли більш ніж у чотири рази, причому переважна більшість повідомлень виявилися повністю сфабрикованими або мали незначну безпекову цінність.

Наплив звітів про спам, створених штучним інтелектом, спричинив значне тертя в екосистемі винагород за помилки. Дослідники безпеки, які звикли до того, що їхні законні висновки перевіряються та винагороджуються, тепер конкурують з автоматизованими системами, які можуть генерувати сотні запитів за лічені хвилини. Таке погіршення співвідношення сигнал/шум підриває фундаментальну мету програм винагороди за помилки, яка полягає в ефективному виявленні справжніх вразливостей системи безпеки, перш ніж зловмисники зможуть ними скористатися.

Що робить цю ситуацію особливо неприємною для координаторів уразливостей, так це втрата ресурсів, пов’язана з перевіркою та відхиленням неправдивих звітів. Кожне подання вимагає перевірки вручну фахівцями з безпеки, які працюють на платформі або компанії-клієнті. Коли системи штучного інтелекту генерують сотні підроблених уразливостей, претендуючи на виявлення неіснуючих недоліків або помилково ідентифікуючи законні функції як загрози безпеці, це споживає дорогоцінну пропускну здатність, яку інакше можна було б виділити на аналіз законних досліджень безпеки.

Проблема посилюється, оскільки інструменти виявлення вразливостей штучного інтелекту стають дедалі доступнішими для широкого загалу. Користувачі з мінімальними знаннями безпеки тепер можуть використовувати великі мовні моделі та спеціалізовані інструменти сканування безпеки для створення правдоподібних звітів про вразливості, навіть якщо ці інструменти насправді не виявляють справжніх недоліків. Звіти часто містять технічний жаргон, який зовні нагадує законні оцінки безпеки, що робить початкову фільтрацію більш трудомісткою.

Кілька факторів об’єдналися, щоб створити цей ідеальний шторм для керування програмою винагород за помилки. Вибух генеративних інструментів штучного інтелекту в поєднанні з детальною інформацією про типові типи вразливостей, загальнодоступною в Інтернеті, дозволив нефахівцям створювати переконливо звучачі звіти про безпеку. Крім того, деякі особи чи організації можуть навмисно подавати фальшиві звіти, щоб перевірити захист платформи або брати участь у формі цифрового шуму.

Наслідки змусили деякі компанії вжити рішучих заходів. Кілька організацій, які керують програмами захисту від уразливостей, оголосили про тимчасове або постійне призупинення своїх ініціатив із винагороди за помилки, доки вони не зможуть розробити кращі механізми фільтрації та протоколи перевірки. Ця реакція, хоч і зрозуміла з оперативної точки зору, є суттєвою невдачею для законної спільноти дослідників безпеки, яка залежить від цих програм для отримання прибутку та зміцнення репутації.

Bugcrowd та інші платформи зараз намагаються запровадити кращі системи перевірки подання. Ці зусилля включають розробку складніших алгоритмів фільтрації, впровадження суворіших вимог до подання та потенційне збільшення бар’єрів для входу нових дослідників. Однак ці захисні заходи можуть ненавмисно виключити законних дослідників, які можуть не відповідати дедалі суворішим критеріям.

Ширші наслідки цієї тенденції виходять за межі операційних проблем окремих компаній. Зниження надійності платформи винагород за помилки може підірвати всю екосистему, яка виявилася такою важливою для безпеки програмного забезпечення. Якщо компанії втратять довіру до програм винагороди за помилки як до засобу виявлення вразливостей, вони можуть повністю відмовитися від цих ініціатив на користь виключно внутрішніх груп безпеки або платних фірм з тестування на проникнення.

Експерти з безпеки закликають до багатостороннього підходу до вирішення проблеми спаму зі штучним інтелектом. Це включає розробку кращих інструментів виявлення штучного інтелекту, спеціально навчених ідентифікувати створені машиною звіти, впровадження систем репутації, які карають користувачів, які надсилають помилкові вразливості, і встановлення більш чітких інструкцій щодо подання, які вимагають детальної демонстрації підтвердження концепції. Галузь також вивчає можливість вимагати маркери перевірки подання або інші криптографічні докази того, що люди дійсно відповідають за звіти.

Професіонали з безпеки не втрачають іронії ситуації: інструменти штучного інтелекту, які, як було обіцяно, покращать можливості кібербезпеки, зараз використовуються для підриву критично важливої інфраструктури безпеки. Ця реальність підкреслює природу подвійного використання потужних технологій і важливість впровадження заходів безпеки до того, як відбудеться широке впровадження.

У майбутньому спільноті дослідників безпеки потрібно буде адаптуватися та розвиватися у відповідь на ці виклики. Елітні дослідники можуть дедалі більше відходити від публічних платформ винагород за помилки до приватних програм або прямих відносин з компаніями, потенційно фрагментуючи ландшафт винагород за помилки. Тим часом платформи, ймовірно, запровадять більш складні системи автентифікації та перевірки, щоб гарантувати, що матеріали надходять від справжніх дослідників безпеки з законним досвідом.

Ситуація також підкреслює важливий урок щодо управління технологіями та дизайну платформи. Програми винагород за помилки не були розроблені з припущенням, що штучний інтелект буде використовуватися для генерації величезної кількості фальшивих повідомлень за мінімальних витрат. Оскільки можливості штучного інтелекту продовжують розвиватися, організаціям у всіх галузях необхідно буде проактивно розробляти засоби захисту від зловживання своїми системами та процесами за допомогою штучного інтелекту.

Зрештою, боротьба проти спаму, створеного штучним інтелектом, у сфері безпеки є лише останньою главою в поточній гонці озброєнь між зловмисниками та захисниками. Співтовариство кібербезпеки постійно демонструє здатність адаптуватися до нових загроз і викликів, і є підстави вважати, що вони розроблять ефективні заходи протидії цій проблемі. Однак перехідний період, імовірно, буде незручним як для операторів платформ, так і для законних дослідників безпеки, які покладаються на програми винагород за помилки як на важливий компонент своєї професійної роботи.