Репортер ВВС зламали через недоліки платформи кодування ШІ

Світ платформ кодування штучного інтелекту, який швидко розвивається, виявив значні вразливості в безпеці, які створюють серйозні ризики для користувачів, як яскраво продемонстровано, коли репортер BBC став жертвою складної спроби злому за допомогою цих інструментів. Інцидент підкреслює зростаючу стурбованість інфраструктурою безпеки платформ, призначених для демократизації розробки додатків для нетехнічних користувачів. Оскільки ці інструменти штучного інтелекту без коду набувають величезної популярності в галузях, експерти з кібербезпеки б’ють тривогу щодо потенційних векторів експлуатації, які можуть вплинути на мільйони користувачів у всьому світі.

Постраждалий журналіст використовував одну з популярних платформ візуального кодування, популярність яких різко зросла за останній рік, дозволяючи особам без досвіду програмування створювати функціональні програми за допомогою штучних засобів. розвідувальна допомога. Ці платформи зазвичай використовують інтерфейси перетягування та скидання в поєднанні з генерацією коду на основі штучного інтелекту для перетворення ідей користувачів у робоче програмне забезпечення. Однак інцидент показав, що базові протоколи безпеки таких платформ можуть бути недостатньо надійними, щоб захистити користувачів від зловмисників, які розуміють, як використовувати процес розробки, керований штучним інтелектом.

Дослідники з безпеки, які проаналізували злом, виявили, що вразливість походить від неадекватної перевірки введених даних у системі генерації коду ШІ. Штучний інтелект платформи був розроблений для інтерпретації запитів природною мовою та перетворення їх у функціональний код, але йому бракувало достатніх гарантій, щоб запобігти введенню зловмисних команд, замаскованих під законні запити розробки. Це дозволило зловмисникам фактично змусити штучний інтелект згенерувати код, який міг би отримати доступ до конфіденційних даних користувача та системних ресурсів за межами передбачуваного обсягу програми, що розробляється.

Наслідки для кібербезпеки цього інциденту виходять далеко за межі одного зламаного облікового запису. За оцінками галузевих аналітиків, понад 15 мільйонів користувачів у всьому світі зараз активно використовують різні платформи кодування на основі штучного інтелекту, причому рівень впровадження зріс приблизно на 300% за рік. Основні платформи в цьому просторі включають відомих гравців, як-от Microsoft Power Platform, Google AppSheet, а також численні стартапи, які спільно залучили мільярди венчурного капіталу. Доступність і простота використання, які роблять ці платформи привабливими для нетехнічних користувачів, також створюють ширшу зону атаки для кіберзлочинців.

Останнє дослідження фірми з кібербезпеки CyberArk показує, що інструменти розробки на основі штучного інтелекту представляють нову категорію ризиків для безпеки, які традиційні системи кібербезпеки не враховують належним чином. Головний технічний директор фірми пояснив, що ці платформи створюють унікальні проблеми, оскільки вони стирають межі між введенням користувача та виконуваним кодом, що ускладнює впровадження звичайних заходів безпеки, не перешкоджаючи взаємодії з користувачем, що робить ці інструменти цінними в першу чергу.

Досвід репортера BBC служить застереженням для ширшого впровадження цих технологій. За словами джерел, знайомих з інцидентом, атака почалася, коли журналіст спробував створити простий додаток для візуалізації даних за допомогою AI-асистента платформи. Очевидно, зловмисник знайшов спосіб вставляти шкідливі інструкції в, здавалося б, безневинні підказки розробки, змушуючи штучний інтелект генерувати код, який встановлював несанкціоновані мережеві з’єднання та передавав конфіденційну інформацію на зовнішні сервери.

Після інциденту Кілька великих постачальників платформ кодування ШІ оголосили про негайний аудит безпеки та посилені заходи захисту. Платформи впроваджують покращену санітарну обробку вхідних даних, розширений моніторинг коду, створеного штучним інтелектом, і суворіші моделі дозволів, які обмежують доступ до системи, наданий програмам, створеним за допомогою їхніх інструментів. Однак експерти з безпеки попереджають, що ці заходи можуть стосуватися лише відомих векторів атак, тоді як швидко розвивається природа технології штучного інтелекту може створити нові вразливості швидше, ніж їх можна буде виявити та виправити.

Економічний вплив цих проблем безпеки вже стає очевидним на ринку. Повідомляється, що компанії венчурного капіталу, які інвестували значні кошти в кодування без коду та ШІ, проводять екстрену оцінку безпеки своїх портфельних компаній. Кілька корпоративних клієнтів тимчасово призупинили використання певних платформ, очікуючи всебічних перевірок безпеки, що потенційно може вплинути на прогнози доходів компаній у цьому секторі, що швидко розвивається.

Д-р. Сара Чен, дослідниця кібербезпеки зі Стенфордського університету, яка спеціалізується на вразливостях безпеки ШІ, підкреслила, що цей інцидент є лише початком нової ери кіберзагроз. Її дослідницька група виявила понад 20 різних потенційних векторів атак, характерних для платформ кодування штучного інтелекту, починаючи від миттєвих ін’єкційних атак і закінчуючи методами маніпулювання моделлю, які можуть поставити під загрозу цілісність згенерованого коду в масштабі.

Нормативно-правовий ландшафт навколо розробки штучного інтелекту інструментитакож розвиваються у відповідь на ці проблеми безпеки. Запропонований Європейським Союзом Закон про штучний інтелект включає конкретні положення щодо інструментів розробки програмного забезпечення на базі штучного інтелекту, які вимагають підвищеної прозорості та заходів безпеки для платформ, які дозволяють неспеціалістам створювати програми. Подібні регулятивні дискусії тривають у Сполучених Штатах, коли комітети Конгресу перевіряють, чи достатні існуючі рамки кібербезпеки для керування платформами розробки на основі ШІ.

Лідери галузі закликають до створення стандартизованих протоколів безпеки, спеціально розроблених для платформ кодування ШІ. Пропозиція включає обов’язкові аудити безпеки, стандартизовані процеси розкриття вразливостей і галузевий обмін розвідувальною інформацією про загрози, пов’язану зі специфічними для ШІ методами атак. Однак впровадження таких стандартів у різноманітну екосистему інструментів кодування штучного інтелекту створює значні технічні та матеріально-технічні проблеми.

Цей інцидент також викликав широкі дискусії щодо компромісів між доступністю та безпекою в розробці програмного забезпечення. Хоча демократизовані інструменти кодування дозволили незліченній кількості людей і малих компаній створювати цінні програми без великого технічного досвіду, ризики безпеки можуть вимагати фундаментального перегляду того, як ці платформи поєднують простоту використання з надійними заходами захисту.

Як розслідування Оскільки злом репортера ВВС продовжується, фахівці з кібербезпеки використовують цей інцидент як приклад для розробки кращих стратегій захисту для платформ кодування ШІ. Очікується, що уроки, отримані з цього порушення, вплинуть на розробку інфраструктур безпеки наступного покоління, спеціально розроблених для вирішення унікальних проблем, пов’язаних зі штучним інтелектом у середовищах розробки програмного забезпечення, що зрештою допоможе гарантувати, що демократизація кодування не відбуватиметься за рахунок безпеки та конфіденційності користувачів.