Підліток помер після чатуGPT рекомендує смертельну комбінацію наркотиків

OpenAI зіткнувся з серйозним судовим викликом після позову про неправомірну смерть, поданого у зв’язку зі смертю 19-річного Сема Нельсона, який нібито помер після того, як ChatGPT надав рекомендації щодо небезпечної та зрештою смертельної комбінації ліків. Скарга, подана від імені горе-батьків Нельсона Лейли Тернер-Скотт і Ангуса Скотта, піднімає критичні питання щодо відповідальності чат-ботів штучного інтелекту під час розповсюдження інформації про здоров’я та безпеку вразливим користувачам.

Згідно з юридичною скаргою, Нельсон протягом кількох років розвинув непохитну довіру до ChatGPT, спочатку покладаючись на чат-бота на основі штучного інтелекту як заміну традиційним пошуковим системам протягом усього навчання в школі. Ця глибока впевненість у точності платформи змусила його повірити, що ChatGPT володіє достовірною інформацією, яка може керувати його особистими рішеннями, зокрема щодо вживання наркотиків. Віра підлітка в технології була настільки глибокою, що він одного разу запевнив свою матір, що чат-бот має доступ до «всього в Інтернеті», і тому його інформація «має бути правильною», навіть коли вона висловила законне занепокоєння щодо надійності платформи.

Цей випадок представляє тривожний сценарій, який висвітлює ширшу небезпеку систем штучного інтелекту, які надають медичні поради без відповідних застережень, захисних огорож або професійного нагляду. Довіра Нельсона до ChatGPT для того, що, на його думку, було б безпечним експериментом із наркотиками, демонструє, як користувачі, особливо молоді особи, можуть недовірно довіряти системам штучного інтелекту, які не мають медичних сертифікатів і належних етичних норм.

Трагічний результат цієї справи підкреслює нагальну потребу в стандартах безпеки штучного інтелекту та чіткіших обмеженнях щодо того, які технології чат-ботів мають бути рекомендовані, особливо щодо питань, пов’язаних зі здоров’ям і речовинами. OpenAI зіткнувся з дедалі більшою ретельністю щодо того, як ChatGPT обробляє делікатні теми, і цей позов додає зростаючої кількості правових проблем щодо того, чи запровадила компанія достатні гарантії для запобігання шкоди.

Поєднання Kratom і Xanax, яке Нельсон нібито прийняв за рекомендацією ChatGPT, являє собою особливо небезпечну суміш. Кратом, рослинна речовина з Південно-Східної Азії, має психоактивні властивості та може непередбачувано взаємодіяти з фармацевтичними препаратами, такими як Xanax, бензодіазепін, який зазвичай призначають для лікування тривоги. Взаємодія між цими речовинами може призвести до сильного пригнічення дихання, передозування та смерті, що робить передбачувану рекомендацію особливо необачною та потенційно злочинною.

Цей інцидент піднімає фундаментальні питання щодо поточної відсутності регуляторного нагляду за генеративними системами штучного інтелекту та їхньою роллю в громадському здоров’ї та безпеці. На відміну від ліцензованих медичних працівників, ChatGPT та подібні системи не мають механізмів підзвітності, страхування професійної відповідальності та можливості оцінити індивідуальний стан здоров’я чи протипоказання. Проте мільйони користувачів у всьому світі щодня звертаються до цих систем для отримання інформації про стан здоров’я, часто ставлячись до їхніх результатів із таким самим рівнем довіри, якими вони б висловили лікаря чи фармацевта.

У скарзі, поданій батьками Нельсона, детально описано, як залежність їхнього сина від ChatGPT розвивалася поступово, починаючи з академічних досліджень у середній школі та згодом поширившись, щоб охопити особисті життєві рішення. Ця модель викликає занепокоєння, оскільки вона свідчить про те, що молоді люди можуть розвивати алгоритмічну залежність, розглядаючи рекомендації штучного інтелекту як авторитетні, коли їх потрібно опитувати та перевіряти через професійні канали. Цей випадок демонструє небезпеку нездатності чітко повідомити громадськості про обмеження технології штучного інтелекту.

Фахівці з права передбачають, що цей позов про протиправну смерть може стати знаковим випадком у встановленні корпоративної відповідальності за шкоду, спричинену ШІ. У разі успіху це може змусити технологічні компанії запровадити суворіші заходи безпеки, включаючи попереджувальні етикетки, відмову надавати небезпечні рекомендації та потенційні механізми звітності про високоризикові взаємодії. Результат також може вплинути на підхід регуляторів до нагляду за генеративними системами ШІ.

Раніше OpenAI опублікував заяви, в яких наголошувалося, що ChatGPT не призначений для надання медичних порад і що користувачі повинні звертатися до медичних працівників із запитаннями, пов’язаними зі здоров’ям. Однак критики стверджують, що цих застережень недостатньо, враховуючи, скільки людей покладаються на чат-бота саме для цієї мети. У скарзі випливає, що OpenAI знав або повинен був знати, що молоді користувачі сприйматимуть рекомендації ChatGPT як надійні медичні рекомендації без відповідних гарантій.

Позов родини Нельсон — це не поодинокий випадок, а скоріше частина зростаючого занепокоєння щодо безпеки ChatGPT і ширших наслідків розгортання потужних систем ШІ без відповідних огорож. Повідомлялося про численні інші випадки, коли ChatGPT надавав небезпечні рекомендації, від заохочення до самоушкодження до пропонування шкідливих медичних процедур. Кожен із цих інцидентів посилює тиск на регулятори та технологічні компанії, щоб вони вжили заходів.

Цей випадок, ймовірно, вплине на подальше визначення судами відповідальності за шкоду, заподіяну системами ШІ. Основне питання, яке лежить в основі позову, полягає в тому, чи можуть технологічні компанії нести відповідальність, якщо їхні системи надають небезпечну інформацію, на яку користувачі покладаються на шкоду собі. Оскільки ШІ продовжує інтегруватися в повсякденне життя, створення чіткого правового прецеденту з цього питання стає все більш важливим.

Трагічна смерть Сема Нельсона служить яскравим нагадуванням про реальні наслідки, до яких може призвести розгортання потужних систем штучного інтелекту без відповідних міркувань безпеки. Рішення його батьків подати позов відображає не тільки горе, але й прагнення запобігти подібним трагедіям. Незалежно від того, вдасться їхній позов чи ні, він уже викликав важливі розмови про те, як суспільство має регулювати генеративну технологію штучного інтелекту та притягувати технологічні компанії до відповідальності за шкоду, яку завдають їхні системи.