Перестаньте называть функции ИИ в честь человеческих процессов

Последнее заявление компании Anthropic на конференции разработчиков вновь разожгло растущее разочарование среди исследователей искусственного интеллекта, специалистов по этике и технологических комментаторов: устойчивая привычка отрасли называть функции искусственного интеллекта в честь человеческих когнитивных процессов. Компания представила новую возможность, которую она называет «сновидения», призванную помочь агентам ИИ организовывать и сортировать хранящиеся «воспоминания». Хотя эта терминология может показаться потребителям интуитивно понятной, она представляет собой фундаментальное искажение того, как на самом деле функционируют эти системы.

Это соглашение об именах становится все более распространенным в индустрии искусственного интеллекта: крупные компании регулярно используют словарь, в значительной степени заимствованный из человеческой неврологии и психологии. Когда компании говорят об ИИ, «думающем», «обучающемся», «запоминающем», а теперь и «мечтающем», они используют язык, который несет в себе глубокие ассоциации с сознанием, пониманием и интенциональностью. Однако эти термины скрывают математические и вычислительные реалии, лежащие в основе этих технологий. Алгоритмические процессы, происходящие в нейронных сетях, действуют по принципиально иным принципам, чем биологические процессы, с которыми их сравнивают.

Проблема выходит за рамки простой семантики или академических придирок. Этот антропоморфный язык формирует то, как общественность понимает и относится к искусственному интеллекту, что потенциально может привести к переоценке возможностей и неуместному доверию. Когда функцию называют «памятью», люди, естественно, предполагают, что она действует аналогично человеческой памяти — избирательно, творчески, склонна к определенным типам ошибок и искажений. На самом деле то, что системы ИИ хранят и извлекают, — это данные, преобразованные с помощью математических операций, мало похожие на ассоциативную, эмоциональную и контекстуальную природу человеческих воспоминаний.

Рассмотрим конкретный случай новой функции «сновидений» Anthropic. Этот термин вызывает образы системы искусственного интеллекта, занятой какой-то подсознательной обработкой, возможно, консолидирующей информацию или решающей проблемы, находясь в состоянии покоя, во многом так же, как считается, что человеческий мозг делает во время быстрого сна. Реальность гораздо более техническая: система выполняет вычислительные процессы для организации и кластеризации информации таким образом, чтобы сделать последующий поиск и анализ более эффективными. Это алгоритм оптимизации, а не философский эквивалент того, что происходит, когда люди спят.

Проблема терминологии становится особенно острой при рассмотрении того, как эти дескрипторы влияют на нормативные дискуссии и государственную политику. Политикам и законодателям часто не хватает глубоких технических знаний в области разработки ИИ и машинного обучения. Когда они сталкиваются с терминологией, предполагающей, что системы ИИ обладают памятью, сознанием или сновидениями, это может непреднамеренно повысить их восприятие сложности и автономности технологии. Это непонимание может привести к созданию неподходящей нормативной базы: либо слишком либеральной, поскольку ИИ считается более понятным и управляемым, чем он есть на самом деле, либо слишком ограничительной, поскольку он считается более опасным и разумным, чем того требует техническая реальность.

Крупные технологические компании уже много лет используют эту стратегию, хотя, возможно, не всегда с циничными намерениями. Иногда это вопрос удобства: термины, заимствованные человеком, уже укоренились в нашем языке и понимании. В других случаях может возникнуть искренняя уверенность в том, что если сделать возможности искусственного интеллекта понятными, это поможет публике осознать их потенциал. Но благие намерения не делают эту практику менее проблематичной. Когда OpenAI говорит о том, что у ChatGPT есть «мысли», или когда Google описывает свои алгоритмы как «обучающиеся» на данных, они жертвуют точностью ради доступности таким образом, что в конечном итоге подрывает и то, и другое.

Некоторые утверждают, что альтернатива (используя чисто техническую терминологию) затруднит понимание ИИ широкой аудиторией. Но это возражение не соответствует сути. Целью не должно быть упрощение с помощью метафор; необходимо точно объяснять, не будучи излишне неясным. Сказать, что система ИИ «обрабатывает информацию таким образом, чтобы выявлять закономерности и генерировать статистически вероятные результаты», будет точнее, чем сказать, что она «мечтает» или «думает», и это не намного сложнее понять. Проблема в том, что отрасль не предприняла согласованных усилий по разработке ясного, точного и доступного языка.

У этого лингвистического выбора есть и тревожный коммерческий аспект. Компании заинтересованы в том, чтобы их системы искусственного интеллекта выглядели впечатляюще, интуитивно понятно и почти по-человечески. Антропоморфный язык служит маркетинговым целям: он делает технологию более продвинутой, более эффективной и более достойной инвестиций. Функция под названием «мечтание» более привлекательна для венчурных капиталистов и потенциальных клиентов, чем функция, описанная как «оптимизация кластеризации данных посредством итеративного алгоритмического уточнения». Структура стимулов поощряет дальнейшее искажение фактов.

Научное и академическое сообщество относительно спокойно относится к этому вопросу, возможно, потому, что терминология настолько распространена, что сопротивление ей кажется бесполезным. Тем не менее, ученые, изучающие этику искусственного интеллекта и безопасность искусственного интеллекта, выразили обеспокоенность по поводу того, как антропоморфный язык влияет на общественное восприятие и политические дискуссии. Существует ответственность, связанная с внедрением в мир новых технологий, и частью этой ответственности является честное информирование о том, что они делают, а что нет. Область искусственного интеллекта достаточно молода, поэтому более эффективные соглашения об именах все еще могут стать нормой, если отрасль будет придерживаться их.

Двигаясь вперед, индустрии искусственного интеллекта необходимо разработать и принять более четкую терминологию, которая точно описывает функциональность, не полагаясь на человеческие когнитивные аналогии. Это может потребовать сотрудничества между технологами, лингвистами, специалистами по этике и экспертами по коммуникациям для создания точного и доступного словаря. Профессиональные организации могли бы установить правила наименования функций, которые не допускали бы использования антропоморфного языка в официальной документации и маркетинговых материалах. Образовательные инициативы могут помочь научить журналистов, политиков и широкую общественность распознавать и подвергать сомнению этот языковой выбор.

Ставки действительно высоки. Поскольку технология искусственного интеллекта все больше интегрируется в важнейшие системы — здравоохранение, финансы, уголовное правосудие, национальную безопасность, — понимание общественностью того, как на самом деле работают эти системы, имеет огромное значение. Неправильное понимание их возможностей и ограничений может привести к ненадлежащему развертыванию, неуместному доверию или неадекватным мерам защиты. Терминология, которую мы используем для описания ИИ, не просто академическая; он формирует то, как общество относится к одной из самых важных технологий нашего времени и регулирует ее.

Пока индустрия не признает и не скорректирует курс по этому вопросу, разрыв между технической реальностью и общественным восприятием будет продолжать увеличиваться. Таким компаниям, как Anthropic, следует пересмотреть свои соглашения об именах функций, отдавая предпочтение описаниям, которые проясняют, а не запутывают. Работа по созданию надежных, безопасных и понятных систем искусственного интеллекта требует честности, и эта честность должна начинаться с того, как мы говорим о том, что на самом деле делают эти системы.