Медицинские писцы с искусственным интеллектом галлюцинируют данные пациентов

По данным комплексной проверки, проведенной генеральным аудитором Онтарио, растущая зависимость от медицинских писцов с искусственным интеллектом в медицинских учреждениях приняла тревожный поворот. Эти сложные инструменты, предназначенные для оптимизации клинических рабочих процессов путем автоматического преобразования разговоров между пациентом и врачом в структурированные электронные медицинские записи, оказались гораздо менее надежными, чем первоначально предполагалось. Результаты проверки показывают, что галлюцинации искусственного интеллекта в медицинской документации представляют серьезную угрозу безопасности пациентов и качеству лечения во всей системе здравоохранения.

Медицинские работники все чаще используют писцов с искусственным интеллектом в качестве решения для борьбы с выгоранием врачей и административной нагрузкой. Эти системы обещают высвободить время врачей, решая утомительную задачу документирования, позволяя клиницистам более непосредственно сосредоточиться на уходе за пациентами. Однако аудит Онтарио выявил тревожную реальность: та же самая технология, которая обещает повышение эффективности, может вносить опасные ошибки в медицинские записи. В отчете особо отмечаются случаи, когда системы искусственного интеллекта генерировали неточную, неполную и полностью сфабрикованную информацию, которая могла фундаментально изменить траекторию принятия решений о лечении пациентов.

В ходе комплексной оценки генерального аудитора была проверена точность транскрипции у 20 поставщиков ИИ-писцов, которые прошли предварительную квалификацию и были одобрены правительством Онтарио для использования организациями здравоохранения. Каждый поставщик прошел тестирование с использованием двух симулированных разговоров между пациентом и врачом, призванных оценить их способность точно собирать клиническую информацию. Результаты были одинаково тревожными: все 20 поставщиков продемонстрировали значительные проблемы с точностью или полнотой данных, по крайней мере, в одном сценарии тестирования, что вызвало серьезные вопросы о надежности этих систем в реальной клинической практике.

Самые тревожные результаты: девять продавцов были пойманы на галлюцинации информации о пациентах, генерирующей детали, которые никогда не упоминались во время симулированных консультаций. Двенадцать продавцов неправильно записали информацию, исказив утверждения, сделанные симулированным пациентом или врачом. Пожалуй, наиболее критично то, что 17 поставщиков не смогли уловить важные детали, касающиеся проблем психического здоровья, которые подробно обсуждались в ходе бесед. Эти упущения и выдумки могут иметь разрушительные последствия, если на них можно положиться при принятии клинических решений в реальных сценариях.

В ходе аудита искусственного интеллекта, проводимого правительством Онтарио, приводятся конкретные примеры типов ошибок, возникших во время тестирования. One notable case involved an AI system that invented medical history that was never discussed. В другом случае важная информация о психическом здоровье была полностью исключена из документации. Это не мелкие канцелярские ошибки или несоответствия в форматировании — они представляют собой существенные ошибки в медицинской информации, которые могут напрямую повлиять на планы лечения, назначения лекарств и решения о последующем лечении.

Последствия этих выводов выходят далеко за рамки административных неудобств. Когда врачи полагаются на клинические записи, созданные с помощью искусственного интеллекта и содержащие ложную или неполную информацию, они могут принимать решения о лечении на основе неточной картины состояния здоровья пациента. Проблемы психического здоровья пациента можно было бы не заметить, если бы ИИ не смог их должным образом уловить. Аллергия на лекарства или противопоказания могут отсутствовать в записи. Предыдущие диагнозы могут быть неверно истолкованы. В каждом сценарии потенциальный вред для результатов лечения пациентов значителен и измерим.

Поставщики медицинских услуг, внедрившие эти системы медицинской документации на базе искусственного интеллекта, теперь оказались в сложной ситуации. Они инвестировали в технологии, специально одобренные провинциальными правительственными надзорными органами, однако проверка подтверждает, что эти системы дают ненадежные результаты. Отчет генерального аудитора по существу подтверждает опасения скептиков, которые сомневались в том, действительно ли технология искусственного интеллекта готова к использованию в таких критически важных приложениях здравоохранения. Ставки слишком высоки из-за ошибок документации в медицине: безопасность пациентов зависит от точных и полных медицинских записей.

Аудит поднимает серьезные вопросы о процессе проверки, используемом для предварительной квалификации этих поставщиков. Если одобренные правительством системы демонстрируют такие широко распространенные проблемы с точностью, какие стандарты фактически применялись в процессе утверждения? Выводы генерального аудитора позволяют предположить, что акцент на инновациях и эффективности, возможно, превзошел необходимые меры защиты пациентов. Медицинским организациям необходима гарантия того, что инструменты, рекомендованные для их использования, прошли тщательную проверку на надежность и точность перед внедрением в клинические рабочие процессы.

Поставщики этих технологий ИИ-писцов, скорее всего, столкнутся с необходимостью повысить точность своих систем после публикации результатов аудита. Подробная документация по частоте отказов (100% проверенных поставщиков выявили по крайней мере одну существенную проблему) убедительно свидетельствует о необходимости существенных улучшений. Некоторые поставщики могут утверждать, что смоделированные сценарии тестирования не полностью отражают реальную производительность или что конкретные варианты использования показывают лучшие результаты. Тем не менее, выводы проверки трудно игнорировать, учитывая их полноту и потенциальные последствия для безопасности пациентов.

Для врачей, уже использующих эти системы, аудиторский отчет создает новое бремя: теперь они должны взять на себя дополнительную ответственность за проверку точности и полноты записей, созданных ИИ, прежде чем полагаться на них при принятии клинических решений. Сам процесс проверки требует времени и внимания, которые системы ИИ должны были сэкономить. Некоторые врачи могут тратить на исправление документации, созданной ИИ, столько же времени, сколько на создание заметок с нуля, что сводит на нет обещанный выигрыш в эффективности.

Ситуация в Онтарио отражает более широкую напряженность в сфере инноваций в сфере здравоохранения. Отрасль сталкивается с реальными проблемами, которые необходимо решить: выгорание врачей, чрезмерное административное бремя и нехватка времени, что отвлекает от непосредственного ухода за пациентами. Решения искусственного интеллекта для медицинской документации представляют собой логический технологический подход к решению этих задач. Однако аудит Онтарио показывает, что энтузиазм в отношении инновационных решений не может перевесить фундаментальное требование о том, чтобы медицинская документация была точной и надежной. Здравоохранение – это не тот сектор, где приемлемы "достаточно хорошие" технологии.

В перспективе организациям здравоохранения придется тщательно пересмотреть свои стратегии внедрения ИИ-писцов. Вместо того, чтобы развертывать эти системы как автономные инструменты, которые врачи пассивно принимают, их следует внедрять с использованием надежных процедур проверки, человеческого надзора и постоянного мониторинга точности. Регулярные проверки случайно выбранных заметок, созданных ИИ, могут помочь выявить систематические проблемы до того, как они повлияют на уход за пациентами. При обучении следует подчеркивать важность проверки документации ИИ на предмет ее полноты и точности.

Отчет генерального аудитора в конечном итоге служит проверкой реальности внедрения технологий искусственного интеллекта в секторе здравоохранения. Хотя искусственный интеллект предлагает реальный потенциал для повышения эффективности и результатов здравоохранения, этот потенциал может быть реализован только в том случае, если технология действительно надежно работает на практике. Результаты исследований Онтарио показывают, что нынешнее поколение поставщиков медицинских писцов с искусственным интеллектом еще не достигло стандартов точности, необходимых для безопасной и независимой работы в клинических условиях. Пока не будут внесены улучшения, поставщики медицинских услуг должны относиться к этим инструментам как к помощникам, требующим проверки, а не как к надежным системам автоматизации.

Результаты проверки подчеркивают важность сохранения бдительности пациентов в отношении своей медицинской документации. Людям следует внимательно просмотреть свою клиническую документацию и задать вопросы, если что-то кажется неточным, неполным или незнакомым. В эпоху, когда системы искусственного интеллекта могут генерировать части медицинских записей, участие пациентов в проверке становится дополнительной мерой безопасности. Аудит подчеркивает, что в здравоохранении человеческий фактор остается незаменимым, когда речь идет об обеспечении точности, полноты и, в конечном итоге, безопасности пациентов и качества медицинской помощи.