AI 医疗抄写员产生幻觉患者数据

安大略省的审计显示,人工智能医疗抄写员会生成虚假的患者信息,从而危及有害的治疗计划和患者安全结果。
根据安大略省审计长进行的全面审计,医疗保健环境中对人工智能医疗抄写员的日益依赖已经发生了令人担忧的转变。这些复杂的工具旨在通过自动将医患对话转换为结构化电子健康记录来简化临床工作流程,但事实证明远不如最初预期的可靠。审计结果表明,医疗文档中的人工智能幻觉对整个医疗系统的患者安全和治疗质量构成严重威胁。
医疗保健提供商越来越多地采用人工智能抄写员作为解决医生倦怠和管理负担的解决方案。这些系统有望通过处理繁琐的记录任务来释放医生的时间,使临床医生能够更直接地专注于患者护理。然而,安大略省的审计揭示了一个令人不安的现实:承诺提高效率的技术可能会在医疗记录中引入危险的错误。该报告特别强调了人工智能系统生成不准确、不完整且完全捏造的信息的情况,这些信息可能从根本上改变患者治疗决策的轨迹。
审计长的综合评估检查了20 家 AI 抄写员供应商的转录准确性,这些供应商已通过安大略省政府的资格预审并批准供医疗机构使用。每个供应商都使用两次模拟的医患对话进行了测试,旨在评估他们准确捕获临床信息的能力。结果一致令人担忧:所有 20 家供应商都在至少一种测试场景中表现出了严重的准确性或完整性问题,这对这些系统在实际临床实践中的可靠性提出了严重质疑。
最令人震惊的发现之一是,九家供应商被发现对患者信息产生幻觉——生成在模拟咨询期间从未提及的详细信息。十二家供应商错误地记录了信息,歪曲了模拟患者或医生的陈述。也许最关键的是,17 家供应商未能捕获对话期间明确讨论的心理健康问题的基本细节。当在现实场景中依赖这些遗漏和捏造进行临床决策时,可能会产生毁灭性的后果。
The Ontario government AI audit provides specific examples of the types of errors that occurred during testing.一个著名的案例涉及人工智能系统,该系统发明了从未被讨论过的病史。在另一个例子中,文件中完全省略了重要的心理健康信息。这些不是轻微的文书错误或格式不一致,而是医疗信息中的实质性错误,可能会直接影响治疗计划、药物处方和后续护理决策。
The implications of these findings extend far beyond administrative inconvenience.当医生依赖包含虚假或不完整信息的人工智能生成的临床记录时,他们可能会根据患者医疗状况的不准确情况做出治疗决定。如果人工智能未能正确捕捉患者的心理健康问题,那么患者的心理健康问题可能会被忽视。记录中可能缺少药物过敏或禁忌症。以前的诊断可能会被歪曲。在每种情况下,对患者结果造成的潜在损害都是巨大且可衡量的。
采用这些人工智能医疗文档系统的医疗保健提供者现在面临着困难的境地。 They've invested in technology specifically approved by provincial government oversight bodies, yet the audit confirms these systems are producing unreliable results.审计长的报告基本上证实了怀疑论者的担忧,他们质疑人工智能技术是否真正准备好部署在此类关键的医疗保健应用中。医学领域的记录错误风险太大——患者的安全取决于准确、完整的医疗记录。
此次审计对用于对这些供应商进行资格预审的审查流程提出了重大问题。如果政府批准的系统存在如此普遍的准确性问题,那么在批准过程中实际应用了哪些标准?审计长的调查结果表明,对创新和效率的重视可能超过了保护患者的必要保障措施。医疗保健组织需要确保推荐使用的工具在引入临床工作流程之前已经过严格的可靠性和准确性测试。
在审计公开发布后,这些人工智能抄写技术的供应商可能会面临提高系统准确性的压力。故障率的详细记录(100% 的测试供应商都显示出至少一个重大问题)提供了令人信服的证据,表明需要进行重大改进。一些供应商可能会争辩说,模拟测试场景并不能完全代表现实世界的性能,或者特定的用例显示出更好的结果。尽管如此,鉴于审计结果的全面性和潜在的患者安全影响,很难驳回审计结果。
对于已经使用这些系统的医生来说,审计报告带来了新的负担:他们现在必须承担额外的责任,在依赖 AI 生成的注释进行临床决策之前验证 AI 生成的注释是否准确和完整。这个验证过程本身需要人工智能系统本应节省的时间和注意力。一些医生可能会发现自己花在纠正人工智能生成的文档上的时间与从头开始创建笔记所花费的时间一样多,从而抵消了大部分承诺的效率优势。
安大略省的情况反映了医疗保健创新领域更广泛的紧张局势。该行业面临着需要解决的真正问题:医生倦怠、行政负担过重以及影响直接患者护理的时间压力。 医疗文档人工智能解决方案代表了应对这些挑战的逻辑技术方法。然而,安大略省的审计表明,对创新解决方案的热情不能超越医疗文件准确可靠的基本要求。医疗保健不是一个可以接受“足够好”技术的行业。
展望未来,医疗保健组织必须仔细重新考虑其人工智能抄写员的实施策略。不应将这些系统部署为医生被动接受的自主工具,而应通过强大的验证程序、人工监督和持续的准确性监控来实施它们。定期审核随机选择的人工智能生成的笔记可以帮助在影响患者护理之前识别系统问题。培训应强调审查人工智能文档完整性和准确性的重要性。
The auditor general's report ultimately serves as a reality check for the healthcare sector's embrace of AI technology.虽然人工智能在提高医疗保健效率和结果方面具有真正的潜力,但只有该技术在实践中真正可靠地运行时,这种潜力才能实现。安大略省的调查结果表明,当前一代的人工智能医疗抄写员供应商尚未达到临床环境中安全、独立操作所需的准确性标准。在做出改进之前,医疗保健提供者必须将这些工具视为需要验证的助手,而不是值得信赖的自动化系统。
对于患者来说,审计结果强调了对自己的医疗记录保持警惕的重要性。个人应该仔细审查他们的临床文件,如果有任何不准确、不完整或不熟悉的地方,请提出问题。在人工智能系统可能生成部分医疗记录的时代,患者参与验证成为一项额外的安全措施。审计强调,在医疗保健领域,在确保准确性、完整性以及最终患者安全和优质护理方面,人的因素仍然是不可替代的。
来源: Ars Technica


