ChatGPT 现在在心理健康危机期间向值得信赖的朋友发出警报

OpenAI 引入了新的安全功能,允许 ChatGPT 用户指定可信联系人,如果对话表明存在自残风险,他们就会收到警报。
OpenAI 推出了一项突破性的安全举措,旨在保护易受攻击的 ChatGPT 用户,让 AI 平台能够在对话暗示潜在的自残风险时通知可信联系人。这一创新功能将先进的语言处理与现实世界的心理健康支持机制相结合,代表着负责任的 AI 开发向前迈出了重要一步。这一实施体现了 OpenAI 致力于解决人工智能交互的心理健康问题,并认识到数字平台越来越多地成为用户披露个人挣扎和心理困扰的空间。
新功能允许 ChatGPT 用户通过其帐户设置指定可信联系人,从而在平台和可以提供即时支持的指定个人之间建立直接的沟通渠道。当 ChatGPT 的监控系统检测到表明某人可能有自杀意念或自残想法的对话模式时,指定联系人会收到一条通知,提醒他们联系。这种方法利用现有社会支持网络的力量,同时在整个干预过程中维护用户的隐私和自主权。
此功能的开发涉及 OpenAI 安全研究团队、心理健康专业人员和危机干预专家之间的广泛合作。这些专家共同努力识别表明风险较高的对话模式和语言指标,而无需依赖过度侵入性的监控机制。该系统的设计旨在优先考虑检测的准确性,同时最大限度地减少误报,因为误报可能会产生不必要的警报或削弱用户与平台之间的信任。
心理健康专业人士称赞这一举措是解决日益紧迫的问题的务实解决方案。随着年轻一代和弱势群体转向数字工具寻求支持,保障措施的缺乏导致危机干预系统存在令人担忧的差距。将人工智能驱动的检测与以人为中心的支持网络集成的能力通过创建一种混合方法来弥补这一差距,该方法利用技术能力,同时保留人类联系和干预的不可替代的价值。
实施过程故意简单明了,确保不同技术熟练程度的用户都可以轻松设置该功能。用户只需导航至其帐户设置,选择指定可信联系人的选项,并提供该人必要的联系信息即可。然后,系统安全地存储这些信息,并激活旨在仅在对话达到相关阈值时触发警报的监控协议,确保正常对话保持完全私密。
隐私和数据保护仍然是此功能设计架构的核心。 OpenAI 实施了多项保护措施,以确保该警报系统的激活不会无意中对用户对话造成更广泛的监视。该系统专门专注于检测自残指标,而不是全面监控所有交互内容,并通过保持严格保密标准的自动化系统生成警报。
这项举措正值关键时刻,有关人工智能在心理健康支持方面的作用的讨论已显着加剧。这场大流行加速了向数字心理健康资源的转变,许多人现在依赖对话式人工智能作为情感支持和危机讨论的主要来源。虽然人工智能无法取代专业的心理健康治疗,但它可以作为一种方便的第一线参与方式,特别是对于那些因成本、地理位置或耻辱问题而面临传统护理障碍的个人而言。
该功能解决了记录在案的用户行为模式,这些模式揭示了个人越来越多地向人工智能聊天机器人透露心理健康问题。研究表明,与人类互动相比,一些用户在使用人工智能讨论敏感话题时感觉更少的判断力和更大的匿名性,这使得这些数字空间对于弱势群体来说真正重要。认识到这一现实,OpenAI 的方法尝试利用这种可访问性,同时创建问责机制,确保问题不会完全得到解决。
此功能将在 ChatGPT 用户群中逐步推出,使 OpenAI 能够监控实施效果并收集用户及其指定的可信联系人的反馈。这种分阶段方法可以根据现实世界的使用模式和用户体验来细化警报标准和通知消息传递。 OpenAI 致力于在整个过程中保持透明度,发布有关检测算法如何运作以及什么触发器激活警报的详细技术文档。
指定可信联系人代表了对传统危机应对模式的背离,传统危机应对模式通常依赖专业干预或紧急服务。通过授权现有的社交网络作为第一响应者,这种方法承认同伴支持在心理健康危机中的深远重要性。研究一致表明,个人更有可能向值得信赖的同事透露自杀意念,而不是向专业人士透露,这使得这种机制在发起支持性对话方面可能更有效。
OpenAI 还提供资源来帮助指定的可信联系人了解他们的角色,并在收到警报时做出适当的响应。教育材料解释说,收到警报表示担忧,而不是迫在眉睫的危机,强调在尊重个人自主权的同时不带判断地伸出援手的重要性。这些材料认识到,受信任的联系人本身在收到此类通知时可能会感到压力,从而为自我护理以及何时升级到专业危机资源提供了指导。
该功能的推出引发了有关科技公司在解决心理健康危机方面的更广泛责任的重要问题。 这一发展表明,人们越来越期望人工智能平台能够实施安全机制,将传统的内容审核扩展到主动的心理健康支持。随着人工智能变得更加复杂并广泛融入日常生活,公司面临着越来越大的压力,必须将用户的心理健康作为核心设计原则,而不是事后的想法。
该实施还反映了技术行业内关于人工智能责任和社会影响不断发展的道德框架。 OpenAI 决定从头开始构建此功能,而不是购买第三方解决方案,这表明了其将心理健康考虑因素直接纳入产品开发的承诺。这种方法与一些行业实践形成鲜明对比,在这些行业实践中,安全功能只是作为表面添加而添加,而不是融入基本平台架构中。
展望未来,此功能可能会成为其他科技公司开发对话式人工智能系统和数字平台以促进用户自我披露的模板。随着越来越多的组织认识到其平台的心理健康维度,OpenAI 记录成功和局限性的透明方法可以为更广泛的行业提供宝贵的指导。该公司已表示愿意与其他致力于解决类似问题的组织分享技术见解,并将此功能定位为负责任的人工智能开发更大运动的一部分。
来源: Engadget


