肯尼亚的人工智能医疗系统让穷人失望

调查显示,肯尼亚人工智能驱动的医疗改革算法系统性地增加了最贫困公民的成本,这与鲁托总统的承诺相矛盾。
威廉·鲁托总统在肯尼亚严重内乱期间做出了全面承诺,承诺他的政府将保证所有公民获得全民医疗保健服务。然而,一项独家调查发现了一个令人不安的现实:旨在确定医疗服务负担能力的人工智能系统系统性地增加了该国最弱势群体的成本,同时有利于更富有的肯尼亚人,因为他们更容易承担增加的费用。
人工智能医疗保健算法是肯尼亚雄心勃勃的医疗系统改革的核心,是作为全面数字化转型计划的一部分而实施的。该系统非但没有创造公平的准入机会,反而对低收入肯尼亚人表现出了持续的偏见,引发了人们对该技术如何评估财务能力和确定定价结构的严重质疑。这种算法歧视代表了该技术在实现政府既定的全民医疗保健目标方面的根本失败。
肯尼亚的新医疗保健系统于 2024 年 10 月启动,其明确目的是实现现代化并取代该国数十年来基本保持不变的老化国家保险框架。政府将这项改革定位为一项里程碑式的成就,它将彻底改变全国的医疗保健服务,并确保即使是最贫穷的肯尼亚人也能获得基本的医疗服务,而不会面临金融灾难。
调查显示,人工智能驱动的医疗改革在评估家庭收入、就业状况和整体财务能力方面存在根本性缺陷。该算法似乎始终低估贫困家庭的财务状况,同时高估富裕公民的财务状况,从而形成了一种不正当的激励结构,使得那些最无力支付的人的成本不断上升。这种系统性偏差表明算法设计不充分,或者在全国推广之前测试不充分。
自该系统实施以来,弱势群体的医疗费用激增,有报告表明,贫困的肯尼亚人现在为基本医疗服务支付的费用比以前的国家保险制度下的费用要高得多。经济负担迫使一些家庭完全放弃必要的医疗,造成公共卫生危机,这与鲁托总统改善医疗服务的选举任务直接相矛盾。这种情况突显了,如果不仔细考虑公平因素,技术解决方案可能会导致现有的社会不平等现象长期存在。
医疗保健算法偏差问题超出了简单的定价机制的范围。该系统对患者的分类似乎依赖于数据点,而这些数据点对于肯尼亚实际的经济困难并没有有意义的预测。许多贫穷的肯尼亚人在非正规部门工作,收入模式不规则,算法难以正确评估,导致错误分类和不适当的成本分配。这种技术限制揭示了人工智能系统在受控环境中的设计方式与它们在具有复杂社会经济现实的现实环境中的运作方式之间存在着危险的差距。
在评估该系统的失败时,不能忽视肯尼亚医疗保健挑战的更广泛背景。该国长期以来一直面临医疗资源有限、服务获取的地理差异以及公共卫生基础设施资金不足的问题。许多观察家希望人工智能医疗解决方案能够帮助优化有限的资源并提高效率,但该技术却为最贫困的公民制造了新的障碍。
技术专家建议,可以通过使用设计更好的数据集进行重新训练来纠正该算法,这些数据集更准确地反映肯尼亚贫困人口的社会经济现实。然而,这将需要大量额外的投资和时间,从而延迟对目前受到该系统伤害的人们的救济。这种情况引发了令人不安的问题:政府是否应该在充分理解其公平影响之前部署复杂的人工智能系统。
患者权益团体记录了肯尼亚人的令人心碎的案例,这些人推迟或避免了必要的医疗治疗,因为系统的算法确定他们可以负担比实际更高的费用。一些人已经用尽积蓄来支付高昂的费用,而另一些人则转向不太正规的医疗保健选择,这些选择可能提供较低质量的护理,但事实证明在财务上更易于管理。这些个人故事说明了算法失败给人类带来的真正代价。
展望未来,肯尼亚的经验为其他实施医疗保健数字化转型举措的国家提供了重要的教训。专家建议政府承诺在部署前进行透明的算法审计,与受影响的社区合作以了解当地情况,并建立保障措施,防止任何个人或群体处于系统性的不利地位。在医疗保健领域,采用试错法来实施技术的风险太大。
鲁托总统最初承诺扩大肯尼亚最贫困公民的医疗保健服务范围,但仍未兑现,他们现在面临着比该系统实施前更高的成本和更大的医疗障碍。政府能否有效解决算法问题并兑现其选举承诺仍然是一个悬而未决的问题。这项调查是一个重要的问责机制,迫使公众检查技术在关键社会服务中的部署情况。
来源: The Guardian


