AI 垃圾邮件压倒了 Bug 赏金计划

漏洞赏金平台与人工智能生成的虚假安全报告作斗争。 Bugcrowd 发现,随着公司暂停项目,三月份的报告数量增加了四倍。
网络安全格局正面临前所未有的挑战,因为人工智能生成的提交内容正在充斥着低质量、虚假的漏洞报告,充斥着漏洞赏金平台。传统上依赖独立安全研究人员来识别软件缺陷的公司现在正在努力应对人工智能工具广泛使用带来的意外后果,迫使一些组织重新评估其漏洞披露计划。
错误赏金计划已发展成为现代软件安全策略的基石,在科技公司和全球道德黑客社区之间建立了共生关系。这些计划激励安全专业人员负责任地披露他们发现的漏洞,通常会给予他们金钱补偿。然而,先进人工智能工具的民主化从根本上改变了这些程序的动态,引入了安全团队不准备大规模处理的新问题。
低质量提交的激增对错误赏金平台及其企业客户来说是一个重大的运营挑战。 Bugcrowd 是为 OpenAI、T-Mobile 和 Motorola 等大公司提供服务的最大漏洞协调平台之一,在 3 月份的三周内,提交量急剧增加。该平台报告称,在此期间收到的报告增加了四倍多,其中绝大多数提交的报告被证明完全是捏造的或安全价值可以忽略不计。
人工智能生成的垃圾邮件报告的涌入在错误赏金生态系统中造成了巨大的摩擦。习惯于让他们的合法发现受到审查和奖励的安全研究人员现在发现自己正在与可以在几分钟内生成数百份提交的自动化系统竞争。这种信噪比的下降破坏了错误赏金计划的根本目的,即在恶意行为者利用它们之前有效地识别真正的安全漏洞。
这种情况让漏洞协调员特别沮丧的是与分类和驳回虚假报告相关的资源消耗。每项提交都需要平台或客户公司雇用的安全专业人员进行手动审核。当人工智能系统生成数百个虚假漏洞,声称发现不存在的缺陷或将合法功能错误地识别为安全风险时,它会消耗宝贵的带宽,而这些带宽本来可以专门用于分析合法的安全研究。
由于人工智能漏洞检测工具越来越容易被公众使用,问题变得更加严重。具有最少安全专业知识的用户现在可以使用大型语言模型和专门的安全扫描工具来生成听起来合理的漏洞报告,即使这些工具实际上并没有检测到真正的缺陷。这些报告通常包含表面上类似于合法安全评估的技术术语,使得初始过滤更加耗费人力。
多个因素汇聚在一起,为错误赏金计划管理创造了这场完美风暴。生成式人工智能工具的爆炸式增长,再加上在线公开的常见漏洞类型的详细信息,使得非专家也能够制作出听起来令人信服的安全报告。此外,一些个人或组织可能故意提交虚假报告来测试平台防御或参与数字噪音制造。
其后果迫使一些公司采取严厉行动。多个运营安全漏洞计划的组织已宣布暂时或永久暂停其漏洞赏金计划,直到他们能够开发出更好的过滤机制和验证协议。这种回应虽然从操作角度来看是可以理解的,但对于依赖这些计划来获取收入和声誉的合法安全研究社区来说,这是一个重大挫折。
Bugcrowd 和其他平台现在正在努力实施更好的提交验证系统。这些努力包括开发更复杂的过滤算法、实施更严格的提交要求,并可能增加新研究人员的进入门槛。然而,这些保护措施可能会无意中将可能不符合日益严格的标准的合法研究人员排除在外。
这一趋势的更广泛影响超出了个别公司的运营挑战。 漏洞赏金平台可靠性的下降可能会破坏整个生态系统,而事实证明,整个生态系统对软件安全非常有价值。如果公司对错误赏金计划作为识别漏洞的手段失去信心,他们可能会完全放弃这些计划,转而支持专门的内部安全团队或付费渗透测试公司。
安全专家呼吁采取多管齐下的方法来解决人工智能垃圾邮件问题。这包括开发更好的人工智能检测工具,经过专门训练来识别机器生成的报告,实施惩罚提交虚假漏洞的用户的声誉系统,以及建立需要详细概念验证演示的更清晰的提交指南。该行业还在探索是否需要提交验证令牌或其他加密证据来证明人类实际上对报告负责。
安全专业人士并没有忽视这种情况的讽刺意义:承诺增强网络安全能力的人工智能工具目前正被用来破坏关键的安全基础设施。这一现实凸显了强大技术的双重用途性质以及在广泛采用之前实施保障措施的重要性。
展望未来,安全研究社区将需要适应和发展以应对这些挑战。精英研究人员可能会越来越多地从公共错误赏金平台转向私人项目或与公司建立直接关系,这可能会导致错误赏金格局的碎片化。与此同时,平台可能会实施更复杂的身份验证和验证系统,以确保提交的内容来自具有合法专业知识的真正安全研究人员。
这种情况还凸显了有关技术治理和平台设计的重要教训。错误赏金计划的设计初衷并不是假设人工智能将用于以最低成本生成大量虚假提交。随着人工智能能力的不断进步,各行业的组织都需要主动设计防御措施,以防止人工智能滥用其系统和流程。
最终,与安全领域人工智能生成的垃圾邮件的斗争只是攻击者和防御者之间正在进行的军备竞赛的最新篇章。网络安全界一贯表现出适应新威胁和挑战的能力,有理由相信他们将针对这一问题制定有效的对策。然而,对于平台运营商和合法的安全研究人员来说,过渡期可能会感到不舒服,因为他们依赖漏洞赏金计划作为其专业工作的关键组成部分。
来源: Ars Technica


