ArXiv 禁止研究人员提交人工智能生成的废纸

ArXiv 对上传充满人工智能生成内容、包含幻觉数据和未经审查的法学硕士输出的论文的研究人员实施严厉处罚。
ArXiv 是最受尊敬的预印本学术研究平台之一,它正在实施更严格的执法措施,以解决日益严重的低质量、人工智能生成内容充斥其服务器的问题。学术界越来越担心包含大量研究人员所说的“AI slop”的论文,即由大型语言模型生成的文本,未经适当的人工审查、验证或质量控制。
该平台宣布了新的纪律政策,旨在让研究人员对其提交的内容的完整性负责。根据这些增强的指导方针,提交论文的作者若有“无可争议的证据”证明他们未能充分审查LLM一代的成果,将面临严重的后果。这些证据包括幻觉引用——对不存在的论文或研究的引用——以及人工智能系统意外留下的元评论,这些评论本应在编辑过程中删除。
据 ArXiv 计算机科学部门主席 Thomas Dietterich 称,提交此类不合格工作的研究人员将被禁止在全年内向该平台上传新论文。这代表了 ArXiv 审核工作的显着升级,并表明了该平台对维护学术标准的承诺。一年的禁令既是对其他可能考虑在学术提交中走捷径的研究人员的惩罚,也是一种威慑。
除了临时禁令之外,ArXiv 还实施了一项额外要求,这将使未来的提交对于屡犯者来说更具挑战性。一旦研究人员在暂停一年后有资格再次提交论文,他们将需要确保任何新提交的论文首先在“信誉良好的同行评审场所”被接受。这一附加要求有效地阻止了研究人员使用 ArXiv 作为发表其作品的主要或唯一场所,迫使他们在预印本平台上分享其研究成果之前在知名期刊上接受严格的同行评审。
这种双重惩罚方法反映了 ArXiv 对人工智能生成的学术内容问题的严肃态度。该平台通过官方声明明确了自己的立场:该组织的行为准则明确规定了作者必须如何对其以其名义发布的内容承担责任。通过在提交的材料上签名,研究人员声称他们已经彻底审查和验证了他们工作的每个要素,从方法到结论再到引用。
此举发生之际,学术界正在努力应对与人工智能相关的前所未有的挑战。随着大型语言模型变得更加复杂和易于访问,一些研究人员已经开始使用它们来生成论文的整个部分,有时不需要足够的人工监督。虽然人工智能工具对于起草初始内容、组织想法,甚至帮助文献综述非常有价值,但它们也可以生成听起来令人信服但完全捏造的信息——这种现象被称为“幻觉”。
<图片src="https://platform.theverge.com/wp-content/uploads/sites/2/2025/05/STKS511_AI_SLOP_C.jpg?quality=90&strip=all&crop=0.95588235294118%2C0%2C98.088235294118%2C100&w=2400" alt="学术研究人员审查人工智能生成的研究论文的准确性和完整性"/>幻觉参考的问题变得尤为严重。法学硕士可能会自信地引用一篇听起来有道理但实际上从未写过的论文,或者将引用归因于从未发表过这些陈述的研究人员。对于毫无戒心的读者来说,这些虚假引用可能会让他们误入歧途,从而污染未来基于欺诈性参考文献的研究。此外,一些研究人员发现人工智能生成的元评论(内部注释或系统提示)不小心留在了提交的论文的最终版本中,这表明作者未能正确审查机器生成的内容。
ArXiv 的执行机制将依赖于社区的警惕和主持人的审查。该平台鼓励其他研究人员标记可疑论文,ArXiv 的审核团队将调查论文包含法学硕士审查不充分证据的说法。考虑到每天提交给 ArXiv 的论文数量(所有科学学科每天都有数千篇论文到达),这是一项艰巨的任务,需要技术解决方案和人类判断。
这项政策的影响超出了个别研究人员的范围。大学、研究机构和资助机构可能需要重新考虑如何评估和激励研究成果。如果研究人员在向主要预印本平台提交人工智能生成的作品时面临有意义的后果,那么维持严格标准的压力将会更大。通过确保研究记录保持可靠和值得信赖,最终可以使整个科学事业受益。
但是,该政策也提出了如何区分人工智能工具的适当使用和不适当的草率的重要问题。许多研究人员合法地使用人工智能写作助手来提高清晰度、语法和组织性。主要区别在于验证和问责制——使用人工智能工具的研究人员应该仔细审查输出,对所有声明进行事实核查,并确保引用准确。 ArXiv 的政策针对的是那些显然没有做过这项验证工作的人,而不是那些使用人工智能作为合法研究工具的人。
该公告得到了学术界的普遍认可,尽管有些人对实施和潜在的误报提出了担忧。版主如何明确证明作者“没有检查”LLM 生成的内容?人工智能生成的文本恰好准确的边缘情况又如何呢? ArXiv 需要制定明确的指导方针,并为其审核团队提供充分的培训,以公平、一致地做出这些决定。
展望未来,这项政策可能会激励其他学术平台和期刊制定自己的有关人工智能生成内容的指南。随着人工智能越来越多地融入研究过程,学术界将需要开发细致入微的方法,以利用人工智能的潜力,同时防范其风险。 ArXiv 的果断行动代表了朝这个方向迈出的重要一步,发出了一个明确的信息:捷径和疏忽会产生真正的后果,并且科学记录的完整性仍然至关重要。
来源: The Verge


