arXiv 打击人工智能生成的内容

物理预印本服务器 arXiv 宣布对提交人工智能生成的幻觉进行严格处罚,包括一年禁令和强制性同行评审要求。
人工智能生成的内容日益渗透到学术出版领域,给科学界带来了重大挑战。人工智能生成的材料在同行评审文献中的激增引起了全球研究人员和期刊编辑的警惕。从捏造的引文和未经编辑的聊天机器人响应到令人困惑的图表和无意义的数字,这些有问题的内容经常逃脱甚至经验丰富的编辑和同行评审员的监督。那些提交此类有缺陷材料的人的后果往往仍然不明朗,使得科学界对执行机制和问责标准不确定。
为了解决这一日益严重的问题,物理和天文学预印本服务器 arXiv 宣布了全面的政策,以打击人工智能生成的幻觉和低质量内容提交。根据该组织知名人士托马斯·迪特里奇(Thomas Dietterich)在社交媒体上分享的信息,该平台将对提交不当的人工智能制作材料实施严格处罚。这些处罚包括平台禁令一年,以及永久要求未来提交的内容在 arXiv 同意托管之前必须经过同行评审。这是针对科学出版领域人工智能生成内容危机的首批主要机构回应之一。
鉴于 Thomas Dietterich 在 arXiv 组织结构中的突出地位,他为这一声明带来了极大的可信度。作为俄勒冈州立大学的名誉教授,Dietterich 是 arXiv 颇具影响力的编辑顾问委员会成员,该委员会负责制定该平台的战略方向和政策。此外,他还积极参与该组织的审核团队,负责审核提交内容并执行内容标准。这种双重角色使他处于一个理想的位置,可以理解和阐明组织有关人工智能生成内容的政策。他的声明具有机构权威的分量,尽管 arXiv 领导层在报告时尚未对这些政策提供正式确认。
实施这些严格措施的决定反映了科学出版中人工智能内容质量不断升级的危机。人工智能生成的有问题的材料的显着实例引起了公众的关注,并引起了科学界的严重关注。一个特别引人注目的例子是一篇同行评审文章中由人工智能生成的奇怪的老鼠插图,该插图具有解剖学上不可能的和令人反感的特征。此类事件促使研究人员质疑当前的同行评审系统是否足以发现人工智能产生的错误和捏造。已发表的研究中越来越多的证据表明人工智能相关问题,迫切需要制定全面的政策来保护科学完整性。
与许多传统期刊相比,arXiv 的方法表现出了积极主动的立场,这些期刊一直在努力建立有关人工智能生成内容的明确指导方针和执行机制。通过在内容到达同行评审之前实施处罚,预印本服务器试图解决提交阶段的问题。这种预防策略将责任转移给作者,并表明平台有责任筛选有问题的内容,而不是仅仅依赖出版后的更正。一年的禁令起到了重要的威慑作用,因为研究人员严重依赖预印本服务器来快速传播他们的工作并确定发现的优先顺序。
违规后永久要求进行同行评审是一种特别严重的长期惩罚。这项措施承认预印本出版的速度和便利性使这些平台对研究的快速传播具有吸引力。通过要求未来的同行评审,arXiv 有效地消除了这些提交者以前享有的关键优势之一。这种双重惩罚方法——立即暂停与持久限制——强烈激励作者在提交之前仔细审查他们的作品并确保其符合质量标准。该政策表明 arXiv 认真对待科学诚信并愿意承担后果。
这些政策的实施引发了关于 arXiv 和其他科学平台如何检测人工智能生成的内容并区分有问题的人工智能使用和该技术的合法应用的重要问题。一些研究人员适当地使用人工智能工具来协助写作、数据分析和研究支持,而不会产生幻觉或捏造。区分这些合法用途和有问题的提交内容需要复杂的审核方法。该平台需要制定明确的标准
来源: Ars Technica


