最新消息:关注人工智能 AI赋能新媒体运营

ICLR 2026的审稿内容有超过21%完全由AI生成

科技资讯 admin 浏览

在AI兴起之后,有多少论文是由AI生成?又有多少论文审查是由AI执行?2024年创办、专门检测AI内容的Pangram,最近针对提交到2026年国际表征学习会议(International Conference on Learning Representations,ICLR)的论文与审稿内容进行检测,发现,在7万篇审稿内容中,有21%的审稿内容完全由AI生成。

ICLR为全球前三大的AI研究会议之一,ICLR 2026将于2026年4月在巴西里约举行,提交给ICLR的论文是通过OpenReview学术审查平台,代表其论文、审稿意见或作者回复都是公开的。经常投稿ICLR并负责审稿的美国卡内基梅隆大学语言技术研究所教授Graham Neubig,在11月中旬发出50美元的悬赏,号召有志之士针对ICLR论文及审查进行大型语言模型(LLM)的使用检测,而Pangram决定接下这个任务。

ICLR明文制定了LLM使用规范,要求任何使用LLM的行为都必须披露,且作者与审稿人都必须为最终内容负责,不得捏造或误导。作者可以使用LLM协助撰写或研究辅助性质的工作,也可用于拼写与语法检查,但需披露并保证科学内容正确。然而,若审稿人将整篇审稿交由LLM生成,可能违反ICLR的伦理规范,因为这等同未履行自身的审稿责任,也可能造成内容质量低下或不诚实等问题。

Pangram下载了提交至ICLR 2026的1.9万篇论文与7万篇审稿内容,先将论文分段,再利用新模型EditLens逐段判断AI生成比例,将其分为完全人类、轻度AI修改、中度AI修改、重度AI修改,以及完全AI生成等5个等级,发现,在1.9万篇论文中,有61%主要由人类撰写,9%的投稿有超过一半的内容来自AI,以及数百篇几乎完全由AI生成的内容。此外,有些完全由AI生成的内容在初审时便已被ICLR大会淘汰。

至于在7万篇审稿内容中,有超过一半的审稿内容在某种程度上使用了AI,并有21%的审稿内容完全由AI生成。

值得注意的是,在论文中,AI生成内容占比越高,其审稿分数就越低;但在审稿中,大量依赖AI的评论反而会给出高分,这是因为大型模型通常会给出相对正面的逢迎性评价,内容冗长且密度低,还可能乱提意见。