首页科技快讯 OpenAI开发反作弊工具，用AI写论文可被检测

OpenAI开发反作弊工具，用AI写论文可被检测

来源：晰数塔互联网快讯时间：2024年08月05日 18:22

OpenAI开发反作弊工具，用AI写论文可被检测。

OpenAI开发了一种检测某人何时使用ChatGPT撰写论文的工具，不过由于在透明度承诺和留住用户之间摇摆不定，OpenAI尚未发布该工具。

据《华尔街日报》当地时间8月4日报道，反作弊项目在OpenAI内部争论了大约两年，准备发布的时间就有大约为一年。 OpenAI首席执行官山姆·奥特曼（Sam Altman）和首席技术官米拉·穆拉蒂（Mira Murati）都参与了反作弊工具的讨论。知情人士说，奥特曼鼓励这个项目，但没有推动发布。

OpenAI内部在透明度承诺和留住用户之间摇摆不定，它对ChatGPT用户开展的一项调查发现，近1/3的用户会因为反作弊技术而关闭服务，这些受访者表示，如果ChatGPT使用反作弊技术而竞争对手没有，他们会减少使用ChatGPT。

OpenAI发言人表示，公司担心该工具可能会对非英语母语者等群体产生不成比例的影响。“我们正在开发的文本水印方法在技术上很有前景，但在研究替代方案时我们正在权衡重要的风险。”而支持该工具发布的员工则在公司内部表示，与这种技术可能带来的好处相比，这些争论显得苍白无力。

ChatGPT可以预测句子中接下来会出现的token，OpenAI的反作弊工具将略微改变token的选择方式，这些变化会留下水印。这些水印对人眼来说是不明显的，但可以被OpenAI的检测技术发现。根据内部文件，当ChatGPT创建足够多的新文本时，水印的有效性为99.9%。OpenAI今年早些时候进行的一项测试发现，水印技术不会影响ChatGPT的性能。

但一位熟悉此事的OpenAI员工表示，员工们担心水印可通过简单的技术被删除，比如把文本翻译成另一种语言然后再转换回来，或者让ChatGPT在文本中添加表情符号，然后手动删除表情。

OpenAI内部普遍认为，决定谁可以使用这种检测器又是一个挑战。如果拥有权限的人太少，这个工具就没有用处。如果太多人拥有权限，水印技术就可能被破译。OpenAI的员工已经讨论过直接向教育工作者或外部公司提供检测器，帮助学校识别人工智能撰写的论文和抄袭作品。

关于水印工具的讨论始于OpenAI在2022年11月推出ChatGPT之前。2023年1月，OpenAI发布了一种算法，旨在检测人工智能模型编写的文本。但当时的成功率只有26%，7个月后OpenAI取消了它。据《华尔街日报》报道，实际上，外部公司和研究人员也在开发其他工具来检测由人工智能创建的文本，有教师已经使用了这些工具，但有时无法检测到高级大模型编写的文本，有时也会产生误报。

发布于：北京