OpenAI 希望阻止 AI 产生幻觉和说谎

ChatGPT 可以生成虚假内容，包括错误地暗示联邦检察官性侵犯。

图片：Shutterstock

ChatGPT 背后的公司 OpenAI 周三表示，它正在提高聊天机器人的数学问题解决能力，目标是减少 AI 幻觉。

OpenAI 在一篇帖子中说，“减轻幻觉是构建一致 AGI 的关键一步。”

ChatGPT 的最新版本 GPT-4 于 3 月推出，继续将人工智能推向主流。但生成式 AI 聊天机器人历来在处理事实和吐出虚假信息方面遇到过麻烦——俗称“幻觉”。

AI幻觉是指 AI在没有真实世界数据支持的情况下，产生意想不到的、不真实的结果。AI 幻觉可能是虚假内容、新闻或有关人物、事件或事实的信息。

OpenAI 显著警告用户不要盲目信任 ChatGPT，并提供了一份免责声明，内容为“ChatGPT 可能会产生关于人物、地点或事实的不准确信息。”

虽然 OpenAI 没有引用任何导致幻觉最新研究的具体例子，但最近的两个事件说明了现实世界中的问题。

今年 4 月，美国刑事辩护律师、法学教授乔纳森·特利 (Jonathan Turley ) 声称 ChatGPT 指控他实施性侵犯。更糟糕的是，人工智能编造并引用了华盛顿邮报的一篇文章来证实这一说法。

上周，Mata v. Avianca Airlines案中的律师 Steven A. Schwartz承认在进行研究时“咨询”了聊天机器人作为消息来源。问题？ChatGPT 提供给 Schwartz 的结果都是捏造的。

Schwartz在提交给法庭的宣誓书中写道：“这是宣誓人的错，没有证实 Chat GPT 提供的法律意见的来源，”他补充说，他“非常后悔”利用生成人工智能来补充研究。Schwartz发誓，在没有绝对验证其真实性的情况下，再也不会这样做。

2 月，科技巨头微软向记者展示了Bing的聊天机器人功能，包括收益报告、真空吸尘器规格和旅行计划，结果并不尽如人意。

“令我震惊的是，Bing 团队制作了这个充满不准确信息的预录演示，并自信地向世界展示了它，就好像它是好的一样，”出席活动的人工智能研究员德米特里·布雷顿 (Dmitri Brereton) 在 Substack 上说。“我更震惊的是这个技巧奏效了，每个人都没有做任何尽职调查就跳上了 Bing AI 炒作列车。”

尽管存在这些问题，微软还是对 ChatGPT 下了很大的赌注，在对 OpenAI 投资 130 亿美元后，将这项技术整合到其 Bing 网络浏览器中。

在其研究中，OpenAI 比较了根据最终结果提供反馈的“结果监督”和为思维链中的每个步骤提供反馈的“过程监督”。

OpenAI 说，“我们使用数学测试集中的问题，来评估我们的过程监督和结果监督奖励模型，我们为每个问题生成许多解决方案，然后根据每个奖励模型选择排名最高的解决方案。”

研究小组得出结论，过程监督提供了更好的性能，因为它鼓励模型遵循人类批准的过程，而结果监督通常更难审查。

该公司发布了完整的过程监督数据集以鼓励研究。OpenAI 承认，目前尚不清楚结果将如何超越数学，但表示未来的工作必须探索过程监督在其他领域的影响。

OpenAI 表示，“如果这些结果得到推广，我们可能会发现过程监督为我们提供了两全其美的方法——一种比结果监督更高效、更一致的方法。”