提升AI可信度：MIT团队开发新工具对抗“幻觉”

符号引用

为了帮助验证，许多 LLM 被设计为生成引用，指向外部文档，并提供语言基础的响应，以便用户进行检查。然而，这些验证系统通常是事后考虑的，并没有考虑到人们在筛选大量引用时所需的努力，Shen 说。

“生成式 AI 的目的是减少用户完成任务所需的时间。如果您需要花费数小时阅读这些文档，以验证模型的说法是否合理，那么在实际应用中生成的内容就不那么有帮助了。”Shen 表示。

研究人员从将要进行验证工作的人的角度来解决这个问题。

SymGen 用户首先向 LLM 提供可以作为参考的数据，例如包含篮球比赛统计信息的表格。然后，研究人员进行一个中间步骤，而不是立即要求模型完成任务，比如从这些数据生成比赛摘要。他们提示模型以符号形式生成响应。

在这个提示下，每当模型希望在响应中引用词汇时，必须写出数据表中包含该信息的具体单元格。例如，如果模型想在响应中引用“波特兰开拓者”这个短语，它将用数据表中包含这些词的单元格名称替换该文本。

“因为我们有这个中间步骤，使文本以符号格式呈现，我们能够实现非常精细的引用。我们可以明确指出，输出中每一段文本具体对应数据中的哪一部分。”Torroba Hennigen 表示。

SymGen 然后使用基于规则的工具解析每个引用，将相应的文本从数据表复制到模型的响应中。

“这样，我们知道它是逐字复制的，因此可以确保与实际数据变量对应的文本部分不会出错。”Shen 补充道。

简化验证

模型能够生成符号响应，是由于其训练方式。大型语言模型接受来自互联网的大量数据，其中一些数据以“占位符格式”记录，代码替代了实际值。

当 SymGen 提示模型生成符号响应时，它使用类似的结构。

“我们以特定的方式设计提示，以发挥 LLM 的能力。”Shen 补充说。

在用户研究中，大多数参与者表示 SymGen 使验证 LLM 生成的文本变得更容易。他们验证模型响应的速度比使用标准方法快约 20%。

然而，SymGen 的效果受源数据质量的限制。LLM 可能引用错误的变量，而人工验证者可能对此毫不知情。

此外，用户必须以结构化格式（如表格）提供源数据，以便输入到 SymGen。目前，该系统仅适用于表格数据。

展望未来，研究人员正在增强 SymGen 的功能，以便处理任意文本和其他数据形式。有了这个能力，它可以帮助验证 AI 生成的法律文件摘要的某些部分。他们还计划与医生一起测试 SymGen，以研究它如何识别 AI 生成的临床摘要中的错误。

这项工作部分由 LiBERTy Mutual 和 MIT 智能探索计划资助。