高效技术提高了机器学习模型的可靠性

强大的机器学习模型正被用来帮助人们解决棘手的问题，例如在医学图像中识别疾病或为自动驾驶汽车检测道路障碍物。但机器学习模型可能会出错，因此在高风险环境中，人类知道何时信任模型的预测至关重要。

不确定性量化是提高模型可靠性的一种工具;该模型会产生一个分数以及表示预测正确的置信度的预测。虽然不确定性量化可能很有用，但现有方法通常需要重新训练整个模型才能赋予它这种能力。训练涉及向模型展示数百万个示例，以便它可以学习一项任务。然后再训练需要数以百万计的新数据输入，这可能是昂贵且难以获得的，并且还会使用大量的计算资源。

麻省理工学院和MIT-IBM沃森人工智能实验室的研究人员现已开发出一种技术，使模型能够执行更有效的不确定性量化，同时使用比其他方法少得多的计算资源，并且不需要额外的数据。他们的技术不需要用户重新训练或修改模型，对于许多应用程序来说足够灵活。

该技术涉及创建一个更简单的伴随模型，以协助原始机器学习模型估计不确定性。这个较小的模型旨在识别不同类型的不确定性，这可以帮助研究人员深入研究不准确预测的根本原因。

“不确定性量化对于机器学习模型的开发人员和用户来说都是必不可少的。开发人员可以利用不确定性测量来帮助开发更强大的模型，而对于用户来说，它可以在现实世界中部署模型时增加另一层信任和可靠性。我们的这项工作为不确定性量化提供了一种更灵活、更实用的解决方案，”电气工程和计算机科学研究生、该技术论文的主要作者沉茂豪说。

Shen与YuhengBu共同撰写了这篇论文，YuhengBu是电子研究实验室(RLE)的前博士后，现在是佛罗里达大学的助理教授;麻省理工学院-IBM沃森人工智能实验室的研究人员PrasannaSattigeri、SoumyaGhosh和SubhroDas;资深作者格雷戈里·沃内尔(GregoryWornell)是住友商事工程学教授，负责领导信号、信息和算法实验室RLE，并且是麻省理工学院-IBM沃森人工智能实验室的成员。该研究将在AAAI人工智能会议上发表，该论文可在arXiv预印本服务器上获取。

量化不确定性

在不确定性量化中，机器学习模型会为每个输出生成一个数值分数，以反映其对该预测准确性的信心。通过从头构建新模型或重新训练现有模型来纳入不确定性量化通常需要大量数据和昂贵的计算，这通常是不切实际的。更重要的是，现有方法有时会产生降低模型预测质量的意外后果。

麻省理工学院和麻省理工学院-IBM沃森人工智能实验室的研究人员因此将注意力集中在以下问题上：给定一个预训练模型，他们如何使其能够执行有效的不确定性量化?

他们通过创建一个更小、更简单的模型(称为元模型)来解决这个问题，该模型附加到更大的预训练模型，并使用更大的模型已经学会的特征来帮助它进行不确定性量化评估。

“元模型可以应用于任何预训练模型。最好能够访问模型的内部结构，因为我们可以获得更多关于基础模型的信息，但如果你只有最终输出，它也可以工作。它仍然可以预测置信度分数，”Sattigeri说。

他们设计元模型以使用包括两种类型不确定性的技术产生不确定性量化输出：数据不确定性和模型不确定性。数据不确定性是由损坏的数据或不准确的标签引起的，只能通过修复数据集或收集新数据来减少。在模型不确定性中，模型不确定如何解释新观察到的数据，并可能做出错误的预测，这很可能是因为它没有看到足够多的相似训练示例。在部署模型时，这个问题是一个特别具有挑战性但很常见的问题。在现实世界中，他们经常遇到与训练数据集不同的数据。

“当你在新环境中使用该模型时，你的决定的可靠性是否发生了变化?你需要某种方式来确定它是否适用于这种新制度，或者你是否需要为这种特定的新环境收集训练数据，”Wornell说。

验证量化

一旦模型产生了不确定性量化分数，用户仍然需要确保分数本身是准确的。研究人员通常通过创建一个较小的数据集来验证准确性，该数据集是从原始训练数据中提取出来的，然后在提取的数据上测试模型。然而，这种技术在测量不确定性量化方面效果不佳，因为该模型可以实现良好的预测精度，同时仍然过于自信，Shen说。

他们通过向验证集中的数据添加噪声创建了一种新的验证技术——这种噪声数据更像是可能导致模型不确定性的分布外数据。研究人员使用这个嘈杂的数据集来评估不确定性量化。

他们通过查看元模型如何为各种下游任务捕获不同类型的不确定性来测试他们的方法，包括分布外检测和错误分类检测。他们的方法不仅在每个下游任务中优于所有基线，而且实现这些结果所需的训练时间更少。

这项技术可以帮助研究人员启用更多机器学习模型来有效地执行不确定性量化，最终帮助用户更好地决定何时相信预测。

展望未来，研究人员希望将他们的技术应用于更新的模型类别，例如具有与传统神经网络不同结构的大型语言模型，Shen说。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！