专治AI偏见，MIT新技术让数据处理更公平

机器学习模型在进行预测时，可能会出现偏差，尤其是在数据集中某些群体的代表性不足的情况下。

举个例子，一个用于预测慢性病患者最佳治疗方案的模型，可能是在一个主要包含男性患者的数据集上训练的，当这个模型被应用到医院时，它可能会对女性患者做出不准确的预测。

为了改善预测结果，工程师通常会通过移除一些数据点来平衡训练数据集，直到所有子群体的代表性相对均衡。虽然这种数据集平衡方法有潜力，但它通常需要删除大量的数据，这可能会影响模型的整体表现。

近期，MIT 的研究人员开发了一种新技术，能够识别并移除那些对模型在少数群体中表现不佳贡献最大的训练样本。与其他方法相比，这项技术只需删除较少的数据点就能保持模型的整体准确性，并且在少数群体中的表现得到显著改善。

此外，这项技术还能够识别训练数据中潜在的偏差来源，尤其是在没有标签的数据集上。毕竟，在很多应用场景中，无标签数据比有标签数据更为常见。

这项方法还可以与其他技术结合，进一步提升机器学习模型在高风险情境下的公平性。例如，它有助于确保由于偏见而产生的人工智能模型不会误诊少数群体患者。

“许多试图解决这一问题的算法假设每个数据点的重要性是相同的。但在这篇论文中，我们证明了这一假设并不成立。数据集中确实存在一些特定的数据点，它们是导致偏见的关键，我们可以识别并移除这些数据点，从而提高模型表现。”该技术的共同作者、MIT 电气工程与计算机科学研究生 Kimia Hamidieh 表示。

她与共同作者、电气工程与计算机科学研究生 Saachi Jain、Kristian Georgiev，以及斯坦福大学斯坦因研究院、电气工程与计算机科学副教授 Marzyeh Ghassemi 和 MIT Cadence Design Systems 教授 Aleksander Madry 共同撰写了这篇论文。这项研究成果将于神经信息处理系统会议上展示。

移除不良样本

通常来说，机器学习模型是基于从互联网上多个来源收集的大型数据集进行训练的。这些数据集规模庞大，难以逐一筛选，因此可能包含一些不良样本，这些样本会影响模型的表现。

科学家们也发现，某些数据点对模型在特定任务中的表现有着更大的影响。

MIT 的研究人员将这两种思路结合并提出了一种方法，能够识别并移除这些有问题的数据点。他们旨在解决一个叫做“最差群体误差”的问题，这种误差发生在模型在处理数据集中少数群体时表现不佳。

该技术基于他们此前的研究成果，其中提出了一种名为 TRAK 的方法，能够识别对特定模型输出最重要的训练样本。

在这项新技术中，研究人员通过分析模型对少数群体的错误预测，利用 TRAK 识别出哪些训练样本对这些错误预测贡献最大。

“通过正确地总结错误预测的信息，我们能够找出训练数据中那些导致最差群体准确率下降的具体部分。”Andrew Ilyas 解释道。

接着，他们移除这些特定的样本，并用剩余的数据重新训练模型。

由于更多数据通常会带来更好的整体表现，移除那些仅仅导致最差群体失败的样本，能够在保持模型整体准确性的同时，提升模型在少数群体上的表现。

更易于访问的方法

在三个机器学习数据集的实验中，MIT 研究人员提出的方法表现优于多种现有技术。在一个实例中，使用这种方法提升了最差群体的准确性，同时相比传统的数据平衡方法，减少了约 2 万个训练样本的移除。此外，该方法还在准确性上超越了那些需要修改模型内部结构的技术。

由于 MIT 的方法主要通过改变数据集来实现，因此它更容易被实践者应用，且可以适用于多种类型的模型。

该方法还可用于在训练数据集中的子群体未标注时进行偏差检测。通过识别对模型学习特征贡献最大的样本，研究人员能够了解模型在做出预测时所依赖的变量。

“这是一个任何人在训练机器学习模型时都可以使用的工具。通过查看这些数据点，使用者可以判断它们是否符合自己希望模型学习的目标。”Hamidieh 说道。

然而，利用该技术来检测未知子群体偏差需要对目标群体有一定的直觉，因此研究人员希望通过未来的实地研究来验证并进一步探索这一方法。

他们还计划提升该技术的性能和可靠性，确保它能够便捷地为实际环境中的实践者所用。

“当你拥有能够批判性地审视数据并识别可能导致偏见或其他不良行为的数据点的工具时，这就是构建更公平、更可靠模型的第一步。”Ilyas 表示。

该研究部分得到了美国国家科学基金会和美国国防高级研究计划局的资助。

原文链接：

https://news.mit.edu/2024/researchers-reduce-bias-ai-models-while-preserving-improving-accuracy-1211

发布于：北京

相关推荐

专治AI偏见，MIT新技术让数据处理更公平
从性别歧视到招聘不公，如何让AI公平待人？
如果奥运会的裁判都是 AI，会更公平吗？
纠正算法的偏见，究竟是要与机器斗还是与人斗？
能直接换声的 AI、高空坠落机器人、专治 “马路杀手” 的软件...伯克利正在孵化些什么企业？
MIT校长对话奥特曼：GPT-5或将数据与推理引擎分离
近亿级的AI数据集被下架，MIT道歉，因涉嫌种族歧视？
专治大公司病，纳德拉给微软开出什么“药方”？
在交友App“右滑”了一个人，你就真的喜欢这个人吗？
人工智能秘史（五）：诞生于1980年代的算法偏见

网址: 专治AI偏见，MIT新技术让数据处理更公平 http://www.xishuta.com/newsview130581.html