网络修剪可以使深度学习模型倾斜
北卡罗莱纳州立大学的研究人员发现，网络修剪会对模型在识别某些群体时的表现产生不利影响。
深度学习见解
- 深度学习是一种人工智能(AI)，可以对图像、文本或声音等事物进行分类，并且在许多不同领域的优先级正在增长。
- 虽然深度学习有很大的潜力，但它需要大量的计算能力才能运行。
- 北卡罗莱纳州的研究人员发现，网络修剪会对深度学习模型产生不利影响，并损害它们的操作能力。
计算机科学研究人员已经证明，一种被广泛使用的称为神经网络修剪的技术会对深度学习模型的性能产生不利影响，详细说明了导致这些性能问题的原因，并演示了一种解决挑战的技术。
深度学习是一种人工智能(AI)，可用于对图像、文本或声音等事物进行分类。例如，它可以用来根据面部图像来识别个人。然而，深度学习模型通常需要大量的计算资源来运行。当将深度学习模型应用于某些应用时，这就带来了挑战。
为了应对这些挑战，一些系统采用了“神经网络修剪”。这有效地使深度学习模型更加紧凑，因此能够在使用更少的计算资源的情况下运行。
“然而，我们的研究表明，这种网络修剪会削弱深度学习模型识别某些群体的能力，”北卡罗莱纳州立大学(North Carolina State University)计算机科学助理教授、该研究论文的合著者Jung-Eun Kim说。
“例如，如果一个安全系统使用深度学习来扫描人们的面部，以确定他们是否有权进入建筑物，那么深度学习模型必须紧凑，以便有效运行。这在大多数情况下都可以正常工作，但网络修剪也可能影响深度学习模型识别某些人脸的能力。”
网络剪枝如何损害深度学习模型
在他们的新论文中，研究人员阐述了为什么网络修剪会对模型在识别某些群体(文献称为“少数群体”)时的表现产生不利影响，并展示了一种解决这些挑战的新技术。
两个因素解释了网络修剪如何影响深度学习模型的性能。
用技术术语来说，这两个因素是:群体间梯度范数的差异;以及与群体数据不准确相关的黑森规范的差异。实际上，这意味着深度学习模型在识别特定类别的图像、声音或文本时可能会变得不那么准确。具体来说，网络剪枝可以放大模型中已经存在的准确性不足。
例如，如果一个深度学习模型被训练为使用包含100个白人和60个亚洲人的面孔的数据集来识别面孔，那么它在识别白人面孔方面可能更准确，但在识别亚洲面孔方面仍然可以达到足够的性能。经过网络剪枝后，模型更有可能无法识别一些亚洲面孔。
Kim说:“在原始模型中，这种缺陷可能并不明显，但由于网络修剪放大了它，这种缺陷可能会变得明显。”“为了缓解这个问题，我们展示了一种方法，使用数学技术来平衡深度学习模型用于对数据样本进行分类的组。换句话说，我们正在使用算法来解决不同群体之间的准确性差距。”
在测试中，研究人员证明，使用他们的缓解技术提高了经历网络修剪的深度学习模型的公平性，基本上使其恢复到修剪前的准确性水平。
Kim说:“我认为这项工作最重要的方面是，我们现在对网络修剪如何影响深度学习模型识别少数群体的性能有了更全面的了解，无论是在理论上还是在经验上。”
您是否具有本内容中提到的主题的经验和专业知识?你应该考虑为我们的CFE媒体编辑团队做出贡献，并获得你和你的公司应得的认可。点击在这里开始这个过程。
