用来解释计算机思维的技术

近年来，人工智能研究中表现最好的系统得益于神经网络，它在训练数据中寻找模式，从而产生有用的预测或分类。例如，神经网络可以被训练来识别数字图像中的某些物体或推断文本的主题。

神经网络是黑盒子。经过训练后，一个网络可能非常擅长分类数据，但即使是它的创造者也不知道为什么。有了视觉数据，有时可以自动化实验，以确定神经网络对哪些视觉特征做出反应。但是文本处理系统往往更不透明。

在计算语言学协会自然语言处理经验方法会议上，来自麻省理工学院计算机科学和人工智能实验室(CSAIL)的研究人员将提出一种训练神经网络的新方法，使它们不仅提供预测和分类，而且为其决策提供基本原理。

“在现实应用中，有时人们真的想知道为什么模型会做出这样的预测，”麻省理工学院电气工程和计算机科学研究生陶磊说，他是这篇新论文的第一作者。“医生不信任机器学习方法的一个主要原因是没有证据。”

雷磊的论文导师、德尔塔电子电气工程和计算机科学教授Regina Barzilay说:“这不仅仅是医学领域。”“在任何领域，做出错误预测的成本都非常高。你需要证明你为什么这么做。”

“这项工作还有一个更广泛的方面，”麻省理工学院电气工程和计算机科学教授、该论文的第三位合著者托米·贾科拉(Tommi Jaakkola)说。“你可能不想只是验证模型以正确的方式做出预测;您可能还想在它应该做出的预测类型方面施加一些影响。一个外行如何与一个用他们一无所知的算法训练过的复杂模型沟通?他们可能会告诉你某个特定预测的基本原理。从这个意义上说，它开辟了一种与模型交流的不同方式。”

虚拟的大脑

之所以叫神经网络，是因为它们模拟大脑的结构。它们由大量的处理节点组成，就像单个神经元一样，只能进行非常简单的计算，但在密集的网络中相互连接。

在一个被称为“深度学习”的过程中，训练数据被馈送到网络的输入节点，输入节点修改训练数据并将其馈送给其他节点，再由其他节点修改训练数据并将其馈送给其他节点，以此类推。然后，存储在网络输出节点中的值与网络试图学习的分类类别相关联——例如图像中的对象，或者一篇文章的主题。

在网络的训练过程中，各个节点执行的操作不断被修改，以在整个训练示例集上产生一致的良好结果。在这个过程的最后，编写网络程序的计算机科学家通常不知道节点的设置是什么。即使他们这样做了，也很难将这些低级信息转换成对系统决策过程的可理解的描述。

在这篇论文中，Lei、Barzilay和Jaakkola专门介绍了在文本数据上训练的神经网络。为了能够解释神经网络的决策，CSAIL的研究人员将网络分为两个模块。第一个模块从训练数据中提取文本片段，并根据其长度和连贯性进行评分:片段越短，从连续单词字符串中提取的内容越多，得分越高。

第一个模块选择的片段然后传递给第二个模块，后者执行预测或分类任务。这些模块一起训练，训练的目标是最大化提取片段的分数和预测或分类的准确性。

研究人员测试他们系统的数据集之一是来自一个网站的一组评论，用户在该网站上评价不同的啤酒。数据集包括评论的原始文本和相应的评级，使用五星系统，对香气、味觉和外观三个属性进行评级。

这些数据吸引自然语言处理研究人员的原因是，这些数据还经过手工注释，以表明评论中的哪些句子对应哪些分数。例如，一篇评论可能由八到九句话组成，注释者可能会突出那些提到啤酒的“大约半英寸厚的棕褐色头部”、“标志性的吉尼斯啤酒气味”和“缺乏碳酸”的句子。每个句子都与不同的属性评级相关。

测试验证

因此，该数据集为CSAIL研究人员的系统提供了一个极好的测试。如果第一个模块提取了这三个短语，第二个模块将它们与正确的评分相关联，那么系统就识别出了与人工注释器相同的判断基础。

在实验中，对于外观和香气的评分，系统与人类注释的一致性分别为96%和95%，对于更模糊的味觉概念，系统与人类注释的一致性为80%。

在论文中，研究人员还报告了在一个由自由形式的技术问题和答案组成的数据库上测试他们的系统，其中的任务是确定给定的问题之前是否已经被回答过。

在未发表的工作中，他们将其应用于数千份关于乳房活检的病理报告，在这些报告中，它学会了提取解释病理学家诊断基础的文本。他们甚至用它来分析乳房x线照片，其中第一个模块提取图像的部分，而不是文本片段。

麻省理工学院

www.mit.edu

-由克里斯·瓦夫拉编辑，制作编辑，控制工程， CFE传媒，cvavra@cfemedia.com．查看更多控制工程大数据和资产管理故事．

您是否具有本内容中提到的主题的经验和专业知识?你应该考虑为我们的CFE媒体编辑团队做出贡献，并获得你和你的公司应得的认可。点击在这里开始这个过程。