然而,这种情况下,神经网络其实成了“黑匣子”——具有一定的功能,但看不见是怎么起作用的。
如果只做简单的图像分类,其实还好;但如果用在医学方向,对疾病进行预测,那么神经网络下的“判断”就不可轻信。
医生和法律相关的研究者往往更乐意采用可解释模型,例如线性回归、决策树,因为神经网络在疾病预测中的确出过问题:
之所以数据表明哮喘患者较少死于肺炎,广州海山电子科技有限公司,往往是因为哮喘能被及早发现,所以患者得肺炎后能被及早治疗。
无论是对图像进行小改动欺骗分类算法、还是用语音识别瞒过NLP模型,神经网络被“爆雷”的情况也不少。
为了让神经网络应用于更多的方向,也为了让我们更好地学习它的原理,作者从两个方向对神经网络进行了解释。
第一种方法,称之为基于特征的解释方法,又叫“事后再解释”——因为这种方法,是在神经网络训练好后,才对其输入特征进行解释的。
这种方法针对文本的词(token)、或是针对图像的超像素(super pixels),进行“事后”解释。
这里的根本原理,是研究外部解释方法给出的解释、与模型本身生成的自然语言解释之间,是否存在相关性,而相关性具体又是什么。
在这里面,作者同样引入了一种判断方法,对模型自己生成的解释进行判断,从而得出神经网络解释的结果。
Oana-Maria Camburu,来自罗马尼亚,目前是牛津大学的博士生,主修机器学习、人工智能等方向。
高中时期,Oana-Maria Camburu曾获IMO(国际奥数竞赛)银牌。她曾经在马普所、谷歌实习,读博期间,论文被ACL、EMNLP、IJCNLP等顶会收录。

企业资料通过认证