MENU

之江风采

展示之江实验室员工风采、园区环境及丰富的实验室活动

“MIND-Net”学习新范式 对抗“深度诅咒” 发布日期:2018-06-27

WeChat 圖片_20180726150311.jpg

WeChat 圖片_20180726150327.jpg

WeChat 圖片_20180726150334.jpg

WeChat 圖片_20180726150403.jpg

WeChat 圖片_20180726150406.jpg

6月27日,“之江讲坛”迎来第五期重量级主讲嘉宾,来自普林斯顿大学的贡三元教授。贡三元教授在人工智能神经网络方面有极高的学术造诣,本次讲座,他为大家带来近几年来他在人工智能神经网络学习领域的最新研究,并提出一种新的学习模式——MIND-net。

在本次讲座中,我主要介绍一种被称为MIND-Net(Monotonically INcrease the Discriminative - Net )的学习模式,它具有一种新的学习范式,可以增加分类网络的判别力(通过DI进行量化)。它提供了一个学习工具,最主要的就是解决深度学习中的“深度诅咒”(the curse of depth)问题。

现有的深度学习网络的成功往往取决于隐藏层之间丰富的非线性变换,然而深度的网络也带来了相应的挑战,比如计算量大以及梯度消失等问题,深度被认为是一种"诅咒"(the curse of depth)。幸运的是已有很多诸如残差网络(ResNet)、高速公路网络(HighwayNet)、稠密网络(DenseNet)等解决方案,可以有效的对抗或减轻这种"诅咒"。正如我们所讨论的,MIND-Net提供了另一种高性价比的解决方案。MIND-Net主要从优化目标和网络结构两方面进行了优化。

在优化目标方面,MIND-Net使用判别信息(Discriminant Information,DI)来替代传统0-1损失或预测准确性等指标。首先,判别信息的计算比传统的指标更高效。此外,在数学上DI等同于或近似于Gauss的LSE,Fisher的FDR和Shannon的互信息。较高的DI意味着较高的线性可分性,即较高的DI意味着数据更易于辨别。事实上,从理论和实证上都可以看出,高DI分数通常意味着高预测准确性。

在网络结构方面MIND-Net 通过全方位监督(OS)这种新概念(或称之为技巧)来完全规避深度问题,即“老师”会在每一层网络进行“指导”,从而来减轻“深度诅咒”。这相当于在没有传播的情况下进行学习。通过利用教导者信息,我们将能够构建一个新的细长的“继承层”来总结前一层积累的所有判别信息。此外,通过横向扩充具有附加随机化节点的继承层以及应用反向传播(BP)学习,对新增强网络的判别力将进一步提高。

在我们的实验中,MIND-Net被应用于人工合成的数据集和真实的数据集,例如,CIFAR-10数据集并基于残差网络(ResNets)的不同层提取特征。总的来讲,实验预测结果比基线算法有所提升并能够支撑我们的理论。

上一条:Andrew Schwartz到访之江实验室 畅想脑机…

下一条:潘云鹤院士“之江讲坛”开讲啦!

该内容仅限
内部人员查看

请登录