解锁AI：（03）ZF-Net是什么？

yeslab官方 · 发表于 2019-9-29 16:55:21

原创： YESLAB-AI课程老师曹鑫磊
往期回顾
01 解锁AI：计算机视觉任务
02 遇见Alex Net

   在前文中，我们了解了Alex-Net，它的出现让深度卷积网络变得流行起来的。当然这是2012年的事情，但这种热度至今都未消退，2013年就有人在Alex-Net的基础上进行了改进，使用改进后的网络拿下了ILSVRC比赛的冠军。作者是纽约大学的两个人，Matthew D. Zeiler 和 Rob Fergus，他们也给自己的创作起了个跟两人姓名相关的名称 ZF-Net。然而他们的成就不仅仅是拿到了比赛冠军，论文中更多的篇幅则是用来描述他们如何对Alex-Net这样的卷积网络进行可视化。

   Visualization with a Deconvnet

   论文这一部分描述了可视化卷积网络的一些主要技术，因为我们在正常使用神经网络时，输入空间为图像的像素数据，输出空间可以是标签。对于多层卷积神经网络来说，卷积层的输出则称为特征图，这种特征图是人类无法观看的高维数据，如何将其变更为可以展示给人类的可视图像就是这一部分的主题。本文通过一些技术就实现了卷积网络中池化、滤波的逆向算法，也即反卷积，虽然大多数学者会认为本文的做法并不是真正的反卷积（像反池化这种操作是无法实现的），但本文确实满足了可视化卷积网络的需求，可用的技术就是好技术。

简而言之，卷积网络训练时，记录最大值的池化位置，反池化就可以直接填写该最大值，其余位置填0；反卷积过程也采用relu激活；对于卷积滤波过程则使用原卷积核的转秩与特征图进行运算。通过上述三个技术要点就可以完成反卷积操作，可视化效果如下图所示，当然ZF-Net通过可视化的研究，修正了Alex-Net的一些问题，最终形成了自己的模型。