Network in Network （nin）论文解读 作者：马育民 • 2020-05-17 13:55 • 阅读：10225 论文下载：https://arxiv.org/abs/1312.4400 本站：https://www.malaoshi.top/show_1EF5XPh0N0a9.html # 介绍 论文主要讲了2个部分： 1. MLP 的好处 2. Global Average Pooling（GAP）的好处 # MLP ### 传统CNN的缺点 传统的CNN都是 convolution + activation function 来提取特征，如下： [](https://www.malaoshi.top/upload/0/0/1EF5XPSCTsPT.png) > Linear convolution layer 其中convolution可以看做是广义线性模型（generalized linear model，GLM），也就是说：传统的CNN假设特征是线性可分的，但实际上特征是非线性的。 ### 解决缺点的关键-MLP 为了解决此问题，引入多层感知器呢（multilayer perceptron，MLP），如下： [](https://www.malaoshi.top/upload/0/0/1EF5XPSOWY9W.png) > Mlpconv layer 即：conv+activation+conv(1x1)+activation+conv(1x1)+activation ### CCCP 在多通道中，称之为：cascaded cross channel parameteric pooling，CCCP，也就是说：一般在网络中使用的是 CCCP [](https://www.malaoshi.top/upload/0/0/1EF5XPWjG35i.png) ### 1×1卷积的作用 `1x1`的卷积核与多个feature map的做卷积运算，可以实现feature map在通道个数上的变化。接在普通的卷积层的后面，配合激活函数，就可以实现network in network的结构了 ### Network In Network（NIN） NIN的整体结构是多个mlpconv层的堆叠。被称为“Network In Network”（NIN） # GAP 全连接层容易过度拟合，并且严重依赖dropout GAP本身就是正则化，防止过拟合。 # caffe网络结构数据 http://ethereon.github.io/netscope/#/preset/nin |Layer|channels|Filter size|Filter stride|Padding size|Input size| | ------------ | ------------ | ------------ | ------------ | ------------ | ------------ | |conv1|96|11|4|-|224×224| |cccp1|96|1|1|-|54×54| |cccp2|96|1|1|-|54×54| |pool1|96|3|2|-|54×54| |conv2|256|5|1|2|27×27| |cccp3|256|1|1|-|27×27| |cccp4|256|1|1|-|27×27| |pool2|256|3|2|-|27×27| |conv3|384|3|1|1|13×13| |cccp5|384|1|1|-|13×13| |cccp6|384|1|1|-|13×13| |pool3|384|3|2|-|13×13| |conv4-1024|1024|3|1|1|6×6| |cccp7-1024|1024|1|1|-|6×6| |cccp8-1000|1000|1|1|-|6×6| |pool4-ave|1000|6|1|-|6×6| |accuracy|1000|-|-|-|1×1| https://blog.csdn.net/shwan_ma/article/details/78489449 https://blog.csdn.net/mounty_fsc/article/details/51746111?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase 原文出处：http://www.malaoshi.top/show_1EF5XVktaKkd.html