根据万能逼近定理(Universal Approximation Theory),神经网络能以任意精度逼近连续函数。线性函数的线性组合还是线性函数,所以线性函数不能以任意精度逼近连续函数。
训练神经网络时,先随机初始化卷积核参数,把卷积层的结果输入激活函数层,达到某个阈值则激活该神经元,否则设置为0(ReLU),之后进入池化层。把池化层的输出与真值相减,得到损失函数loss,沿着loss的负梯度方向反向传播,更新卷积核参数。
如果没有非线性激活函数的话,多层神经网络和一层神经网络是一样的,都是卷积核的线性组合[1]。
[1]. https://blog.csdn.net/qq_36825778/article/details/102474345