梯度消失问题

在神经网络中，当前面隐藏层的学习速率低于后面隐藏层的学习速率，即随着隐藏层数目的增加，分类准确率反而下降了。这种现象叫做消失的梯度问题。图1是神经网络在训练过程中， 随epoch增加时各种隐藏层的学习率变化。