正则化为什么能防止过拟合

正则化防止过拟合的原理?

正则化防止过拟合原理是：任意丢弃神经网络层中的输入，该层可以是数据样本中的输入变量或来自先前层的激活。 它能够模拟具有大量不同网络结构的神经网络，并且反过来使网络中的节点更具有鲁棒性。

正则化项是怎么发挥作用的?

正则化的主要作用是防止过拟合，对模型添加正则化项可以限制模型的复杂度，使得模型在复杂度和性能达到平衡。 常用的正则化方法有L1正则化和L2正则化。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。 L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归。

l1正则化和l2正则化有什么区别，为什么?

L1和L2正则化的目的都是使模型系数尽可能小，从而解决模型的过拟合问题。他们的区别在于，l1正则化限制模型系数的l1范数尽可能小；l2正则化限制模型系数的l2范数尽可能小。即，L1会趋向于产生少量的特征，而其他的特征都是0，而L2会选择更多的特征，这些特征都会接近于0。