本文目录一览：
机器学习中用来防止过拟合的方法有哪些?
1、一般有以下方法：从数据源头采集更多数据；复制原有数据并加上随机噪声；重采样；根据当前数据集估计数据分布参数，使用该分布产生更多数据等。
2、类似的方法对深度神经网络而言有Random Dropout，训练的过程中每次都随机遮蔽一些神经元（比如用Binomial随机出1或者0 ，概率为p），保证实际测试的时候，网络的输出类似于训练时随机遮蔽过后的不同的神经网络的平均。
3、为了防止overfitting，可以用的方法有很多，下文就将以此展开。
4、这种情况下训练出的方程总是能很好的拟合训练数据，也就是说，我们的代价函数可能非常接近于 0 或者就为 0。但是，这样的曲线千方百计的去拟合训练数据，这样会导致它无法泛化到新的数据样本中，以至于无法预测新样本价格。
怎样消除机器学习中的过度拟合
1、就结果而言也可以缓解过拟合。还有提早终止训练的。不过更普遍的方法一般都是归一化，用L2或者L1来压制模型本身的复杂度。参考“Structural Risk Minimization”。
2、一般有以下方法：从数据源头采集更多数据；复制原有数据并加上随机噪声；重采样；根据当前数据集估计数据分布参数，使用该分布产生更多数据等。
3、过度拟合的问题通常发生在变量（特征）过多的时候。这种情况下训练出的方程总是能很好的拟合训练数据，也就是说，我们的代价函数可能非常接近于 0 或者就为 0。
4、尝试增加正则化程度λ(该方法适用于过拟合现象时，解决高方差)； 上面的方法不是随机选择，是在合适的情况下(过拟合和欠拟合)选择合适的方法，对于怎么判断一个模型是过拟合还是欠拟合，我们会在下面给出一些机器学习诊断法。
5、综上所述，欠拟合是算法所训练的模型不能完整表述数据关系，而过拟合是算法训练的模型过多地表达了数据间的关系（往往是把噪音当成了特征，是噪音间的关系）。而我们需要寻找的是泛化能力最好的模型。
过拟合及解决方案
简化模型参数过度拟合有什么解决办法：减少模型的参数数目过度拟合有什么解决办法，可以让模型更加简单，缓解过拟合问题。可以通过手动减少模型特征的方法，也可以通过自动化选择特征的方法来实现。
Bagging 简单理解，就是分段函数的概念：用不同的模型拟合不同部分的训练集。以随机森林（Rand Forests）为例，就是训练过度拟合有什么解决办法了一堆互不关联的决策树。
为防止过拟合，除了正则化和Dropout还可以对样本数据做增强。一般对train集合做数据增强，对valid或test不做数据增强。当模型效果不好时，可以对test做多次，比如10次数据扩增，最后做平均。－－这点不是特别理解。
针对BP神经网络回归过拟合问题，建议尝试使用L1正则化和dropout方法来解决。如果需要进行特征选择，则可以使用L1正则化。如果需要提高网络的泛化能力，则可以使用dropout方法。
但是却十分光滑，可是当过度拟合有什么解决办法我们过度解读（over-fitting）之后， 往往造成这种概念和高维曲面具有过多细节，形状不够柔和。“危害”：女神冲我微笑了--->过度拟合有什么解决办法；女神喜欢我。过拟合是无法完全避免的 ，但是可以通过一些方法减少过拟合。
bp神经网络回归过拟合,如何处理?用L1正则化还是dropout?
1、针对BP神经网络回归过拟合问题，建议尝试使用L1正则化和dropout方法来解决。如果需要进行特征选择，则可以使用L1正则化。如果需要提高网络的泛化能力，则可以使用dropout方法。
2、增大数据量 2early stoping 通过在模型的训练的过程中同时通过验证集测试模型的准确率，如果模型在测试集上效果上升但是验证集上的效果下降就停止训练，防止过拟合。
3、）正则化方法： 一般有L1正则与L2正则等 4）Dropout： 正则是通过在代价函数后面加上正则项来防止模型过拟合的。
