大家好,今天小编关注到一个比较有意思的话题,就是关于神经网络过拟合的问题,于是小编就整理了4个相关介绍神经网络过拟合的解答,让我们一起看看吧。
- 神经网络拟合是什么意思?
- 为什么matlab的BP神经网络曲线拟合的时候没问题,预测的时候误差这么大?
- 神经网络多样性的意义何在?既然多层感知机在理论上已经可以拟合任何函数,为什么要有不同的形式?
- 除了神经网络,其他非线性模型能拟合出任意函数吗?
神经网络拟合是什么意思?
神经网络拟合一般是指用计算机 模拟 人脑的结构,用许多小的处理单元模拟生物的神经元,用算法实现人脑的识别、记忆、思考过程。应用于图像、语言、声音等的识别,复杂的计算,以及趋势预测等领域。
神经网络拟合一般指神经网络中的算法拟合,比如BP神经网络。
为什么matlab的BP神经网络曲线拟合的时候没问题,预测的时候误差这么大?
一方面,如果你的网络层选的神经元的个数和层数不合适,就会导致这种结果;
另一方面,如果你的训练样本选择的不合适,或者数据表达的太快,也会导致这种问题。
神经网络多样性的意义何在?既然多层感知机在理论上已经可以拟合任何函数,为什么要有不同的形式?
首先,理论是理论,理论成立的东西实践中不一定好用。比如感知机,虽然理论上能拟合任何函数,但会因为输入神经元数的多少,输入向量的大小,关联程度等而影响其拟合能力。在遇到类似问题时,简单的可以归一降维等处理,复杂的就需要与遗传算法等结合才能达到效果。而对于神经网络本身的处理,如对神经元进行灰化,衍生出灰色神经网络等其他类型的神经网络则能很轻松的处理这种问题。
其次,不同神经网络有差异,从大的分类,比如HopField神经网络是优化算法,和遗传算法功能一样。从小了分类,感知机和Bp神经网络都是拟合神经网络,但他们还是有差异的。感知机在分类时,他的界限只能是凸边,但bp神经网络也可以是任意形状的界限。
兄弟,如果你要真想学神经网络,建议你多去网上看看211学校的硕士博士毕设。一般的小论文要么质量差,要么你看不懂,书本理论也太深。还是硕士博士论文是个新手学习。
除了神经网络,其他非线性模型能拟合出任意函数吗?
神经网络已知可以拟合任意函数
其实,所谓神经网络能逼近任意函数,这里的函数也不是毫无限制的。Balázs Csanád Csáji在2001年提出了Universal approximation theorem(一般逼近定理),指出具有一个包含有限神经元(多层感知器,MLP)的隐藏层的前馈网络,可以逼近欧几里得空间(R^n)紧致子集(compact subset)上的连续函数。
那么其他的模型呢?
而其他非线性模型未必可以像神经网络一样具备逼近任意连续函数的能力。
比如最常用的树模型
就拿决策树来说吧,最近的一项成果是2013年IBM研究院的Vitaly Feldman等提出的低秩决策树(Low-rank Decision Tree)可以逼近次模函数(Submodular Function)。(Representation, Approximation and Learning of Submodular Functions Using Low-rank Decision Trees,arXiv:1304.0730)。
另外,可以逼近,只是理论上的。理论上能够逼近,和实际应用中,模型能够高效地学习数据,解决手头的问题,其实是两回事。
到此,以上就是小编对于神经网络过拟合的问题就介绍到这了,希望介绍关于神经网络过拟合的4点解答对大家有用。