搭建神经网络和搭建模型的步骤 如何更好地调试神经网络?

[更新]
·
·
分类:互联网
1129 阅读

搭建神经网络和搭建模型的步骤

如何更好地调试神经网络?

如何更好地调试神经网络?

神经网络的调试不同于程序的调试
因为它的错误类型不会是运行错误
很多时候的错误是网络难以收敛
但是对于经验丰富的人来说,这反而更好处理,不需要一行一行查看代码。
比如说很早就出现了NAN,这个时候的问题在于我们的学习率过高,将当前学习率调至三分之一重新训练,如果不行,继续调小。
或者遇到网络不再学习的问题。这个时候可能出现了过拟合,我们需要减少样本数量,如果依旧过拟合,那就需要确认样本和标签是否对应。
调参作为训练神经网络最重要也是最常见的一步。初始的权值很重要,稍微大一点的幅度会稍微好一些,但是太大又会引起NAN问题,所以得把握好尺度,还有就是在训练结束之前尝试减小学习率,看是否能对效果带来提升。
总结一下
调试神经网络总体而言要比常规程序花费的精力更多,因为它常常会因为各个方面的因素而使得网络的最终效果不好,所以需要慢慢摸索,慢慢熟悉,从而在出现问题的时候能知道是什么导致的。
以上观点若有不足,还请指教

脉冲神经网络和人工神经网络的区别?

脉冲神经网络是源于生物启发的新一代人工神经网络模型,属于深度学习的子集,且具有较强的生物基础支撑,动态神经网络中的神经元不是在每一次迭代传播中都被激活,而是在它的膜电位达到某一个特定值才被激活。
人工神经网络是以数学模型模拟神经元活动,是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。
它不需要知道输入输出之间的确切关系,只需要知道引起输出变化的非恒定因素。
因此与传统的数据处理方法相比,神经网络技术在处理模糊数据,随机性数据,非线性数据方面具有明显优势,对规模大,结构复杂,信息不明确的系统尤为适用。