深度学习下不同参数的意义

        最近在看代码的时候发现了很多参数决定了算法的运行,数量比较多又容易混淆,就放在这里一起总结一下

  • epoch:一个epoch表示过了一遍训练集中的所有样本
  • batch_size:一次迭代所使用的样本量
  • learning_rate:决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值
  • dropout_keep_prob:每个元素被保留的概率,1就是所有元素全部保留的意思,一般在大量数据训练时,为了防止过拟合,添加Dropout层,设置一个0~1之间的小数
  • training_step:表示一次迭代(也叫iteration),每次迭代更新1次网络结构的参数

        如定义10000次迭代为1个epoch,若每次迭代的batch-size设为256,那么1个epoch相当于过了2560000个训练样本。

发表评论

电子邮件地址不会被公开。 必填项已用*标注