sklearn里learning_rate什么意思?

  统计/机器学习 监督式学习 Python    浏览次数:9867        分享
2
在sklearn里很多模块都看到learning_rate,这个学习率是什么意思?
 

机器小白   2017-04-15 15:15



   2个回答 
7

learning rate,学习率,顾名思义就是模型学习训练集的速度,或者说模型被训练的速度。

learning rate越大,训练得越快;反之,越慢。

learning rate通常是针对于基于梯度下降的机器学习模型,具体说来这个学习率就是梯度下降的步长。对于凸优化,一般说来步长越小收敛越慢;对于非凸问题,learning rate就不是那么直截了当的了。选太小了,训练太慢,影响这个模型的进度,选太大了,可能一步跨过去,错过了最优点。

现在有很多模型能够根据数据的特点自动选择学习率。如果你要手动设置的话,根据我个人的经验0.00001到0.1的范围比较常见,有时候你甚至需要通过交叉验证来最后确定学习率。

SofaSofa数据科学社区DS面试题库 DS面经

高代兄   2017-04-16 04:24

1

就是梯度下降里的步长

仅此而已


SofaSofa数据科学社区DS面试题库 DS面经

waccam   2017-10-23 14:58



  相关讨论

sklearn predict的默认阈值

sklearn里的LabelEncoder什么用?

sklearn.linear_model.SGDClassifier中的参数n_iter设置问题

GradientBoostingClassifier的每次输出结果不同

请问在sklearn怎么在已有的模型的基础上训练新的数据?

python里怎么安装CatBoostClassifier?

sklearn SGDClassifier的partial_fit是什么意思?

CatBoostClassifier里的rsm参量是什么意思?

sklearn中的predict_proba方法的返回值的意义

sklearn.linear_model.SGDClassifier能做小批量学习(mini-batch)吗?

  随便看看

Pandas怎样对dataframe中的一个时间列进行排序?

回归问题中R方可以小于0吗?

为什么梯度的反方向是函数下降最快的方向?

概率论中的鞅是什么?

统计学中的自变量和因变量分别是什么意思?