反复多次Lasso进行特征选择?

  统计/机器学习 回归分析 监督式学习 数据降维 特征选择    浏览次数:5906        分享
0

我遇到的问题是变量很多,所以想用Lasso方法,这样得到的模型会有很多变量的系数为0。

我运行了一次Lasso之后,发现还是有很多的变量的系数不为0,我能不能对剩下的变量再做一次Lasso,反复进行,直到剩下的变量比较少为止。

我想知道这样做有没有什么道理,或者说有什么问题?

 

桐桐酱   2018-10-30 14:23



   1个回答 
2

如果你觉得变量在Lasso之后仍然太多,你应该增大你的正则系数,让惩罚更大,而不是再重复一次Lasso。

其次你说“直到剩下的变量比较少为止”,这不是一个很科学的说法,变量的多少不是人为决定的,应该是通过对惩罚系数进行交叉验证调参得到的。

你可以看下Lasso path,它能够反映出惩罚系数和剩下的变量的个数。

SofaSofa数据科学社区DS面试题库 DS面经

abuu   2018-10-31 14:06



  相关讨论

询问LASSO特征选择与频次图绘制

Lasso是对数值大的系数压缩大还是数值小的系数压缩大?

惩罚系数不变,特征变大,是不是更容易被Lasso去除?

为什么LASSO可以做特征选择,而Ridge却不行?

lasso path是什么意思?

请问 L1 到底为什么具有稀疏性

什么时候该用LASSO,什么时候该用Ridge?

post lasso是什么意思?

LASSO是无偏的还是有偏的?

Ridge回归的解析解是什么?

  随便看看

机器学习中的奥卡姆剃刀原理是什么意思

把tf.Tensor转换为numpy array

plt.bar怎么设置每个bar的颜色?

python sklearn模型中random_state参数的意义

如何获取pyspark DataFrame的行数和列数?