第1名解决方案

我的解决方案可以在这里找到。我使用了GAM（广义加性模型），不过还加入了两个通过XGB和LASSO创建的额外特征。也就是说，最终模型是一个集成模型，尽管我认为它不那么“经典”。重要的是，这些额外特征在这里并不是那么重要。GAM模型是我的第一个尝试，如果没有这些特征，结果只是稍微差一点点。

我选择这个模型有以下几个原因：

• 我们只有很少的变量，而且这些变量已经是高级特征了。特征工程基本上是不可能的，关键在于找到正确的关系。

• Boosting是基于树的，在我看来，它们无法找到“真实”的关系。因为现实世界的关系本质上是连续的——而决策树只能近似它。当然，它们很棒，你可以近似几乎任何东西（例如，非常高级的交互），但世界并不是那样运作的。

• GAM内置了正则化；它通过执行内部交叉验证来选择参数。这非常方便，我可以自由地添加交互项以及从XGB和LASSO模型创建的特征。