第一名 - 很多特征，很多模型，还有一点运气

哇！我一直梦想获得第一名，终于实现了 :D。祝贺所有战胜了盲融 notebook 的人（不知为何它们在私有榜单上表现不错），非常感谢分享代码和见解的人们，包括但不限于：@cdeotte, @masayakawamata, @yekenot, @yeoyunsianggeremie, @jklol86, @mikhailnaumov。

现在来看看我的解决方案：

特征工程 (FE)

这可能是比赛中最重要的部分。我最好的单个模型 CV 0.92818，LB 0.92923，本可以排第 2！它使用了以下特征：

• 基础特征的组合（配对）+ TE/CE
• 数值特征的 digit（数字位）
• 每个数值特征的 digit 之间的组合（配对、三元组、四元组）+ TE/CE。这意味着我只在每个特征的 digit 之间创建交互特征
• 来自 这里 的 Round 特征
• digit 和基础特征的一些组合
• 不同基础特征的 digit 的一些组合
• 原始数据集上基础特征 + 一些 digit 的 TE/CE
• 原始数据集上使用 'employment_status' 作为目标的基础特征的 TE
• 训练数据集上使用 'employment_status' 和 'debt_to_income_ratio' 作为目标的基础特征的 TE

对 CV 提升很小的杂项特征：

• 分箱后的数值特征 (Quantile binned numericals)
• 我在某处找到的 'default_risk' 特征
• 'credit_score' 的分类版本（我本打算对其他数值特征也这样做，但有点忘了）

我知道其中一些可能很难理解，所以我很快就会发布我最好的单个模型代码（更新：notebook 可以在 这里 找到）

模型

我稍后会详细说明这部分，因为我有点忙，但简而言之，我的集成总共有 100 个模型 :D！

更新：模型及其分数（最佳模型）如下：

你可能已经注意到有些模型的分数相当糟糕。我这次比赛的策略是训练尽可能多的多样化模型，而不是花太多时间调整它们。我觉得下次比赛我应该稍微改变一下这个策略

集成 (Ensembling)

Ridge 和 HC 是本次比赛中最好的集成器，HC 在 CV 上稍好一些，但在公共榜单上差不多。我尝试过使用非线性模型（如 LGBM/CB/不同的神经网络）进行堆叠，但它们比线性方法差得多。

结论

进入前 3 名的公式保持不变：很多模型和一两个技巧（这次是大量的特征工程）。如往常一样，Happy Kaggling!