第5名方案 - Team 💳VISA💳(总结 & zakopuro的部分)

我要感谢主办方组织这次比赛，感谢参赛者分享他们的许多见解，以及我的队友( @baosenguo @wimwim @scumufeng )。现在 @scumufeng 和我已经晋升为 Kaggle Master，而 @wimwim 正在向 Grandmaster 迈进。
这场比赛对我来说将是难忘的 :)

总结

我们的解决方案是集成多个 GBDT 模型、Transformer、2d-CNN 和 GRU 的结果。
我们注意到，集成权重是根据 Public LB（公开排行榜）确定的，如果根据 CV（交叉验证）确定则会过拟合。

特征

我们使用的是 raddar 分享给我们的数据集。特征是基于 ragnar 分享的内容。（感谢你们两位。）

元特征

我以前不知道这被称为元特征。
这个特征不仅在 GBDT 中有用，在 Transformer 中也有用。
如果将其添加到 chris 的 Transformer 中，LB 分数将从 0.790 提高到 0.793。

Pivot (透视)

将所有特征水平组合。

P_2_0 , P_2_1 , P_2_3 , P_2_4 , ... , P_2_12 , B_30_0 , ... 
 XXX  ,  XXX  ,  XXX  ,  XXX  , ... ,   XXX  ,   YYY  , ...

模型

GBDT

• LightGBM
  • 与这个 Notebook 相比几乎没有变化
  • stratifiedKfold: 10
• Catboost
  • 使用 GPU（我对它的速度感到惊讶。）
  • 参数：默认

Transformer

zakopuro

• 基于 chris 的 Notebook
• 一些额外的特征。（主要是元特征）

Patrick Yam

这是他的解决方案。
https://www.kaggle.com/competitions/amex-default-prediction/discussion/348118

mufeng

• 将元特征添加到 Patrick 的 transformer 中。
  • LB 从 0.795 提升到了 0.