678. Playground Series - Season 5, Episode 11 | playground-series-s5e11
本次竞赛是对 @Tilii 和 @CDeotte 两个想法的测试。创建不相关的模型，不要害怕在模型中删除列。谈到特征工程，有太多不同的方法可以尝试。我主要使用了 @CDeotte 的想法。本质上，我和竞赛中排名在我上下的人做了许多相同的特征生成。我创建了大约 24 个具有各种特征的模型，并尝试仅使用 ROC 分数而不是 LB 分数来组装它们。我有 24 个模型，其中只有 3 个与其他模型相关。最好的集成是使用 hillclimbers 程序，包括这 3 个相关模型。结果如下所示：
| 模型名称 | 分数 | 备注 |
|---|---|---|
| xgb_pseudo_recip | 0.92781 | 最佳独立模型 |
| xgb_pseudo | 0.92780 | |
| lgb_pseudo_recip | 0.92777 | |
| AG3 | 0.92772 | |
| xgb_new | 0.92770 | |
| xgb_base_ln_0.9276594 | 0.92766 | |
| lgb_0.927645 | 0.92765 | |
| lgb_del1 | 0.92762 | |
| AG2 | 0.92761 | |
| RealTD1 | 0.92760 | |
| cat_2 | 0.92758 | |
| cat_base | 0.92750 | |
| TD_Essembly2 | 0.92749 | |
| RealTD2 | 0.92746 | |
| TD_Essembly | 0.92739 | |
| xgboost | 0.92734 | |
| cat_TD | 0.92732 | |
| ydf | 0.92716 | |
| xgb_base_ln_0.9269135 | 0.92691 | |
| xgb_0.9269169 | 0.92690 | |
| ag | 0.92456 | |
| lgb_del2 | 0.87601 | |
| xgb_drop_debt_to_income_ratio | 0.87436 | |
| xgb_drop_employment_status | 0.82128 |
[数据准备成功完成] - [启动 hill climbing]
| 迭代 | 添加模型 | 最佳权重 | 最佳 ROC AUC 分数 |
|---|---|---|---|
| 1 | AG3 | 0.50 | 0.92810 |
| 2 | ag | 0.07 | 0.92813 |
| 3 | RealTD1 | 0.16 | 0.92816 |
| 4 | xgb_base_ln_0.9269135 | 0.08 | 0.92817 |
| 5 | lgb_del2 | 0.01 | 0.92817 |
| 6 | xgb_drop_employment_status | 0.01 | 0.92818 |
| 7 | xgb_new | -0.12 | 0.92819 |
| 8 | lgb_del1 | 0.09 | 0.92819 |
| 9 | xgboost | -0.07 | 0.92820 |
| 10 | xgb_pseudo | 0.06 | 0.92820 |
| 11 | TD_Essembly2 | -0.07 | 0.92820 |
| 12 | cat_2 | 0.02 | 0.92820 |
| 13 | cat_TD | -0.04 | 0.92820 |
| 14 | xgb_0.9269169 | -0.02 | 0.92821 |
| 15 | cat_base | 0.02 | 0.92821 |
| 16 | xgb_base_ln_0.9276594 | -0.03 | 0.92821 |
| 17 | lgb_pseudo_recip | 0.03 | 0.92821 |
| 18 | lgb_0.927645 | -0.03 | 0.92821 |
| 19 | RealTD2 | 0.02 | 0.92821 |
| 20 | TD_Essembly | -0.02 | 0.92821 |
| 21 | AG2 | -0.01 | 0.92821 |
最终获得了第 10 名。