🥉 三等奖解决方案 — OOF 堆叠 + AutoGluon

非常感谢 Kaggle 组织了如此精彩的 Playground 竞赛！这个月的数据集非常出色，我真的很享受这个过程并学到了很多。

特别感谢 @mulicmu 的"Dive into Deep Learning"，AutoGluon 库，@optimistix 在 第一名解决方案 中分享的想法，@cdeotte 的热情分享，以及社区中所有公开分享工作和想法的人。

📌 解决方案思路

我的主要想法是使用迭代式 OOF（Out-of-Fold）堆叠结合 AutoGluon。工作流程如下：

1. 收集 OOF 和提交文件：收集高质量 Notebook 和我自己模型的 OOF 预测及提交文件，同时过滤掉那些存在数据泄露或 CV 分数虚高的文件。
2. 使用 AutoGluon 训练：将选定的 OOF 文件作为特征输入 AutoGluon，训练新模型，生成新的 OOF 和提交文件，同时记录特征重要性。
3. 筛选特征：分析特征重要性，为下一轮选择高质量特征。
4. 迭代过程：重复步骤 1-3，不断添加新模型和 OOF，稳步提升集成性能。

🏆 模型开发概览

关键洞察：

• 单模型和标准的 AutoGluon 多模型表现相当不错（≈0.971）。
• OOF/堆叠集成进一步将分数提升至 0.976，表明先进的集成策略明显优于单模型或标准多模型。

• 将 eval_metric 从 'roc_auc' 改为 'pac' 或 'nll' 对 CV 或 LB 分数几乎没有影响。
• 使用 'mcc' 会略微降低 CV ROC AUC，但保持 LB 稳定。
• 总体而言，指标的选择并没有显著提高榜单分数。
• 有趣的是，'pac' 给出了最好的私有榜分数，这符合我当时的直觉，但我不敢赌它，坚持使用了官方的 'roc_auc' 指标。

🏆 最佳单模型演进

# 乘积交互
df['duration_div_duration_rank'] = df['duration'] / (df['duration_rank'] + 1e-5)
df['duration_minus_log_duration'] = df['duration'] - df['log_duration']
df['log_duration_mul_age'] = df['log_duration'] * df['age']
df['duration_relmean_minus_std'] = df['duration_rel_mean'] - df['duration_rel_std']
df['duration_per_campaign_mul_age'] = df['duration_per_campaign'] * df['age']

df['duration_mul_age_squared'] = df['duration'] * df['age_squared']
df['balance_log_mul_campaign'] = df['balance_log'] * df['campaign']
    

📌 特征工程总结

基于原始数据，我从 duration (持续时间), balance (余额), age (年龄), month (月份), 和 day (日期) 中设计并构建了大约 30 个新特征，主要包括：

1. 非线性变换：log, sqrt, square, cube, 和指数变换。
2. 分箱特征：基于分位数的分箱 (5/10/20/30 箱) 以生成类类别特征。
3. 统计特征：长/非常长持续时间的指示器，绝对余额和平方项。
4. 比率特征：持续时间与活动次数之比，余额与持续时间之比。
5. 周期性特征：日期变量的正弦和余弦编码。
6. 季节性特征：业务高峰月份指示器 (3 月，4 月，5 月，9 月，10 月，11 月)。

总体结论

• 特征交互

  • 成对组合 (长度 = 2)：提供了一致且明显的改进，是迄今为止最有效的交互策略。
  • 三路组合 (长度 = 3)：尝试过，但收益微乎其微，有时还会引入噪声，导致益处有限。

• 目标/类别编码 (TE & CE)

  • 非常有效，是对性能提升影响最大的技术之一。

• 手动工程特征

  • 增加了一些价值，但总体影响弱于特征交互和TE/CE。
• 对于单模型，增加交叉验证的折数通常有助于提高性能，但过多的折数可能会适得其反。
• 最佳前进路径：专注于强大的成对交互，然后整合 TE/CE。
• 其他工程特征可以作为补充添加，但不是性能的主要驱动力。
• 这可能部分归因于 Kaggle Playground 数据集的性质，它们是合成生成的。在此类数据中，与系统性的交互和编码方法相比，手工特征工程往往效果有限。

🔹 预设 (Presets) 比较

分析：

1. 使用 experimental_quality 预设对公开榜几乎没有影响，有时会略微降低，而略微提高私有榜。
2. 这一观察结果来自竞赛的中后期；早期或大部分时间，experimental_quality 在公开榜和私有榜上都表现良好。
3. 公开榜的结果让我对 experimental_quality 有些怀疑，这影响了我的一些决定。
4. 由于担心过拟合，我在后期主要选择了 best 预设。

AutoGluon 手动 CV 实验

• 目标： 测试当 auto_stack=True 时，手动设置 CV 折数是否能提高性能。

from sklearn.model_selection import KFold

train.loc[:, "fold"] = -1
split = KFold(n_splits=5, random_state=42, shuffle=True).split(train, train["y"])

for i, (_, val_index) in enumerate(split):
    train.loc[val_index, "fold"] = i

TabularPredictor( 
    groups="fold",      
)
    

• 总结：

  • 手动 5 折或 10 折 CV (V35, V36, V44) 没有提高 分数；在某些情况下 CV ROC AUC 略有下降。
  • AutoGluon 的内置堆叠 (auto_stack=True) 已经有效地处理了 CV。

🏅 最终提交模型

✅ 行之有效的做法

1. 我最好的公开榜分数也是我最好的私有榜分数 —— 这是最后一天倒数第三次提交，我当时只更改了一个随机种子。这表明运气也起到了一定作用。
2. 在大多数比赛中，单模型很难超越精心设计的集成模型。对我来说，OOF 堆叠 + AutoGluon 带来了显著提升。
3. 更多样化的集成往往会提高 CV 分数。

🔹 AutoGluon 混合 (Blending) 实验

⚠️ 效果不佳的做法

1. 简单混合和加权混合提高了 CV 分数，但没有提高我的 LB 分数。
2. 添加更多原始训练数据并没有提高榜单分数。

---

💡 反思与学习

1. 这种迭代式 OOF 堆叠方法让我能够记录并利用每一次尝试，确保所有努力都有助于进步，并激励我不断学习。
2. 阅读和学习其他优秀的解决方案和开源 Notebook 是提高最快的方法之一。

---

很遗憾没能运行更多有趣的实验，我的 Notebook 最终也有点乱 —— 但这里是 Notebook 链接。

“道可道，非常道。名可名，非常名。”
学习是一个不断积累的过程 —— 量变最终会导致质变。
享受接下来的学习旅程，不断突破你的界限！

祝好运！