第15名解决方案

我使用了包含一个在线组件的GBT集成模型。已在此处发布我的训练代码 这里。

详细信息

集成模型：

• 3个LGB模型，离线
• 4个XGB模型
• 1个LGB模型，在线（每5天使用60天的窗口重新训练一次）

训练：

• 使用按date_id进行n折交叉验证，折之间间隔5天。
• 超参数选择：参考公开笔记本，最终选择使用optuna加手动调整。

我在公开笔记本中未见过的特征：

• Revealed_target

• 使用之前时间步的wap的日内revealed_target

• 基于已识别股票的特征：

  • sector_id
  • 基于历史开盘/收盘/最高/低价数据的嵌入

• 群组特征

  • 相对于平均值的表现
  • 相对于行业的表现

• 以拍卖结束时为"到期日"的平值看涨期权价格估计

• 基于最小价格变动单位的推断价格

后处理：

• 用减去指数加权平均目标值的方法替代"零和"方法。

其他：

• 移除了stock_id，转而依赖基于历史表现和行业的嵌入，以减少退市和其他剧烈变化的影响。

未生效的方法：

• 我引入的大多数滚动特征导致LB下降，因此省略了以下特征：
  • 滚动交叉相关
  • 滚动z-score
• 基于相关wap和目标对stock_id进行聚类
• 来自神经网络的股票嵌入

我通过在线学习、后处理和超参数调整获得了最大的公开LB提升。

致谢

我复用了以下特征工程代码：
https://www.kaggle.com/code/meli19/lgb-kf-baseline
https://www.kaggle.com/code/zulqarnainali/explained-singel-model-optiver/notebook
https://www.kaggle.com/code/judith007/lb-5-3405-rapids-gpu-speeds-up-feature-engineer
https://www.kaggle.com/code/verracodeguacas/fold-cv

感谢Kaggle和Optiver举办的精彩比赛。这是我第一次全程参与竞赛，并在过程中学到了很多。