第16名方案 - Team : Deimon Devil Bats

感谢组织者和 Kaggle 团队举办这次比赛。EDA（观看比赛录像）非常有趣。感谢所有参与者的辛勤付出。我会阅读并向你们的方案学习！

同时，感谢我的团队，让我能坚持到最后。感谢 @yokuyama 和 @shimishige！

在比赛的上半段，每位团队成员都尝试用自己的方式创建模型（如 3D 分割、CenterNet 等），但不幸的是，分数完全没有提升（LB 分数 < 0.7）。在剩下的 3 周里，我们改变了策略，以公共笔记本为基础继续进行。

摘要

这是一个由深度学习（2.5D CNN, Transformer）和 GBDT 组成的两阶段模型。每个阶段都基于两个公共笔记本。感谢 @zzy990106 (2.5DCNN) 和 @columbia2131 (GBDT)。

深度学习模型在 CV（交叉验证）计算的准确性方面虽然令人担忧，但作为 GBDT 的特征似乎已经足够了。深度学习模型的 CV 计算仅包含距离（dist）< 2 的情况。

第一阶段 (1st stage)

2.5D CNN
我们创建了一个将球员接触和 G（地面）预测为同一类别的单类输出模型，以及一个将它们分开预测的双类输出模型。分别为 Endzone 和 Sideline 视角创建了两个模型，总共 4 个模型。

• 通用设置
  • 输入：图像（±4帧），追踪数据
  • 主干网络：tf_efficientnet_b0_ns
  • 基于预测球员头盔大小的图像裁剪（max(width, height)*5）
  • 仅预测距离 < 2 的情况
  • mixup 数据增强
• 单类模型 (1class)
  • 训练数据下采样（负样本采样至 40,000 个）
• 双类模型 (2class)
  • 球员 1 和 2 的头盔位置热力图 (参考链接)
  • 时间偏移模块 参考代码 感谢 @bamps53)

Transformer + LSTM

• 30% 跳跃连接的 Transformer (参考代码 感谢 @cdeotte)
• 最后一层使用 LSTM
• 基于追踪数据的 25 个特征
• 使用 RobustScaler 进行缩放

第二阶段 (2nd stage)

• CatBoost 效果略好于 XGB
• 特征（基于公共笔记本 +）：
  • 追踪数据：差分、位移、乘积
  • 深度模型概率：位移、累积最大值、累积和