首先，我要感谢竞赛主办方和 Kaggle 组织了这次有趣的挑战。下面是我的解决方案总结。

解决方案概述

关键点

• 预测相对于前一帧的差值（delta x, delta y）
• 使用 RoPE 编码嵌入旨在预测的未来帧。
• 使用 Muon 优化器的 Huber Loss
• 两步训练
  • 第一步：使用 2023 年 NFL 竞赛数据（所有球员）和本竞赛数据（仅 player_to_predict = true 的球员）进行训练。
  • 第二步：使用 2023 年 NFL 竞赛数据（所有球员）和本竞赛数据（所有球员，伪标签）进行训练。
• EMA 衰减=0.995

模型架构

我大部分时间都花在改进模型架构上。