第7名解决方案 - Peter & Beluga

致谢

感谢主办方举办了这次艰难但无疑非常有趣的挑战赛。
特别感谢 Vladimir Iglovikov 和 Luca Bergamini 在比赛期间在论坛上的积极贡献。

向我的队友 @pestipeti 致敬，当我加入他时，他已经将 l5kit 优化到了极致，并拥有一个坚实的训练框架。
随后，他通过在 GPU 上栅格化图像进一步提升了训练速度。
有了这些改进，我们在过去几个月里能够使用不同的配置参数和稍作修改的编码进行数十次实验。

回到未来

我们注意到训练数据集和切分的验证集具有略微不同的特征分布。经过一番挖掘，我们发现切分的数据集（验证集、测试集）总是至少有 10 个未来帧的可用数据。这与默认的 AgentDataset 设置截然相反，因此我们在训练中也采用了这一设置。

AgentDataset(
    cfg, dataset_zarr, gpu_rasterizer, agents_mask=dataset_mask,
    min_frame_history=1, min_frame_future=10
)

这在验证一致性和最终得分方面都有所帮助。

穷人的集成

我们不指望混合或任何简单的启发式方法能帮助组合不同的模型。（虽然我读过一些巧妙的技巧，也听说堆叠法有效……）

智能体的速度非常重要，我们在实验中看到了这一点。直觉上，对于较慢的物体，我们使用较小的栅格尺寸但更多的历史记录。
我们最终提交的最佳方案根据速度（过去 1 秒内的总距离）使用了三个模型：

• [0-2] 慢速模型 320x220，3 秒历史记录（压缩 1.5 秒），在慢速样本上训练了 7 天以上
• [2-5] 中速模型 320x220，3 秒历史记录（压缩 1.5 秒），在 [1.5-12] 范围样本上训练了 5 天以上
• [5+] 快速模型 480x320，单独通道上的 1 秒历史记录，在 [2+] 范围样本上训练了 9 天以上

无效的尝试

• 我们尝试使用额外的元数据（速度、加速度、位置、小时、星期几等），但并没有真正起到帮助作用。
• 我们完全没有使用卫星图像。我们注意到它们可能包含额外信息（尤其是对于行人或骑行者），但速度太慢了。
• 不同的主干网络。我们尝试了其他几个网络，但主要使用 Effnet-B2。