第23名方案分享

模型架构

Transformer + CNN + RNN

Transformer 模块：

其中的 bpps attention 灵感来源于 @cpmpml 的图 Transformer (相关链接)。

我在堆叠的 Transformer 模块前后都添加了单层双向 LSTM，并且在第一个 LSTM 层之前添加了位置编码。

模型集成

• 除了使用一些公开的模型外，还使用了 30 多个具有不同超参数（如层数、卷积核大小、样本权重、损失函数等）的模型。
• 使用了堆叠法，采用 Ridge 回归结合反向消除。

抖动分析

我的模型似乎在泛化到更长序列时表现不佳，位置 68-91 的预测结果看起来与位置 0-67 有明显差异，我猜这是导致我排名抖动的主要原因。