第7名解决方案

我使用了一个源自 @shentao 出色基线的 3D 卷积神经网络。我想为此感谢他。我在 ResNet10 上做了一些小的架构调整，并开始从中值预测进行提升。这样收敛速度要快得多，因此我可以降低数据增强的强度。在不使用任何其他特征的情况下，该模型的交叉验证（CV）分数达到了 0.1695。

我在模型中使用了该网络的 OOF（袋外）预测。随后，我在这些 OOF 预测以及 loading 和 fnc 特征的基础上，训练了 4 个性能几乎相当的模型：

• LGB：在输入特征之前，我将 loading 特征过采样了 50 倍，然后使用了非常低的特征采样比例，例如 0.015。
• MLP：针对 3D CNN OOF、fnc 和 loading 特征使用了不同的 dropout 率。
• SVM：与 https://www.kaggle.com/aerdem4/rapids-svm-on-trends-neuroimaging 中的方法相同。
• Ridge：与稳健的 BayesianRidge 或 HuberRegressor 相比，一个过拟合的 Ridge 回归模型贡献最大。

我通过使用对抗验证预测作为样本权重，缩小了 CV 与 LB（排行榜）分数之间的差距。最终，我的 CV 分数为 0.1562，LB 分数为 0.1566。我原本预计排名会发生波动，考虑到私有 LB 中包含更多的 site2 数据（Kaggle 通常会这样做），但我想情况并非如此，这个技巧的重要性也随之降低了。