#24 解决方案 (又是第24名)

感谢 Kaggle 和主办方举办了这场有趣的比赛。祝贺所有的获奖者，特别是我的第一位队友 @trushk（NBME 比赛），他获得了他的第一个 NLP 金牌！

我的解决方案是 120 个模型的堆叠（20 * 6）。这些模型包括 deberta-v1/2/3-base/large/xlarge/xxlarge、funnel-large/xlarge、bert-for-patents、electra-large、cocolm-large，它们使用了不同的损失函数（MSE, BCE），或者反转了 anchor 和 target，或者使用了动态填充，以及不同的池化层。

在第二层模型中，我添加了一些静态特征，包括 jaccard 距离、编辑距离、target 是否重复、anchor 和 target 的长度差、相同词汇的比例以及 context。（第二层中的 context 帮助很大）。堆叠模型使用单个 CatBoostRegressor，并使用 optuna 寻找最佳超参数。

我的单模型最佳表现是 deberta-v3-large，Public LB 分数为 0.8352。模型使用不同的设置进行训练，包括差异化学习率、随机初始化高层网络层、预热比例、掩码增强等……

虽然我的名字叫“相信运气”，但在这次比赛中我相信 CV（0.8557），并在 Private LB 中幸存了下来。