第38名解决方案

感谢 Kaggle 团队和主办方举办了这场比赛，也感谢我的队友。同样感谢 Kagglers 分享他们有用的代码和讨论。这是我在参加上一次 fp2 比赛后第二次参加 NLP 比赛，我学到了很多。

概述

我的最终提交是由 15 个模型组成的集成结果，并使用 Optuna 优化了权重。每个模型都使用了不同的超参数进行训练，例如 seed、num_fold、max_length 等。

有效的技巧

• SmoothL1Loss 在交叉验证（CV）中表现最好。
• 使用 Optuna 确定每个目标的集成权重。
• 使用各种自定义头：
  • 平均池化、LSTM、拼接最后 4 层
• 对抗性权重扰动
• 使用多种模型（不仅有 Hugging Face 模型，还有 LightGBM）：
  • 单一模型效果一般，但集成稍微提高了分数。
  • 参考：https://www.kaggle.com/code/dlaststark/fpe-no-fancy-stuff

无效的尝试

• 不同的损失函数
• Mixout
• 在堆叠模型时使用文本特征作为元特征

这些方法并没有提高 CV 分数，但少数在集成中起到了一定作用。

重要参考

• FB3 Deberta V3 Base Baseline Train
  @yasufuminakama。他的笔记本教会了我很多。
• Deberta LayerwiseLR LastLayerReinit Tensorflow
• FB3 Single Pytorch Model Train

致谢

最后，我要感谢 Kaggle 和主办方举办了如此有趣的比赛，感谢所有参与讨论的人。感谢并祝贺我的队友 —— @mitsuruueki