第52名解决方案 🥈 (Public 105th)

简介

首先，我们的团队 (@K.T., @Taro_pan, @S.Kota, @Java_is_a_sparrow, @mipypf) 对主办方组织如此激动人心的比赛表示最深切的感谢。感谢所有相关的工作人员。

我想借此机会感谢我最好的队友 (@K.T., @Taro_pan, @S.Kota, @Java_is_a_sparrow) ！

概览

• 最终选定的两个提交结果总结如下。

交叉验证策略

• 使用 anchor 和 score 进行 MultilabelStratifiedKFold 分折

  https://www.kaggle.com/code/abhishek/creating-folds-properly-hopefully-p

  https://www.kaggle.com/competitions/us-patent-phrase-to-phrase-matching/discussion/315220

  https://www.kaggle.com/code/hannes82/pppm-deberta-v3-large-closing-the-cv-lb-gap/notebook

使用的损失函数

• BCEWithLogitsLoss

  我们尝试了几种不同的损失函数，但最终选择了 BCEWithLogitsLoss，因为它的 CV 预测分布最为合理。

出现极低 CV Fold 的现象

• 在本次比赛中，经常会出现某些 Fold CV 分数极低的现象。

  https://www.kaggle.com/competitions/us-patent-phrase-to-phrase-matching/discussion/319237

  因此，当这种现象出现时，有必要调整学习率和调度器。

集成模型

• 提交编号 148a：no6, no19, no37, no41, no52, no76, no86, ex28, ex30, ex37, exp055, exp088, exp147d, exp149