第1名解决方案

首先，感谢竞赛主办方举办这次比赛，也感谢我的队友 (@ryuichigt)。感谢优秀的 Notebooks 和讨论，我学到了很多，并以此完成了我的最终解决方案。

方案总结

为了最大化 CV 分数，我们融合了以下六个模型。每个模型都使用了 MLM（掩码语言模型）、伪标签、AWP（对抗权重扰动）、数据增强，并训练了 10 折交叉验证中的 5 折以及全部数据，从结果生成的 50% 训练数据 OOF 中构建了我们的 CV。由于时间限制，最终提交使用了这六个模型中的部分权重（fold 0, 1, 2, 3, 4, all）。Notebook 链接

有效的技巧

• AWP (Adversarial Weight Perturbation)

  • Feedback Prize 第一名的优秀 Notebook 非常有帮助。
  • 尝试了几个参数后，以下参数提升了 CV：
    • adv_lr: 1.0, adv_eps: 0.01
  • CV 提升约 0.002。
  • 我的代码

• MLM

  • 在 'patient_notes.csv' 上进行预训练，排