第29名解决方案

首先，我要感谢 Feedback 竞赛的主办方和所有参与者。
在这次比赛中，我能够测试我在过去比赛中学到的很多知识。
我的解决方案如下所示。我反思了自己本可以对每种解决方案方法进行更详细的调整，我希望在下一次比赛中能充分利用这一点。

概览

1. 我使用给定的训练数据训练了六个预训练模型。我的所有训练中都使用了 AWP。
   六个预训练模型：deberta-v3-large, deberta-v3-base, deberta-v2-xlarge, deberta-large, bigbird-roberta-large, bigbird-roberta-base
2. 使用六个训练好的模型对 FB1 的文章文本进行伪标签处理。
3. 将伪标签添加到给定的训练数据中，再次训练这六个预训练模型。
4. 将六个模型的预测结果加上 SVR 进行加权平均集成。

有效的方法

• AWP (对抗权重扰动)

  • 我在过去的比赛中尝试过几次 AWP，但都失败了。而这一次，我第一次成功通过 AWP 提高了分数。
  • 参数设置为 adv_lr=2e-4, adv_eps=1e-3 效果很好，参考了讨论区的建议。
  • CV 提升（单模型）：0.0007

• 伪标签

  • 没有泄露。根据过去比赛的经验，我知道如果不注意折的划分，就会发生泄露。
  • CV 提升（单模型）：0.0003 ~ 0.0026

• 通过训练模式增加多样性

  • 我通过将训练分为以下 1 和 2 两种训练模式来创造多样性。这些集成提高了分数。
    1：先用伪标签训练一个 epoch，然后用给定的训练数据训练几个 epoch
    2：同时使用给定的训练数据和伪标签训练几个 epoch

• 加权平均集成

  模型	折数	CV	Public LB	Private LB
  deberta-v3-large	5	0.4473~0.4495
  deberta-v3-base	5	0.4512~0.4522
  deberta-v2-xlarge	5	0.4475~0.4522
  deberta-large	5	0.4510~0.4538
  bigbird-roberta-large	5	0.4577
  bigbird-roberta-base	5	0.4643
  svr	5	0.4526
  集成		0.4435	0.437183	0.435225

无效的方法

• 伪标签的下采样
  • 我认为一些伪标签不可靠，并移除了每个模型预测标准差较大（>0.44/3）的标签。
    然而，CV 并没有提高。
  • CV（加权平均集成）：0.4435 -> 0.4437