第26名方案 [幸运的大幅排名变动 第1117名 → 第26名]

感谢所有的参与者和主办方。
我很幸运地经历了一次巨大的排名变动，最终获得了一枚银牌。

概览

最终的 CV 分数为 0.44582（Public/Private 分数分别为 0.439025/0.435032），使用了 deberta-v3-large (x2) 集成模型。
在 FB2 数据上进行了 MLM 预训练（mask prob = 0.4）。
CV 分数略有提升，但 LB（排行榜）分数却下降了。
不过，将其加入集成模型后，似乎确实提升了分数。

单模型 CV 分数：

• 0.4490 (无 MLM) (Public/Private 0.439145/0.436422)
• 0.4488 (有 MLM) (Public/Private 0.442191/0.437079)

就我而言，LB 分数与 CV 提升之间的相关性并不好。
当我从单模型切换到集成模型时，LB 变化不大。
（这似乎与顶级解决方案的情况不同，我不知道为什么。）
因为 LB 没有提升，我停止了比赛工作。
然而，事实证明 TrustCV（可信的交叉验证）是对的。

有效的技巧

• [高影响] 方法
  • AWP (Adversarial Weight Perturbation，对抗权重扰动)
  • 注意力池化 (attention pooling)（按目标列方向）
• [中等影响] 方法
  • 层级学习率衰减

无效的技巧

• smooth-l1 损失函数
• mask 数据增强
• lstm(gru) 头部结构

小贴士：
我尝试了不同的随机种子。并且我努力确保 CV 分数确实得到了提升。
（这个策略在 FB2 第一名的方案中有描述。）

期待 FB4。谢谢。