恭喜所有的获奖者，也感谢主办方举办了这场有趣的比赛。
我至今仍不敢相信自己能冲进金牌区。

概览

我的最终提交结果是由16个模型集成而来的。模型的权重是通过 nelder-mead（单纯形）方法确定的。

模型

默认参数设置如下：

• max_length = 512
• awp (对抗训练)
  • start_epoch = 3
  • adv_lr = 0.0001
  • adv_eps = 0.01
• bce (二元交叉熵损失)
• lr (学习率) = 2e-5
• lwld (层级加权学习率衰减)
  • base model: lr_decay = 0.9
  • large model: lr_decay = 0.95
• freeze layers (冻结层)
  • large model: 1/2
  • xlarge model: 3/4
• fp16 (混合精度训练)
• 5-fold (5折交叉验证)

有效技巧

• [高影响] awp (对抗权重扰动)

  • cv +0.004 ~ 0.005
  • awp 在 Public LB（公开排行榜）上效果不佳，所以我加入了无 awp 的模型进行集成

• [中影响] lwld (层级加权学习率衰减)

  • cv +0.002~0.003

• [中影响] nelder-mead 方法

• [低影响] bce (二元交叉熵损失)

  • 比 l1_loss 收敛得更快

• [低影响] freeze layers (冻结层)

  • 训练更稳定且更快速

无效技巧

• fgm (快速梯度法)
• Last Layer Re-initialization (最后一层重初始化)