第17名解决方案

祝贺所有获奖者，感谢组织者和所有参与者。这是我第一次参加NLP竞赛，我学到了很多处理该领域的知识。

概述

4个模型的加权平均：

1. deberta-v3-large模型：使用标题、问题、提示文本和摘要。采用GroupKFold交叉验证（按prompt_id分组）。（CV: 0.488，公开榜: 0.430，私有榜: 0.463）
2. 与模型1相同，但使用掩码增强技术并在全部数据上训练
3. 与模型2相同，但使用不同的随机种子（仅种子不同）
4. LGBM模型：使用deberta-v3-large的输出（未使用prompt_text）和手工特征训练

集成分数： 公开榜: 0.422，私有榜: 0.459

训练设置（模型2、3）

• 训练轮次：3
• 损失函数：SmoothL1Loss
• 学习率：1e-5
• 优化器：Adam（权重衰减: 5e-4，beta参数: (0.9, 0.999)）
• 学习率调度器：余弦退火调度器
• 令牌长度：2024（训练时），1664（推理时）

有效的方法

• 掩码增强：
  • 掩码增强虽然没有提升交叉验证分数，但使损失曲线更加稳定。在GroupKFold训练中调整了超参数，并将相同参数应用于全部数据训练（模型2、3）
• 冻结层： 冻结部分网络层有助于提升性能

无效的方法

• 文本清洗
• AWP（对抗性权重扰动）
• 回译增强