第五名解决方案

首先，我要感谢主办方举办了如此精彩的比赛。同时，也感谢Kaggler们在笔记本和讨论中分享宝贵的信息。

我将简要分享让我获得第五名的方法。说实话，我并未使用任何特殊技巧，因此我认为这次排名很大程度上归功于运气。不过，我对自己首次单独获得金牌感到非常满意。

概述

我的方法主要有三个关键点。

• 使用摘要、问题、标题和提示文本的全部内容。
• 使用单个deberta v3 large模型，通过更长的max_len和冻结层等方式进行改进。
• 将deberta v3 large与LightGBM进行集成。

方法

• deberta v3 large
  • 输入摘要、问题、标题和提示文本的全部内容。
  • 无预处理。
  • max_len：1536。
  • 冻结嵌入层和前十层。
  • 不使用Dropout。
  • 同时训练内容和措辞。
• LightGBM
  • 主要使用与公开笔记本相同的特征。
• 集成
  • deberta与LGB的加权平均。
  • 权重使用Nelder-Mead方法优化。

验证

• 策略
  • GroupKFold（分组依据为prompt_id）
• 交叉验证得分
  • deberta v3 large：0.4816
  • LightGBM：0.5513
  • 集成模型：0.4748

未奏效的方法

• 除deberta v3 large外的其他模型。
  • 当将prompt_text作为输入时，其他模型（包括deberta-v3-base）的性能明显较差。
• 使用LLM生成的额外训练数据
  • 考虑使用LLM从prompt_text生成摘要来进行数据增强。
  • 我使用了从commonlit爬取的prompt_text。
  • 使用伪标签创建真实标签并加入训练，但效果未见提升。
• 基于LightGBM的堆叠
  • 尝试使用deberta的OOF进行堆叠，类似于公开的笔记本，但我的模型效果并未提升。
  • 因此，改为采用上述各模型的加权平均方法。
• 文本预处理。
• 输入同一主题下的其他摘要。
  • 受PPPM比赛中的“魔法”启发，曾考虑将同一主题下的其他摘要进行拼接，但效果未见提升。
• 等等……