第49名解决方案 [单模型]

非常感谢主办方和Kaggle举办这场有趣的比赛。我个人非常享受参与这场比赛的过程。

总结：

我的解决方案主要依赖于单个DeBERTa-v3-large模型，并使用了自定义的MeanPooling层。训练时使用了所有文本列：text、prompt_text、prompt_question和prompt_title。训练时最大序列长度为1500，推理时为2048。

输入处理：

为了准备输入数据，我在摘要文本的前后分别添加了两个特殊标记：'[SUMMARY_START]'和'[SUMMARY_END]'。然后，我使用'[SEP]'标记将所有其他提示数据附加到后面。最终的输入文本结构如下：
'[SUMMARY_START]text[SUMMARY_END][SEP]prompt_text[SEP]prompt_question[SEP]prompt_title[SEP]'。

训练细节：

使用上述输入结构，DeBERTa-v3-large模型在最大序列长度为1500的情况下进行训练。我还修改了MeanPooling层，使其仅计算'[SUMMARY_START]'和'[SUMMARY_END]'标记之间的平均值。

CV - LB 详情

• CV - 0.474 公开榜LB - 0.43 私有榜LB - 0.469

推理时间：

需要注意的是，这个单模型的推理时间相当长，大约需要8.5小时。

有效的方法：

• 使用更大的最大长度进行推理
• 每个epoch平均多个检查点

无效的方法：

• 实施第二阶段模型（LGBM/XGBOOST）
• 文本清洗
• 后处理技术，例如目标平滑

训练代码

https://github.com/rohitsingh02/CommonLit-ESS

推理内核

https://www.kaggle.com/code/rohitsingh9990/commonlit-ensemble-new-v2?scriptVersionId=145818122