第42名解决方案

这是我第一次参加Kaggle竞赛，最终在2000多支队伍中获得了第42名。

• 训练代码： cless/run_sweep.py
• 推理代码

解决方案

最终解决方案包含

• 6个Deberta模型（2个base版本和4个large版本）
• 每个模型之上的LGBM
• Late Fusion集成

结果

交叉验证：

列说明：

• 检查点名称 - 模型检查点名称（包含4折）
• 模型名称 - 使用的模型：microsoft/deberta-v3-base 或 microsoft/deberta-v3-large
• 添加特征 - 如果为True，则prompt_text和prompt_question都作为输入添加到模型中
• 伪标签 - 在Feedback Prize - English Language Learning数据集上的预训练
• 内容RMSE, 表达RMSE, MCRMSE - 原始Deberta回归模型的指标
• LGBM内容RMSE, LGBM表达RMSE, LGBMMCRMSE - 每个Deberta之上的LGBM回归器指标

注意： 在输入中未添加prompt_text和prompt_question的模型(adds=False)的CV MCRMSE要差得多。然而，这通过LGBM得到了缓解，LGBM利用了prompt_text的手工文本挖掘技术，这些模型的LGBM MCRMSE得到了显著改善。

集成指标

排行榜

感谢该笔记本的作者，它对我帮助很大。