第27名解决方案：如何使用提示？
首先，我要感谢Kaggle和主办方组织这次有趣的比赛，也感谢我的队友们 @muhammad4hmed、@mohammad2012191、@cody11null、@ivanisaev。没有他们，这是不可能实现的！
总结
我们的解决方案是一个由不同第一阶段模型（主要使用Deberta-v3-large骨干网络）组成的集成模型，这些模型输入到第二阶段堆叠模型中。多样性来自于输入、不同的自定义池化技术和头部。
我们从选择的3个提交中获得的最好提交在本地交叉验证（CV）上得分为0.486，公开排行榜（LB）得分为0.425，私有排行榜得分为0.464，这使我们排在第27名。我们所有提交中最好的提交公开排行榜得分为0.459，因此在两种情况下都是银牌。
第一阶段模型
我们使用摘要文本和问题仅对Deberta Base、Large和Squad进行了微调。我们还添加了一些其他模型，这些模型采用了一些自定义池化思路，其中使用了提示（prompts），效果相当不错，感谢 @ihebch 和 @muhammad4hmed 的工作！
模型1
CV: 0.505; 公开LB: 0.456; 私有LB: 0.474
模型2（未包含在集成中 😢）
与模型1相同，但没有交叉注意力机制
CV: 0.49; 公开LB: 0.575; 私有LB: 0.468（哇）
模型3
CV: 0.52; 公开LB: 0.457; 私有LB: 0.499
第二阶段模型
我们将所有这些预测作为特征添加到我们的LGBM+XG+CB模型中，以及公开笔记本中发布的相同特征。
我们还添加了FB3标签（很好的提升），并使用了元数据特征（特别是年级）。
我们努力尝试添加新特征、进行特征选择、进行广泛的超参数调优，但所有这些尝试都导致本地CV分数提高而排行榜分数大幅下降，因此我们放弃了这些，专注于改进第一阶段模型。
不起作用的方法
- 特征选择
- 广泛的超参数调优
- 添加FB2标签