14th place solution

第14名解决方案

作者：Takoi (Grandmaster) | 比赛排名：第14名

首先，感谢主办方举办这场有趣的比赛，并祝贺所有获奖者！

概述

我的最终提交结果是由21个模型组成的集成。模型的权重是通过Nelder-Mead方法确定的。

我参考这个Notebook，进行了大量实验，不断调整模型和训练方法。

以下三点非常重要：

模型	CV分数	权重
1. bart-large	0.456	-0.009
2. deberta-large	0.456	-0.089
3. deberta-xlarge	0.454	0.2175
4. deberta-base	0.471	-0.148
5. luke-large	0.456	0.072
6. gpt2-large	0.460	0.109
7. deberta-v2-xlarge	0.456	0.073
8. deberta-v3-large (添加LSTM)	0.452	0.025
9. gpt2	0.476	0.047
10. deberta-v3-large(重新初始化层)	0.452	0.073
11. deberta-v3-base (添加LSTM)	0.453	0.014
12. t5-large	0.462	-0.180
13. gpt-neo-125M	0.479	0.052
14. deberta-v3-large(伪标签)	0.450	-0.013
15. deberta-v3-large(添加LSTM + 冻结BERT(2轮))	0.451	0.162
16. deberta-v3-base(伪标签 + 重新初始化层)	0.454	-0.055
17. deberta-v3-large(添加换行符)	0.454	0.105
18. deberta-v3-base(添加换行符)	0.458	0.032
19. deberta-v3-base	0.456	0.109
20. deberta-v3-large (针对每个目标训练)	0.452	0.243
21. roberta-large (针对两个目标训练)	0.458 同比赛其他方案 1st Place Solution 2nd solution (back-translation & rank-loss) 3rd Place Solution - Congratulations New Competition Grandmaster Amed! 4th place solutioin 5th place solution