第6名解决方案
概述
我注意到在我的基线模型中，6个类别之间的相关性相当高。所以我尝试缓解这一点，并为每个类别创建了模型，在这里我称之为“独立模型（separate models）”。我也训练了单模型（非独立模型），但带有独立的头部。最终，我的解决方案是4个独立模型和5个单模型的类别加权平均，我使用 scikit-optimize 的 gp_minimise 函数来确定权重。
注意：一个5折的独立模型使用了 5 x 6 = 30 个模型，GPU提交大约需要1小时。
选定提交结果：CV=0.4422, PublicLB=0.436362, PrivateLB=0.434121
（最好的CV也是我最好的PrivateLB）
| 实验 | 类型 | 模型 | 折数 | CV | Public LB | Private LB |
|---|---|---|---|---|---|---|
| 14_v1_01 | 独立模型 | deberta-v3-base | 5 | 0.4524 | 0.4371x | 0.4380x |
| 14_v1_07 | 独立模型 | deberta-v3-base | 10 | 0.4512 | 0.4374x | 0.4370x |
| 14_v1_10 | 独立模型 | deberta-v3-large | 5 | 0.4518 | 0.4411x | 0.4370x |
| 14_v1_12 | 独立模型 | deberta-large | 5 | 0.4534 | 0.4409x | 0.4388x |
| 29_v1_02 | 单模型 | deberta-v3-base | 5 | 0.4557 | 0.4424x | 0.4416x |
| 29_v1_04 | 单模型 | deberta-v3-large | 5 | 0.4531 | - | - |
| 29_v1_11 | 单模型 | deberta-v3-large-squad2 | 5 | 0.4526 | - | - |
| 29_v1_14 | 单模型 | deberta-v2-xlarge | 5 | 0.4569 | - | - |
| 29_v1_15 | 单模型 | deberta-xlarge | 5 | 0.4552 | - | - |
