第44名方案

概述

我们的解决方案是岭回归和支持向量回归的集成模型。该模型基于8个微调后的DeBERTa模型和2个经典机器学习算法的预测结果进行训练，采用了10折交叉验证，并使用 Optuna 进行了优化（见图1）。

分数如下表所示：

我们的代码

点击此处查看代码

有效的方法：

• 非常仔细的10折交叉验证，并为每个目标字段设置独立的系数。
• DeBERTa模型的混合使用。
• 加入一些经典机器学习方法（即使使用了基于DeBERTa的特征）。
• 自动权重调整。

无效的方法：

• 手工设计和半自动特征（尽管其中一些还不错）。
• 句子嵌入（特别是对于 vocabulary 评分）。

重要引用：

• Ten debertas notebook
• Optuna

致谢：

• 我的队友 Andrey Ustinov。
• 所有那些发布高分Notebook的伟大且受人尊敬的人（即使这导致了排行榜的“大洗牌”）。

团队成员：

• Andrey Ustinov
• Innokentiy Humonen