第37名解决方案

首先，感谢主办方举办这场有趣的比赛，并祝贺所有获奖者！

概览

• 我们最终的提交结果是13个模型的集成。模型的权重是通过 Nelder-Mead（单纯形）算法确定的。
• CV分数：0.44384 / 公开LB：0.435426 / 私有LB：0.435417

有效的尝试

• 包含 Roberta 和 Funnel 的集成
  • 仅使用 Deberta 集成模型的最佳私有LB分数为 0.435807。
  • 在所有提交中，最佳的私有LB分数为 0.435103。
• 通过 Nelder-Mead 进行优化
  • 我们最佳的CV（0.44287）和最佳私有分数（0.435103）都是通过 Nelder-Mead 优化权重的集成模型获得的。
  • 在最终提交中，最佳模型是CV为0.44384、私有分数为0.435417的集成模型，其权重经由 Nelder-Mead 优化。

无效的尝试

• 在模型中添加 LSTM
• 基于微调模型的 Embedding SVR（支持向量回归）
• 尝试不同的损失函数

重要参考

致谢

感谢主办方举办这次比赛。感谢 Kagglers 分享有用的代码和讨论。特别感谢我的队友们，我们的团队合作非常完美。

团队成员：

• @rachisotaro
• @shinuk