第16名方案

感谢大家带来了一场精彩的比赛。祝贺获奖者。我真的很享受这次比赛，尽管处理 QWK（二次加权 Kappa）有时让人抓狂。

我的解决方案概述如下：

特征工程非常有意思。我使用了一个 lgb 模型来评估新特征，主要工作是最小化 MSE。最终我开发了很多特征，然后通过 CV（交叉验证）进行筛选，将数量减少到最终的 158 个特征。

最重要的特征是基于我们要预测的标题中的先前表现，以及其他评估类型活动中的表现。统计先前活动中特定单词（如“misses”、“rounds”）的出现次数也非常有帮助，特别是按其发生的标题进行拆分时。基于每个标题中每个事件代码的游戏时间特征也产生了一些好的效果。（例如，活动 12 中的事件代码 4070 特别有帮助。）

在确定了特征集之后，我将其用于一个以 MSE 为目标的标准 lgb 模型中，同时也通过神经网络（NN）运行，并利用未使用的测试集评估数据进行了增强，作为第三个模型。它们在 CV 中都产生了相似的结果。这三个模型的集成构成了我的最终模型。与许多人一样，我使用了 3614 个安装 ID 的重复随机选择（截断后）来估计 QWK。对于上面的第三个模型，我使用了分类目标。然后，我使用截断的 CV 设置优化了每个类别的概率估计。这产生了一个最优输出：1.62p1+1.74p2+2.64p3。（标准输出 1p1+2p2+3p3 得分不错，但不是最优的。）

融合和阈值处理比较棘手，但截断的 CV 设置似乎可以很好地优化 QWK。我对这一步最不确定，不过就 Private LB（私有排行榜）而言，它似乎相当准确。我几乎忽略了 Public LB（公开排行榜）的分数，但仍然很高兴能在洗牌中幸存下来！