第 19 名解决方案

首先，我想感谢 Kaggle 和 LMSYS 组织了这场非常有趣且具有教育意义的竞赛。我还要感谢我的队友 @cody11null 贡献了宝贵的想法并促进了团队内的有效沟通。特别感谢队友 @mohammad2012191，他提供了宝贵的技巧并贡献了重要的计算资源，在模型后处理方面进行了重要的探索。我还要感谢队友 @lihaoweicvch 提供的宝贵想法和强大的计算支持，以及他在解决推理代码超时问题方面的出色工作。如果没有这三位队友的努力，我们团队就不会取得今天的成功。

此外，我想特别感谢 @emiz6413。正是他的开源 推理 notebook 和 训练 notebook 激励我完全投入到这场竞赛中。他的开源精神体现了 Kaggle 的真谛，我深深敬佩他的奉献精神。

接下来，我将主要从三个方面讨论我们的解决方案：首先是关键技巧；其次是我在整个竞赛过程中的探索；最后是本次竞赛中潜在的优化点和未解决的问题。

关键技巧

1. 在 lora_config 的 target_modules 中添加 o_proj, gate_proj

    lora_config = LoraConfig(
        r=config.lora_r,
        lora_alpha=config.lora_alpha,
        target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj"],
        layers_to_transform=[i for i in range(42) if i >= config.freeze_layers],
        lora_dropout=config.lora_dropout,
        bias=config.lora_bias,
        task_type=TaskType.SEQ_CLS,
    )

cv 提升约 0.12
lb 提升约 0.08 (单模型)
补充：我将在下面详细分享关键的实验数据。

2. 将训练 max_len 提高到 3072
cv 提升约 0.02
lb 提升约 0.05 (单模型)

3. 将冻结层数设置为 0
cv 提升约 0.17
lb 提升约 0.11 (tta)

4. 添加外部 数据
cv 提升约 0.06
lb 提升约 0.12 (tta)

5. 将 lora_r 增加到 64
cv 提升约 0.06
lb 提升约 0.09 (tta)

补充：如果我们就停在这里，实际上可以在新测试中赢得金牌哈哈 :)😄

6. 设计一个新的简单头部来替换 model.score

class CustomClassificationHead(nn.Module):
    def __init__(self, config):
        super().__init__()
        self.fc1 = nn.Linear(config.hidden_size, config.hidden_size * 2, bias=False)
        self.fc2 = nn.Linear(config.hidden_size * 2, config.hidden_size // 2, bias=False)
        self.fc3 = nn.Linear(config.hidden_size // 2, config.num_labels, bias=False)
    
    def forward(self, features):
        x= self.fc1(features)
        x= self.fc2(x)
        x= self.fc3(x)
        return x

cv 提升约 0.03
lb 提升约 0.04 (tta)

完整探索过程和关键实验数据

尝试 Deberta
训练和推理 notebook 公开在 这里

尝试 Gemma-2-9B-it
几乎所有的模型权重我公开在 这里
还有一些在 Kaggle 数据集上
未修改头部的推理公开在 这里 -> 金牌分数哈哈 :)

Gemma-9B-it 关键实验数据

mix_data : 竞赛数据 +21k 外部数据

尝试 Llama3.1-8B-it
我更改了一个 padding token。下载新的完整修订模型文件和训练权重在 这里
训练脚本
Llama3.1-8B-it 实验数据

mix_data : 竞赛数据 +21k 外部数据

潜在优化点和未解决的问题

潜在优化点

1. 左侧截断

2. 使用 8-bit 加速推理

3. 添加两个预测头来预测 response_a 和 response_b 是由哪两个模型提供的

4. EMA (指数移动平均)

5. 更多强相关数据

未解决的问题

1. 两阶段微调难以收敛

2. 知识蒸馏难以找到好方法

3. 难以微调全参数以获得好的 CV 结果

4. @mohammad2012191 公开在 这里

总结

我爱 Kaggle!!!😃