```html 第三名解决方案

第三名解决方案

发布日期：2023年12月4日
作者：Doun Lee, Jinwoo Bae, Jangho Kim (教授)
所属机构：韩国国民大学人工智能学院计算机科学学院

首先，感谢Kaggle和Google举办了这场激动人心的比赛。这是一次非常宝贵的经历。

在本研究中，我们提出了一种基于梯度的重新初始化方法。我们假设，如果模型中权重（特别是在保留集和遗忘集上）的梯度相似，那么在重新训练保留集时，从遗忘集中擦除相关信息将变得困难。为此，我们选择性地重新初始化了两个集合间梯度相似的权重，然后对模型进行重新训练。

所提出的基于梯度重新初始化的机器遗忘方法包含三个主要步骤：

梯度收集：分别从遗忘集和保留集收集梯度信息。遗忘集的梯度通过交叉熵损失（使用遗忘集标签）的梯度上升法收集，保留集的梯度通过交叉熵损失（使用保留集标签）的梯度下降法收集。由于保留集和遗忘集的样本数量不等，我们从保留集中随机采样以匹配遗忘集的样本数量进行梯度收集。
权重初始化：根据第一步收集的梯度信息，对一定比例的卷积滤波器权重进行重新初始化。我们选择梯度绝对值最小的权重进行重新初始化（我们的最佳结果重新初始化了30%的权重）。权重采用全局非结构化初始化，遵循torchvision ResNet代码中的He初始化方法（mode="fan_out", nonlinearity="relu"）。
重新训练：使用保留集对模型进行重新训练。未初始化权重的学习率使用基础学习率的1/10，这是通过将未初始化权重的梯度缩放1/10来实现的。