遗忘集自由方法（私有排行榜第9名，公共排行榜第3名）
首先，感谢组织者举办这场意义非凡的挑战。这为我们提供了深入探索机器学习遗忘概念、并与杰出研究者交流思想的绝佳机会。
上下文
业务背景：https://www.kaggle.com/competitions/neurips-2023-machine-unlearning/overview
数据背景：https://www.kaggle.com/competitions/neurips-2023-machine-unlearning/data
概述
我们的解决方案包含遗忘阶段和记忆阶段。在遗忘阶段，模型参数会被随机选择并重新初始化。在记忆阶段，通过计算原始模型与目标遗忘模型之间的知识保留损失，来提醒目标模型关于保留集的记忆。此外，重复执行遗忘阶段和记忆阶段多次，以提升遗忘性能。
表1展示了我们最终解决方案的遗忘性能，与其他已发布的遗忘方法[1-4]进行对比。注意记录的是公共榜分数。
详细信息
实验设置
NeurIPS 2023机器学习遗忘挑战赛有特定的代码要求。例如，提交方案需要运行512个完全独立的遗忘算法，且各运行之间不能有任何预编译代码或缓存工作。此外，这512次运行需在8小时内完成。为满足这些要求，我们执行了少量循环的随机重新初始化和知识保留过程。具体而言，第一种算法包含3个循环，各循环epoch数分别为[1, 2, 2]，总共5个epoch期间采用余弦学习率调度器（初始学习率=0.001，T_max=2）。第二种算法包含4个循环，epoch数分别为[2, 1, 1, 1]，各epoch学习率设置为[0.0005, 0.001, 0.001, 0.001, 0.001]。两种算法均从选择池中随机选取6层（允许重复选择）。高斯噪声从均值为0、标准差为0.01的分布中采样。注意实验仅使用了保留集。
Logit分布
若遗忘成功，遗忘后的模型应对遗忘集和保留集产生与重训练模型相似的logit分布。因此，除了量化指标外，我们还观察了模型在输入遗忘集和保留集时的logit分布。收集遗忘集和保留集的logit值，并绘制为重叠直方图（图2和图3）。如图2和图3所示，与 naive 微调模型相比，我们遗忘的模型产生的分布更接近重训练模型的分布。由于挑战赛数据集隐藏，我们使用MUFAC数据集[5]进行可视化。
探索的方法
前述遗忘方法来自多个中间实验。本节将介绍一些阶段性发现，以展示我们的决策过程。
重新初始化
当在微调基础上采用随机重新初始化时，分数会超过纯微调。有趣的是，使用Fisher信息矩阵对角线元素进行参数选择反而会降低分数。结果如表2所示。
数据增强
表3描述了数据增强的效果。向保留集图像添加从均值为0.0、标准差为0.1的高斯分布生成的高斯噪声。
损失函数
表4描述了不同损失函数的效果。在各种损失函数中，MSE损失优于其他损失函数，如交叉熵损失和L1损失。
N个循环
仅通过增加重新初始化的参数选择比例无法提升遗忘性能。但我们发现，重复遗忘阶段和记忆阶段的循环能显著改善性能。表5展示了这些改进。
层级别与元素级别
在我们的实验中，层级别参数选择方法显著优于元素级别参数选择方法，如表6所示。
选择池
此外，防止某些层被重新初始化是有效的。在我们的实验中，全连接层和投影捷径层应从参数选择和重新初始化中排除。表7展示了这些结果。
结论
我们的解决方案仅使用保留集，省略了遗忘集和验证集。当遗忘集已被删除或其使用被禁止时，这种方法可能特别有效。然而，由于我们的解决方案涉及随机层选择，遗忘性能可能因所选层的具体不同而有所变化。
参考文献
[1] Laura Graves, Vineel Nagisetty, 和 Vijay Ganesh. Amnesiac machine learning. 人工智能 AAAI 会议论文集, 2021年5月.
[2] Anvith Thudi, Gabriel Deza, Varun Chandrasekaran, 和 Nicolas Papernot. Unrolling sgd: Understanding factors influencing machine unlearning. 2022 IEEE 第7届欧洲安全与隐私研讨会 (EuroS&P), 第303–319页. IEEE, 2022年6月. ISBN 9781665416146, 9781665416153. doi: 10.1109/EuroSP53844.2022.00027.
[3] Eleni Triantafillou 等. Neurips 2023 - machine unlearning, 2023. URL https://kaggle.com/competitions/neurips-2023-machine-unlearning.
[4] Alexander Warnecke, Lukas Pirch, Christian Wressnegger, 和 Konrad Rieck. Machine unlearning of features and labels, 2021年8月.
[5] Dasol Choi 和 Dongbin Na. Towards machine unlearning benchmarks: Forgetting the personal identities in facial recognition systems, 2023年11月.