第11名方案

请查看我的 Kernel 代码： [KMNIST__top__1%]

基本介绍

这是我第一次参加正式的通用比赛。我之前在课内比赛（MNIST）中已经进入了前1%，所以想尝试一下 KMNIST。

那些对我有一点帮助的小细节

• 均值归一化和特征缩放
• .astype('float32')
  将 xtrain, ytrain, xval, yval 转换为浮点类型。
• LeakyReLU
  使用了 LeakyReLU 代替我们常用的 ReLU。发现准确率有显著差异。

我的观察

1. 模型集成 { 没有帮助 }

我在这里尝试了两种方法。第一种方法，我集成了各种不同的模型，并对它们的输出取平均值，然后进行 argmax。第二种方法，我将同一个模型多次集成，取输出平均值后进行 argmax。这两种方法都没有帮到我。

2. 在 Dig_MNIST 上训练 { 没有帮助 }

我结合了 train 和 Dig-MNIST 数据，并尝试在合并后的数据上训练模型。但这并没有什么用 👀

3. 优化器 { 有帮助 }

在尝试了多种优化器后，我最终选择了 RMSprop 作为本次比赛更好的优化器。

4. Image_Data_Generator { 有帮助 }

通过调整 Image_Data_Generator 类的超参数，并结合 learning_rate_reduction 和 earlystopping，我的公共分数从 0.96 大幅提升到了 0.98。

5. 最重要的心得 { 有帮助 }

超参数调优💯
在应用了上述所有很棒的技术并获得约 0.98 的公共分数后，我将精力集中在调整所有超参数上，范围从 epochs、batch_size 到 rotation_range。