第三名方案

非常感谢 Kaggle 和 @higgstachyon 举办了这场比赛，这非常适合我作为 Kaggle 比赛的入门，祝贺所有的获奖者！

我的方法非常简单，主要是尽量避免过拟合。
两个版本的代码已在我的 GitHub 上公开：代码中包含了 10 个技巧，最终使用了其中 3 个。
https://github.com/HaiyangLiu1997/Kaggle_Kannada_MNIST_Pytorch

对我有效的技巧：

1. 伪标签：将我的分数从 99.280 提升到了 99.420（私有分数）。
2. 5 模型嵌入，平均投票：将我的分数从 99.180 提升到了 99.280（私有分数）。
3. 使用所有数据进行训练：在基于本地 5 折交叉验证（5 KFold CV）选择最佳模型后进行。
4. 在一开始固定随机种子。

对我无效的技巧：

“无效”仅意味着没有显著提升，当然结果有时会增加 00.020。

1. 热身
2. 不同层使用不同学习率
3. 更复杂的模型，例如 MobileNetV3, DenseNet
4. 小批量大小
5. 测试时增强（TTA）
6. Focal Loss
7. 标签平滑

我的思考

我很好奇第一名和第二名的方法，我认为他们的方案会比我的简单解法包含更多有用的东西。
更多详情请见 GitHub。感谢阅读！