第15名方案 (仅WaveNet)

在最后一天，我完成了自认为最好的解决方案，并获得了意想不到的高分，但已经没有时间进行微调了.....

以下模型为我取得了最好的分数，但它并不“美观” :(。

• 操作系统: Windows 10
• 框架: TensorFlow 1.4 / Keras 2.2
• 数据集: 'clean-kalman/train_clean_kalman.csv' 并移除了 batch8
• 模型: 基于 https://www.kaggle.com/siavrez/wavenet-keras 修改的 WaveNet
• 优化器: Adam (Adam > Ranger > SGD)
• 损失函数: BCE + 加权 macro_double_soft_f1 (BCE > CE = Focal Loss > Macro F1)
• Batch Size: 16
• 特征工程:
  • 在开始阶段添加了: rfc / lag_with_pct 123 / roll_stats 5 / gradient1-4
  • 在模型层添加了 (数据增强后): abs(sig), exp(sig), sig^^2
• 数据增强: 翻转 / 高斯噪声 +-0.0075 / 随机偏移 5
• 后处理: 翻转 TTA + Group 5 折平均

关键点

• 关键点 1 (早期无 rfc 特征时): 使用 batch 1-4
• 关键点 2: 使用低学习率训练且不使用早停

  reduce_lr = ReduceLROnPlateau(min_delta = 0.000001, cooldown = 3, factor=0.3, patience=15, min_lr=1e-6, verbose=2)
  early_stopping = EarlyStopping(patience=1000, verbose=2)

• 关键点 3: 损失函数