#5 解决方案 (CatBoost + Keras)

我甚至不知道从何说起，因为这是我第一次参加比赛，能够获得第 5 名对我来说既非常愉快又出乎意料。
祝贺获胜者。@ambrosm 的双分支解决方案非常不寻常，我从中学到了很多东西。
我的解决方案相对简单一些，我使用了深度为 8 的 CatBoost Langevin 模型，并设置了一个巨大的正则化系数（这有助于训练不会陷入死点）。
然后我将 CatBoost 模型的结果与 Keras 解决方案进行了结合……

我使用了修改过的 Mish 激活函数，我让激活函数变得更加敏感（请小心使用，它经常会导致梯度消失）：

def custom_mish(x):
    return tf.keras.layers.Lambda(lambda x: x*tf.keras.backend.tanh(1+tf.keras.backend.log(tf.keras.backend.exp(x*0.7978845608028654))))(x)

我很乐意回答大家的问题。祝大家在接下来的比赛中好运。