[第18名解决方案] Transformer + bpp卷积 + 相对位置偏置

感谢Kaggle和组织者举办这场比赛。这次比赛对我来说是一次很好的经历。

特征

我只使用了主办方提供的RNA序列和bpp矩阵。我尝试了其他特征，但效果并不明显。

模型

x1 = rna_sequence
x2 = bpp_matrix
x = tf.keras.layers.Embedding(num_vocab, hidden_dim, mask_zero=True)(x1)
x2 = tf.expand_dims(x2, axis=1)
x2 = tf.keras.layers.Conv2D(16, 16, activation='gelu', padding='same', data_format='channels_last')(x2)
pos = RelativePositionBias(16, 32, 128)(x, x)
for i in range(12):
    x = rel_transformer_block(hidden_dim, hidden_dim*4, head=16, drop_rate=0.2, dtype=dtype)([x, x2, pos])
x = tf.keras.layers.Dense(2)(x)

训练

• 轮次：80
• 批大小：128
• 学习率：1e-3，使用余弦衰减
• 优化器：Ranger
• 损失：MAE损失
• 仅使用单个模型

疑问

当我在模型中添加Conv2D层时，学习速度明显变慢了。有人知道为什么吗？