Could this lead to a bug due to dimension mismatch?

[sonrisa07]

https://github.com/hyunwoongko/transformer/blob/0e5ce57589d7307cf76b53241cc523841ff67655/models/layers/scale_dot_product_attention.py#L35C5-L35C57

The dimensions of q, k, v entering the ScaledDotProductAttention module are [batch, head, seq_len, d_model], which results in the score dimension being [batch, head, seq_len, seq_len]. However, the mask does not have the head dimension and is only [batch, seq_len, seq_len]. Could this dimension mismatch in the referenced code cause an error?

[EEbonder]

pytorch的广播机制汇报会补齐这个error吧？自动将mask调整为[batch, 1, seq_len, seq_len] 因为mask通常是多头共用的，所以经过广播机制应用给了多个head（我自己的看法，我也是个初学者）

[sonrisa07]

pytorch的广播机制汇报会补齐这个error吧？自动将mask调整为[batch, 1, seq_len, seq_len] 因为mask通常是多头共用的，所以经过广播机制应用给了多个head（我自己的看法，我也是个初学者）

有时候会有问题的，我之前写transformer照着这样写没问题，但我发评论的时候，把我之前写的transformer弄过来了但会报错。这里单单用 @ 矩阵乘法有时会不匹配，自己要 unsqueeze