摘要: Dimitris Papadias是港科大的教授，陶宇飞的导师。他写过一个slides，叫作《Instructions for PhD Students》。虽然是这位大牛是做数据库方向的，但是他的谏言对于每一个博士生都非常有用。置顶，每天欣赏一遍。

摘要: Attention 的计算公式中 Attention $(Q, K, V)=\operatorname{softmax}\left(\frac{Q K^{\top}}{\sqrt{d}}\right)$ 为什么要除以 $\sqrt{d}$ ?

原文链接： https://mp.weixin.qq.com/s/3o0NgpFPKS1RNICNuMuygg