2024-09-16
•
Raikay
注意力机制是如何“注意”的？一个词看懂上下文背后的秘密
你是否好奇，当 Transformer 模型读一句话时，是如何动态判断“当前这个词，最该参考前面哪几个词”的？这个过程并非魔法，也不是人工编写的规则，而是由 Q、K、V 三个向量 配合训练完成的一套精 …
注意力机制
Transformer
QKV
阅读更多