METASPEECH
[浏覽需要 0 積分] 發布于

《線性注意力簡史:從模仿、創新到反哺》

https://kexue.fm/archives/11033

本文简要梳理了线性 Attention 的发展脉络,并介绍了部分模型的数学原理。线性 Attention 从模仿 Softmax Attention 起步,逐渐发展出自身特色,如今已成为极具竞争力的序列建模方案,甚至反过来为 Softmax Attention 的发展提供了新思路,这一过程本身充满了趣味性和启发性。

浏覽 (83)
點贊 (1)
收藏
評論