Mamba-2 / SSD 状态空间对偶与高效长序列建模
一、开篇：Transformers are SSMs2024 年 5 月，FlashAttention 的作者 Tri Dao 与 Mamba 的作者 Albert Gu 联手发表了一篇标题极具挑衅性的论文：《Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality》“Transformer 就是 SSM”——这个标题乍看像是标题党。Transformer 靠注意力、O ( N 2 ) O(N^2)O(N
)
