Dec 7, 2015 · 深度学习论文中经常看到"sparse"，所以应该是重要的概念，但一直不理解很困惑； 刚才在quora上的回答感觉很有帮助，尝试总结以下： sparse 代表数据为0，sparse数据的存 …

通俗解释 Sparse Attention 的原理： 想象你在读一本长篇小说，如果每一页都要仔细读完全文才能理解剧情，效率会非常低。实际上，你会 快速跳过无关段落，只聚焦关键章节和人物对话， …

Sparse Transformer 减轻计算量的方式通过让连接模式作用到 上，从而减轻 的复杂度。 如式 (3)。 对于第 个时间片的输入，首先使用 Key 和 Value 的权值矩阵乘以输入特征，得到 和 。 …

DeepSeek V3.2，可以说是算法同学最想要、最符合直觉的top 2048 token的sparse attention了，然而，经历过这场适配才能知道，背后有多少infra的坑要踩。

Feb 18, 2025 · Native Sparse Attention (NSA) 原理图解 本文将通过图解的方式，详细介绍 Native Sparse Attention (NSA) 的工作原理。NSA 是一种稀疏注意力机制，它通过组合三种不同的注 …

稀疏主成分分析简介 变量经过PCA后得到的主成分通常在多个原始变量上都不为 0 ，这导致进行PCA后的主成分的含义较为模糊，给数据分析带来了一定难度，因此Zou等（2006）提出的一 …

"Fast Marginal likelihood maximisation for sparse Bayesian models"从快速边缘似然最大化的角度推导了SBL的快速更新算法。 然后在2008年左右，压缩感知如日中天，Ji Shihao在压缩感知 …

要回答什么是sparse feature，可能首先要理解什么是feature。 一般在machine learning意义上，我们常说的feature，是一种对数据的表达。当然，要衡量一种feature是否是合适的表达，要根 …

知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业 …

3、ROI feature 和 Learnable proposal feature 用 optimal bipartite matching做匹配，而不是沿用IOU做匹配。 4、Detr中使用了 transformer让每个object query都和全局的特征图交互， …