跳到正文
arXiv · cs.AI · Baha Rababah, Shahzeb Qamar, Lorenz Sparrenberg, Rafet Sifa, Murat Kantarcioglu, Carson K. Leung, Cuneyt Gurcan Akcora · 13 小时前模型评分34

TopoQuant:用拓扑分析刻画量化大语言模型的行为漂移

TopoQuant: Topological Framework to Characterize Behavioral Shifts in Quantized Large Language Models

导读

TopoQuant 提出用拓扑数据分析(TDA,Topological Data Analysis)量化自注意力权重的结构漂移,并将其与量化大语言模型的行为变化关联。

分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “We present TopoQuant, a topological framework that uses topological data analysis (TDA) to quantify structural drift in self-attention weights and relate it to behavioral changes in quantized LLMs.”

来源:arXiv · cs.AI · arxiv.org