arXiv · cs.AI · Jongseok Park, Sunga Kim, Alvin Cheung, Ion Stoica · 6 小时前模型评分44
Qrita：基于枢轴截断与选择的 图形处理器（GPU，Graphics Processing Unit） 高性能 Top-k 与 Top-p 算法
Qrita: High-performance Top-k and Top-p Algorithm for GPUs using Pivot-based Truncation and Selection
导读
Qrita 提出一种面向 图形处理器（GPU，Graphics Processing Unit） 的 Top-k 与 Top-p 采样算法，用基于高斯分布的 σ 截断缩小词表搜索空间，并用四元枢轴搜索将迭代次数减半且保证输出确定。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “In this work, we propose Qrita, an efficient Top-k and Top-p algorithm based on a pivot-based truncation and selection.”
- “Qrita is now the default Triton Top-k and Top-p sampler of vLLM, and its implementation is available at this https URL .”
来源：arXiv · cs.AI · arxiv.org