跳到正文
arXiv · cs.AI · Yuanzhe Li, Jianing Deng, Jingtong Hu, Tianlong Chen, Song Wang, Huanrui Yang · 11 小时前模型评分43

DMR:面向多步 大语言模型(LLM,Large Language Model) 交互的动态混合精度路由框架

Dynamic Mixed-Precision Routing for Efficient Multi-step LLM Interaction

导读

研究者提出动态混合精度路由(DMR,Dynamic Mixed-Precision Routing)框架,在每个决策步自适应选择同一大语言模型(LLM,Large Language Model)的高精度或低精度版本,仅用轻量路由器识别约 1% 的关键步骤。

生成六维分析
分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “Based on this observation, we propose Dynamic Mixed-Precision Routing (DMR), a framework that adaptively selects between high-precision and low-precision versions of the same LLM at each decision step.”

来源:arXiv · cs.AI · arxiv.org