arXiv · cs.AI · Yuanzhe Li, Jianing Deng, Jingtong Hu, Tianlong Chen, Song Wang, Huanrui Yang · 11 小时前模型评分43
DMR:面向多步 大语言模型(LLM,Large Language Model) 交互的动态混合精度路由框架
Dynamic Mixed-Precision Routing for Efficient Multi-step LLM Interaction
导读
研究者提出动态混合精度路由(DMR,Dynamic Mixed-Precision Routing)框架,在每个决策步自适应选择同一大语言模型(LLM,Large Language Model)的高精度或低精度版本,仅用轻量路由器识别约 1% 的关键步骤。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
事件类型:研究发布
证据摘录
- “Based on this observation, we propose Dynamic Mixed-Precision Routing (DMR), a framework that adaptively selects between high-precision and low-precision versions of the same LLM at each decision step.”
来源:arXiv · cs.AI · arxiv.org