研究者提出SELFCI自蒸馏框架
热点事件持续更新
研究者提出SELFCI自蒸馏框架
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
研究者 Sangwoo Park 等人提出互补自蒸馏框架 SELFCI,目标是在大语言模型处理任务时,既保留完成任务所需的信息,又控制信息披露的范围。该框架把信息抑制与任务求解拆开,用两个独立的反向 KL 散度,分别对齐“保留任务信息”和“最小必要披露”两个教师分布,形成专家乘积(PoE)目标。 据该研究称,SELFCI 不依赖昂贵的外部监督,在上下文完整性披露决策上稳定优于 GRPO 等在线强化学习基线,并可泛化到智能体工作流与累积隐私上下文场景。上述比较结果来自研究者的实验报告。
AI 根据报道生成 · 4 小时前更新
最新进展11月3日 13:00
SELFCI:用互补自蒸馏让大语言模型兼顾上下文完整性与任务性能报道时间线
沿着报道,了解事件的不同侧面。
11月3日
- arXiv · cs.AISELFCI:用互补自蒸馏让大语言模型兼顾上下文完整性与任务性能
研究者提出互补自蒸馏框架 SELFCI,把信息抑制与任务求解解耦,通过两个独立的反向 KL 散度分别对齐“保留任务信息”和“最小必要披露”两个教师分布,形成专家乘积(PoE)目标。实验显示,SELFCI 不依赖昂贵的外部监督,在上下文完整性(CI)披露决策上稳定优于 GRPO 等在线强化学习基线,并能泛化到智能体工作流与累积隐私上下文场景。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。