arXiv · cs.AI · Sangwoo Park, Woongyeong Yeo, Seanie Lee, Yumin Choi, Hyomin Lee, Kangsan Kim, Jinheon Baek, Seong Joon Oh, Sung Ju Hwang · 10 小时前模型评分38
SELFCI：用互补自蒸馏让大语言模型兼顾上下文完整性与任务性能
It Takes Two: Complementary Self-Distillation for Contextual Integrity in LLMs
导读
研究者提出互补自蒸馏框架 SELFCI，把信息抑制与任务求解解耦，通过两个独立的反向 KL 散度分别对齐“保留任务信息”和“最小必要披露”两个教师分布，形成专家乘积（PoE）目标。实验显示，SELFCI 不依赖昂贵的外部监督，在上下文完整性（CI）披露决策上稳定优于 GRPO 等在线强化学习基线，并能泛化到智能体工作流与累积隐私上下文场景。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “To overcome this privacy-utility trade-off, we propose SELFCI, a complementary self-distillation framework that decouples information suppression from task resolution.”
来源：arXiv · cs.AI · arxiv.org