InstruBPM:用指令微调开源权重模型生成 BPMN 流程模型
InstruBPM 通过指令微调开源权重大语言模型,使其能直接从自然语言描述生成 BPMN 流程模型,并采用参数高效微调与量化以支持本地部署。在 BPMN 数据集上,该紧凑微调模型在 BLEU、ROUGE-L、METEOR 及相对图编辑距离等指标上优于未微调开源基线和强闭源模型,且资源需求更低。生成的图基本符合 BPMN 最佳实践,可作为减少建模工作量的起点,训练模型与脚本已公开。
InstruBPM 通过指令微调开源权重大语言模型,使其能直接从自然语言描述生成 BPMN 流程模型,并采用参数高效微调与量化以支持本地部署。在 BPMN 数据集上,该紧凑微调模型在 BLEU、ROUGE-L、METEOR 及相对图编辑距离等指标上优于未微调开源基线和强闭源模型,且资源需求更低。生成的图基本符合 BPMN 最佳实践,可作为减少建模工作量的起点,训练模型与脚本已公开。
作者提出 SecPO 损失函数与配套对抗训练流程,用于提升大语言模型抵御提示词注入的能力。在三种自适应攻击下,该方法的攻击成功率比 Meta-SecAlign 降低 1.5-14.5 倍;SecPO 损失相比 直接偏好优化(DPO,Direct Preference Optimization) 损失再降低 2.4-4.6 倍。
研究者提出双轴记忆初始化(DAMI,Dual-Axis Memory Initialization),在训练前联合配置门控参数 A_log 与 dt_bias,为不同注意力头分配几何时间尺度、为不同层设置低-高-低输入敏感度。
研究团队构建 CivHarness 系统,可保存 Freeciv 游戏状态、在不同决策处分支并回放到未来回合,为长时程对局提供可测量的反馈。基于此训练的 大语言模型(LLM,Large Language Model) Judge 模型 CivTelescope 在“记分板陷阱”局面上的判断准确率是现成语言模型的 1.3-2.0 倍。