有效

一种分布式异步主动标注方法

黄圣君、宗辰辰、宁鲲鹏、唐英鹏
南京航空航天大学

摘要

本发明提供了一种分布式异步主动标注方法,在具有多个server节点和worker节点的分布式场景下,server节点负责训练并更新预测模型,worker节点选择待查询节点,交由标注者进行标注;模型更新时,每个server独立训练预测模型;每个worker从自身维护的未标注数据池中主动选择,在多个worker间采用多样化的采样策略;通过该框架,信息可以经过两个共享的数据池在server节点、worker节点和标注者之间高效地进行通信,使三者可以异步地进行工作;一方面,该方法避免了主动学习中模型训练、实例选择和标签查询三个步骤之间的同步,从而避免了标注者的等待,提高了标记效率;另一方面,在Multi‑Server的更新模式下,增加模型更新的频率,在worker之间引入多种采样策略,可以保持主动学习样本选择的有效性。