大规模预训练模型在知识表示、推理与泛化方面存在关键科学问题,特别是在长序列建模与复杂决策过程中存在技术瓶颈,限制了模型在复杂推理任务和多样化应用场景中的表现。
本项目系统开展模块化可组合的知识表征结构理论研究,聚焦大模型知识表示、推理与泛化等关键科学问题,提出了'基于傅里叶位置编码的长文本泛化方法'和'基于偏好树的开放域过程奖励模型构建方法'两项专利技术,突破长序列建模与复杂决策过程中的技术瓶颈,支撑多跳复杂推理任务的实现。
本项目成果具有显著的前沿性与国际认可度,发表了3篇高水平学术论文,其中2篇发表于国际顶级学术会议ICML与ACL,1篇发表于影响因子达11.1的IEEE TCSVT期刊;成功申请了2项国家发明专利,技术聚焦大模型关键技术瓶颈,具备重要工程应用价值;研究成果可广泛应用于智慧教育、智慧医疗等多个重要领域,展现出广阔的潜在应用前景与显著的产业转化价值。
20251129
信息传输、软件和信息技术服务业
已通过实验验证了所提出方法在公开数据集上表现出了良好性能,具备泛化性,具备推广应用的潜力。
暂无特殊要求。
可国(境)内外转让
本项目的研究工作紧紧围绕着大模型知识探究的研究主线,研究成果可用于泛在场景的多跳复杂推理的各类实际任务,例如:智慧教育、智慧医疗等场景,具有广阔的潜在应用场景和较大的产业价值。
北京市自然科学基金外籍学者“汇智”项目
北京市科学技术委员会;中关村科技园区管理委员会
本项目以大规模预训练模型及其多样化应用场景为核心研究抓手,围绕大模型知识表示、推理与泛化等关键科学问题,系统开展了一系列创新性研究,取得了丰硕的研究成果。在研究过程中,团队共发表高水平学术论文3篇,其中包括2篇发表于人工智能领域的国际顶级学术会议——ICML(International Conference on Machine Learning)与ACL(Association for Computational Linguistics),彰显了研究的前沿性与国际认可度;另有1篇论文发表于人工智能领域知名期刊IEEE TCSVT(IEEE Transactions on Circuits and Systems for Video Technology),该期刊影响因子达11.1,进一步体现了研究成果的深度与学术影响力。 在技术转化与知识产权方面,本项目基于上述理论成果,成功申请了2项国家发明专利,分别为“基于傅里叶位置编码的长文本泛化方法及装置”与“基于偏好树的开放域过程奖励模型构建方法及装置”。这些专利聚焦于大模型在长序列建模与复杂决策过程中的关键技术瓶颈,具备重要的工程应用价值。 本项目始终立足于“大模型知识探究”这一研究主线,致力于推动大模型在复杂推理与场景泛化方面的能力突破。研究成果能够有效支撑泛在环境下多跳复杂推理任务的实现,可广泛应用于智慧教育(如个性化知识推理与辅导系统)、智慧医疗(如临床决策辅助与病历语义分析)等多个重要领域,展现出广阔的潜在应用前景与显著的产业转化价值。
