1.一种大规模关系图谱准实时构建方法,其特征在于,所述方法包括:设计点、边、属性数据标准;对于静态数据,根据点、边、属性数据标准对论文引文数据构建对应的点模型、边模型以及点边模型对静态数据进行处理,得到静态的点、边数据,生成不同类型的静态点边hive表;对于动态数据,根据点、边、属性数据标准对存量数据进行建模,对增量数据进行实时处理,形成动态点边hive表;通过串行任务编排,对增量数据治理模型定时运行,处理增量数据,自动更新相关联的数据;在预设时刻将静态点边hive表和动态点边hive表导入hugegraph图数据库,得到引文图数据;从论文引文数据中抽取边信息和点信息,得到引文关系表和论文信息实体表,将引文关系表和论文信息实体表合并,构成完整图模型数据。
2.根据权利要求1所述的大规模关系图谱准实时构建方法,其特征在于,设计点、边、属性数据标准,包括:对多种数据来源定义对应的若干个实体点和若干个点边关系,设置存储总量为TB级,设置实体点数量为百亿级,设置关系边数量为千亿级;对点的标识采用标识前缀+value值的形式进行表示;点属性包括点标识、点类型、显示值、更新时间、分区字段;边属性包括细类、起始点、终止点、更新时间、备注、分区字段。
3.根据权利要求1所述的大规模关系图谱准实时构建方法,其特征在于,从论文引文数据中抽取边信息的具体过程包括:在数据建模平台中对论文引文数据进行数据过滤,提取前一天数据;对前一天数据进行数据过滤,得到有效引用方论文ID;通过SQL算子分别将被引用方论文ID由一条数据拆分成多个,每个论文ID是一条数据;通过数据聚合算子将同一天相同的引用方论文ID和被引用方论文ID进行聚合计数;对聚合结果采用表结构处理算子进行处理,生成细类为引用、起始点为引用方论文ID、终止点为被引用方论文ID、更新时间为引用日期的引文关系表。
4.根据权利要求1所述的大规模关系图谱准实时构建方法,其特征在于,从论文引文数据中抽取点信息的具体过程包括:在数据建模平台中对论文信息数据进行数据过滤,提取前一天的论文信息;前一天的论文信息包含论文ID以及对应的论文信息;对前一天的论文信息通过数据去重算子按论文ID进行去重;对去除结果采用添加字段算子在在论文ID前面添加'paper_'构建点标识,点类型为论文,显示值为论文标题;采用全部合并算子将点标识和历史形成的论文信息实体表进行合并;对合并结果采用去重算子对点标识和显示值进行去重,并对去重结果进行数据过滤,提取前一天的数据,得到论文信息实体表。
5.根据权利要求1所述的大规模关系图谱准实时构建方法,其特征在于,抽取的边信息形成引文关系表,抽取的点信息形成论文信息实体表;将引文关系表和论文信息实体表合并,包括:在数据建模平台中对所述引文关系表进行数据过滤,提取前一天的引文关系信息;对前一天的引文关系信息进行表结构处理,得到引用方论文ID和被引用方论文ID,重命名为点标识;对引用方论文ID和被引用方论文ID采用全部合并算子处理后采用数据集合算子对论文点标识和更新时间进行聚合,得到每天的论文地址实体表;对每天的论文地址实体表通过添加字段算子,设置排序字段为1,并将论文ID字段重命名为显示值;对所述论文信息实体表通过数据过滤和添加字段算子处理后,提取出前一天数据,并设置排序字段为3;对历史形成的论文图谱实体表通过数据过滤和添加字段算子处理后,提取出前一天数据,并设置排序字段为2,对设置排序字段的每天的论文地址实体表、从论文信息实体表和历史形成的论文图谱实体表中提取出的前一天数据采用全部合并算子进行全部合并;对得到的全部合并结果通过数据去重算子对点标识进行去重,并根据排序字段进行排序,然后通过数据过滤算子过滤出排序字段不为2的数据,得到论文图谱实体表。
6.根据权利要求1所述的大规模关系图谱准实时构建方法,其特征在于,对于动态数据,根据点、边、属性数据标准对存量数据进行建模,对增量数据进行实时处理,形成动态点边hive表,包括:对于动态数据,根据点、边、属性数据标准对存量数据进行建模,通过模型获取存量的所有数据;按分区字段构建数据治理模型进行增量数据处理,形成不同类型的动态点边hive表。
7.根据权利要求1所述的大规模关系图谱准实时构建方法,其特征在于,所述方法还包括:通过机器学习和深度学习方法对数据治理模型进行优化。
8.一种大规模关系图谱准实时构建装置,其特征在于,所述装置包括:关系图谱标准设计模块,用于设计点、边、属性数据标准;图数据的构建模块,用于对于静态数据,根据点、边、属性数据标准对论文引文数据构建对应的点模型、边模型以及点边模型对静态数据进行处理,得到静态的点、边数据,生成不同类型的静态点边hive表;对于动态数据,根据点、边、属性数据标准对存量数据进行建模,对增量数据进行实时处理,形成动态点边hive表;通过串行任务编排,对增量数据治理模型定时运行,处理增量数据,自动更新相关联的数据;在预设时刻将静态点边hive表和动态点边hive表导入hugegraph图数据库,得到引文图数据;数据治理模型构建模块,用于从论文引文数据中抽取边信息和点信息,并将边信息和点信息合并,构成完整图模型数据。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的大规模关系图谱准实时构建方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的大规模关系图谱准实时构建方法。