1.基于可配置规则的多源数据融合方法,其特征在于,所述方法包括:S1、在用数服务模块中,配置数源和标准字段规则,基于数源规则形成数源描述信息,基于标准字段规则形成标准字段描述信息;所述用数服务模块是封装了数源查询和组合数据功能的独立模块;S2、用数服务初始化时,用数服务模块基于数源描述信息初始化对应的数源,并进行缓存;对应的数源处于启用状态;S3、业务系统提交数据查询请求,用数服务模块根据数据查询请求中的请求数据确定对应的标准字段,进行数据查询时,查询包含该些标准字段对应数据的数源;S4、当步骤S3的结果中包含多个数源时,进行多源合一筛选,获得筛选后数源;基于筛选后数源获取请求数据;S5、基于查询字段,将获取的一个或多个请求数据按照标准化的数据格式,输出为标准字段数据;在执行查询请求之前,用数服务模块基于查询请求对应的数源信息,获取对应的唯一标识符,并在缓存中查询是否存在具有该唯一标识符的缓存;若具有该唯一标识符的缓存存在,且有效,则用数服务模块将该缓存中的数据作为查询结果直接返回,否则用数服务模块执行查询请求,并在完成数据查询后将返回结果刷新到缓存中,并为缓存中数据生成唯一标识符;所述唯一标识符基于数源ID、查询参数生成,具体方式为:将数源ID和查询参数组合为一个字符串S: ;S 1 -S n 代表各个输入参数,n表示字符的数量;定义函数: ;其中,‘a’表示字符a,i表示字符串中第i个字符;唯一标识符的计算方式为: ;其中,Base表示进制,MOD表示取余,hash[0]取0。
2.根据权利要求1所述的方法,其特征在于,所述S1中,所述数源描述信息包括数源规则基本信息、预定义数据结构、入参和出参、数源连接信息;所述标准字段描述信息包括标准字段基本信息、格式转换信息、校验规则、数源关联规则。
3.根据权利要求2所述的方法,其特征在于,所述标准字段基本信息描述标准字段的基本的描述信息;格式转换信息用以区分对象类型和字符串类型;校验规则用以将定义的规则添加到标准字段中;数源关联规则包含标准字段名称、数据类型、关联的其他数源、关联的数源的具体字段。
4.根据权利要求1所述的方法,其特征在于,所述S5中,标准化的数据格式包括:标准字段名称、标准字段编码、筛选后数源数据、格式转换信息。
5.根据权利要求1所述的方法,其特征在于,所述S4中,多源合一筛选方式为:以数源响应时间作为指标,筛选响应最快的数源,作为筛选后数源;或者,基于检查规则进行筛选,筛选出符合检查规则的数源。
6.根据权利要求5所述的方法,其特征在于,以数源响应时间作为指标进行多源合一选的具体方式为:以数源为横轴,以响应时间为纵轴,通过插值法,建立数源-响应时间拟合曲线;再基于响应时间要求,筛选出对应的数源。
7.根据权利要求2所述的方法,其特征在于,对获取到的多源合一后的数据,基于格式转换信息获取其数据类型,基于数据类型要求对多源合一后的数据进行格式转换;所述数据类型包括字符串类型、对象类型。
8.基于可配置规则的多源数据融合系统,其特征在于,所述系统包括业务系统模块、用数服务模块、前端配置模块、接口类型数源、数据库类型数源;所述业务系统模块基于数据使用需求,向用数服务模块提交数据查询请求,并接收用数服务模块返回的查询结果;所述前端配置模块用于对用数服务系统配置数源规则和标准字段规则;用数服务模块基于数源规则形成数源描述信息,基于标准字段规则形成标准字段描述信息;用数服务模块是封装了数源查询和组合数据功能的独立模块;用数服务模块包括数源查询单元,数源查询单元根据数据查询请求中的请求数据确定对应的标准字段,进行数据查询时,查询包含该些标准字段对应数据的数源;用数服务模块还包括筛选单元,在数源查询单元的查询结果中包含多个数源时,筛选单元进行多源合一筛选,获得筛选后数源,并基于筛选后数源获取请求数据;用数服务模块还包括输出单元,用于将获取的一个或多个请求数据按照标准化的数据格式,输出为标准字段数据;接口类型数源、数据库类型数源分别连接用数服务模块,用以提供待查询的数源;在执行查询请求之前,用数服务模块基于查询请求对应的数源信息,获取对应的唯一标识符,并在缓存中查询是否存在具有该唯一标识符的缓存;若具有该唯一标识符的缓存存在,且有效,则用数服务模块将该缓存中的数据作为查询结果直接返回,否则用数服务模块执行查询请求,并在完成数据查询后将返回结果刷新到缓存中,并为缓存中数据生成唯一标识符;所述唯一标识符基于数源ID、查询参数生成,具体方式为:将数源ID和查询参数组合为一个字符串S: ;S 1 -S n 代表各个输入参数,n表示字符的数量;定义函数: ;其中,‘a’表示字符a,i表示字符串中第i个字符;唯一标识符的计算方式为: ;其中,Base表示进制,MOD表示取余,hash[0]取0。
9.基于可配置规则的多源数据融合设备,其特征在于,所述设备包含处理器、存储器、接口类型数源系统、数据库类型数源系统;所述处理器调用存储器中存储的指令,以执行权利要求1-7任一所述的基于可配置规则的多源数据融合方法。