一种提升通信运营商账户海量数据处理性能的方法

1.一种提升通信运营商账户海量数据处理性能的方法，其特征在于：该方法包括以下步骤：S1、账户分级；在通信运营商的融合计费账务系统中，通过分析融合计费账务系统典型应用处理效率及外部查询接口响应日志，预设大账户识别条件参数，将满足预设大账户识别条件之一的账户标识为大账户；S2、大账户同类异步消息过滤；针对同一大账户在预设时间范围内超出设定规模量的相同异步消息，进行消息过滤，该大账户后续的业务能力只执行一次；S3、获取基础数据；根据S2步骤过滤后的消息，从融合计费账务系统中的欠费索引表中定位表名，循环表名列表，多线程分页取出基础数据；S4、构造结构化数据；根据通信运营商业务要求以及S3步骤中取出的基础数据的特点，构造结构化数据；所述构造结构化数据具体是指，将原始基础数据数值正负进行分组；正、负分组后的基础数据分别按账期属性分组；将按账期属性分组后得到的数据集再按照用户标识与账目类型或用户标识与编码属性分组；从构造的结构化数据中取出同账期属性、同用户标识与同账目类型或同用户标识与编码属性的正负分组数据进行费用明细正负冲抵；冲抵后，从冲抵后的数据中，将同账期、同用户标识的正负分组数据取出进行费用明细正负冲抵；从同账期、同用户标识费用明细正负冲抵后的数据中，取出同账期的正负分组数据，进行费用明细正负冲抵；从同账期的正负冲抵后的数据中，取出不同账期的正负分组数据，进行费用明细正负冲抵；上述冲抵过程中，依次进行，直至负值分组中没有元素，冲抵结束；或者上述冲抵过程全部完成后，冲抵结束，得到剩余结果数据；S5、分段处理；将S4步骤得到的剩余结果数据进行分段，按照分段结果分别对分段后的剩余结果数据进行处理。 2.如权利要求1所述的一种提升通信运营商账户海量数据处理性能的方法，其特征在于，S2步骤中，进行消息过滤具体是指，通信运营商的融合计费账务系统在接收生产者发送的消息时，指定键值key和账户标识groupId，将相同groupId的消息归集在同一个队列内；设置异步消息过滤的消费模式为有序消费，使得融合计费账务系统中的同一个消费者实例只会消费固定一个或几个队列里的消息；在融合计费账务系统中的消费者实例内部设置缓存计数器和延迟队列，用以判断、记录相同key值的消息状态和触发动作。 3.根据权利要求2所述的一种提升通信运营商账户海量数据处理性能的方法，其特征在于，融合计费账务系统中的消费者实例进行消息过滤的过程为：S201、消费第一条消息时，记录该消息key值，同时缓存计数器由零变一，触发业务能力；S202、消费第二条消息时，判断缓存计数器中是否存在相同key值的消息，如果存在，则缓存计数器由一变二，同时该第二条消息进入延迟队列；S203、消费第三条消息时，判断缓存计数器中是否存在相同key的消息，如果存在，则对该第三条消息进行打标，进入延迟队列，不再触发；S204、当延迟队列中的消息片达到时间要求后，进行业务出发，缓存计数器由二变一；S205、当缓存计数器时间片达到时间要求后，缓存计数器清零。 4.如权利要求1-3任意一项所述的一种提升通信运营商账户海量数据处理性能的方法，其特征在于：S3步骤中，所述多线程分页取出基础数据的计算公式为：N=⌈A/(T×P)⌉；式中，N表示多线程分页取数的循环个数；A表示单表基础数据总额；T表示线程池个数；P表示单页条数；⌈*⌉符号表示向上取整。 5.根据权利要求1-3任意一项所述的一种提升通信运营商账户海量数据处理性能的方法，其特征在于，所述预设时间范围是指，固定时间片，即操作一次业务所需要的时间。 6.根据权利要求1-3任意一项所述的一种提升通信运营商账户海量数据处理性能的方法，其特征在于，所述预设大账户识别条件参数包括以下任意一种：账户下号码数大于1000；历史欠费账单条数大于6000；账户下号码数大于800，且历史欠费账单条数大于1000；账户下号码数大于600，且历史欠费账单条数大于2000；账户下号码数大于500，且历史欠费账单条数大于3000；账户下号码数大于400，且历史欠费账单条数大于4000；账户下号码数大于300，且历史欠费账单条数大于5000；账户下号码数大于200，且历史欠费账单条数大于5500。 7.根据权利要求1-3任意一项所述的一种提升通信运营商账户海量数据处理性能的方法，其特征在于，所述设定规模是指，达到大账户识别条件。 8.根据权利要求1-3任意一项所述的一种提升通信运营商账户海量数据处理性能的方法，其特征在于，所述分段处理指将数据按下游系统的处理能力进行分段处理。 9.如权利要求8所述的一种提升通信运营商账户海量数据处理性能的方法，其特征在于：S1步骤中，每月按照通信运营商的融合计费账务系统的数据情况，动态更新账户标识。