基于大数据架构的互联网广告风险监测方法及系统

1.一种基于大数据架构的互联网广告风险监测方法，其特征在于，所述方法包括：周期性地从互联网上采集数据，所述数据包括：文字数据和图片数据；实时接入所采集数据，并对数据进行校验清洗以及图片初步识别；将接入的数据进行存储入库；其中，将经过初步识别的图片输入第一级卷积神经网络，通过第一级卷积神经网络识别图片中的文字区域和图像区域；将识别出的图像区域和文字区域分别输入第二级神经网络得到图像区域识别结果和文字区域识别结果，所述图像区域识别结果包括识别图像是否为正常图像，或者识别图像为正常图像或非正常图像的概率；将文字区域的识别结果与所述采集数据中直接得到的文字数据转化为文本向量一起输入第三级神经网络得到文字识别结果；其中第三级神经网络同时通过两种模型的通道接收并行输入，该第三级神经网络中的每一通道分别包括卷积层，池化层和输出层；第一种模型为Skip-gram模型，其用来接收采集数据中直接得到的文字数据；第二种模型为CBOW模型，用于接收文字区域中识别的结果；将通道对应的输入文本向量作为对应通道中卷积层的输入，所述卷积层用于对所述文本向量进行卷积运算得到第一特征矩阵，将所述第一特征矩阵加上偏置矩阵作为激活函数的输入进行非线性运算得到第二特征矩阵；将所述第二特征矩阵作为池化层的输入，所述池化层用于将所述第二特征矩阵中每个向量中最大的权重进行投影得到归一化的第三特征矩阵；将所述第三特征矩阵作为输出层的输入，所述输出层用于根据所述第三特征矩阵输出结果为文字的识别结果；基于分析提取的文字识别结果和图像识别结果，结合违法行为特征库，提取出涉嫌违法的广告并建立涉嫌违法广告的分布式索引服务，提供实时查询服务。 2.根据权利要求1所述的基于大数据架构的互联网广告风险监测方法，其特征在于，所述周期性地从互联网上采集数据，所采集数据包括平台广告的图片链接和文字内容信息。 3.根据权利要求2所述的基于大数据架构的互联网广告风险监测方法，其特征在于，所述周期性地从互联网上采集数据具体采用定向或非定向的方式完成。 4.根据权利要求3所述的基于大数据架构的互联网广告风险监测方法，其特征在于，所述周期性地从互联网上采集数据包括：建立一组分布式爬虫作为信息提供者，递归地采集网页网址信息；建立另一组分布式爬虫作为信息消费者，根据网页网址实时采集网页文字内容和图片链接。 5.根据权利要求1所述的基于大数据架构的互联网广告风险监测方法，其特征在于，所述第三级神经网络中通过对每个训练广告特征标记和分词处理，将分词处理后得到的训练分词与相应的特征标记进行对应，分词处理具体可以利用CRF算法进行分词处理；或者利用最大匹配分词算法进行分词处理；或者利用最小切分算法进行。 6.一种基于大数据架构的互联网广告风险监测系统，其特征在于，所述系统包括：数据采集层、数据汇聚层、数据存储层、数据分析层和数据应用层；所述数据采集层，用于周期性地从互联网上采集数据，所述数据包括：文字数据和图片数据；所述数据汇聚层，用于实时接入所采集数据，并对数据进行校验清洗以及图片初步识别；所述数据存储层，用于将接入的数据进行存储入库；所述数据分析层，用于将经过初步识别的图片输入第一级卷积神经网络，第一级卷积神经网络用于识别图片中的文字区域和图像区域；将识别出的图像区域和文字区域分别输入第二级神经网络得到图像区域识别结果和文字区域识别结果，所述图像区域识别结果包括识别图像是否为正常图像，或者识别图像为正常图像或非正常图像的概率；将文字区域的识别结果与所述采集数据中直接得到的文字数据转化为文本向量一起输入第三级神经网络得到文字识别结果；其中第三级神经网络同时通过两种模型的通道接收并行输入，该第三级神经网络中的每一通道分别包括卷积层，池化层和输出层；第一种模型为Skip-gram模型，其用来接收采集数据中直接得到的文字数据；第二种模型为CBOW模型，用于接收文字区域中识别的结果；将通道对应的输入文本向量作为对应通道中卷积层的输入，所述卷积层用于对所述文本向量进行卷积运算得到第一特征矩阵，将所述第一特征矩阵加上偏置矩阵作为激活函数的输入进行非线性运算得到第二特征矩阵；将所述第二特征矩阵作为池化层的输入，所述池化层用于将所述第二特征矩阵中每个向量中最大的权重进行投影得到归一化的第三特征矩阵；将所述第三特征矩阵作为输出层的输入，所述输出层用于根据所述第三特征矩阵输出结果为文字 的识别结果；所述数据应用层，基于分析提取的文字识别结果和图像识别结果，结合违法行为特征库，提取出涉嫌违法的广告并建立涉嫌违法广告的分布式索引服务，提供实时查询服务。 7.根据权利要求6所述的基于大数据架构的互联网广告风险监测系统，其特征在于，所述数据采集层采用定向或非定向的方式从互联网上采集数据。 8.根据权利要求6所述的基于大数据架构的互联网广告风险监测系统，其特征在于，所述数据采集层包括：第一建立模块，用于建立一组分布式爬虫作为信息提供者，递归地采集网页网址信息；第二建立模块，用于建立另一组分布式爬虫作为信息消费者，根据网页网址实时采集网页文字内容和图片链接。 9.根据权利要求6所述的基于大数据架构的互联网广告风险监测系统，其特征在于，所述第三级神经网络中通过对每个训练广告特征标记和分词处理，将分词处理后得到的训练分词与相应的特征标记进行对应，分词处理具体可以利用CRF算法进行分词处理；或者利用最大匹配分词算法进行分词处理；或者利用最小切分算法进行。