一种高效网络爬取方法及装置

本发明公开了一种高效网络爬取方法及装置，本发明基于预设关键词和初检的种子URL来设置分布式爬虫框架，通过该分布式爬虫框架来对排名后的种子URL排名进行数据爬取，然后在对所爬取的URL重新进行URL排名，再基于该新URL排名再次进行数据爬取，重复执行这一步骤，直到重复执行爬取数据的次数达到预设的数据爬取次数阈值时候结束数据爬取，最后将所爬取到的所有URL中与预设关键词的匹配度超过预设匹配度阈值的URL作为最终爬取结果。也即本发明是不断对所爬取到的URL进行排名，然后按照排名来进行数据爬取，从而实现高效地对快速扩张的网络资源规模进行有效爬取。