什么叫做网络蜘蛛爬虫？

什么叫做网络蜘蛛爬虫?网络蜘蛛(又被称为网络爬虫，网络机器人)是一种按照一定的规则，自动地爬行抓取互联网信息的程序或脚本。

网络爬虫的作用：

互联网类似于蜘蛛网，网络爬虫在其中不断的爬行抓取，就像是蜘蛛通过蛛网进行捕食，每当发现新的资源蜘蛛立即出动并对其进行抓取并将抓取到的内容存入数据库。

网络爬虫帮助搜索引擎从万维网上下载网页，是一个自动提取网页信息的程序，因此网络爬虫也是搜索引擎的重要组成部分。已知的网络爬虫分为传统爬虫和聚焦爬虫。

传统爬虫：

就像蜘蛛在蛛网上爬行，网页的URL就类似于相互关联的蛛网，网页蜘蛛从一些初始网页的URL开始，获得初始网页上的URL，在爬虫抓取网页的过程中，又不断从爬取到的页面上重新抽取新的URL放入预抓取队列,如此反复，直到满足系统的停止条件，最终停止抓取。

聚焦爬虫：

聚焦爬虫的工作流程较传统爬虫更为复杂，它根据网页分析算法过滤与初始抓取主题无关的URL，保留有用的链接放入预抓取队列，如此反复，直到达到系统的某一条件时停止。