13925013474
移动推广,广告投放蓝海渠道,抢占移动互联网无限商机

什么是百度爬虫?

2015-08-14 来源:   阅读:757次

问:什么是百度爬虫?

答:百度爬虫又叫百度蜘蛛,是百度抓取网页的一个小程序。由于按照网页间的连接进行抓取,被人们形象的成为百度爬虫或百度蜘蛛。

 

问:百度爬虫是干什么?

答:由于互联网的网页是在一直增加的,所以百度需要发现最新产生的网页,这就需要对新的连接地址进行不断的抓取,当发现新链接以后,就对网页进行下载、分析,并给出排名。

例如,百度爬虫从hao123开始抓取,批量分析出了,新浪、搜狐、优酷等网页, 新浪网站发了新闻,新闻链接便会出现,百度爬虫抓取下来,和原有链接库进行对比,发现新链接,就将新链接下载下来。

百度爬虫抓取流程图