網路爬蟲主要是幹什麼用的

網路爬蟲是用來抓取網頁資訊的程式，是一種按照一定的規則，自動地抓取全球資訊網資訊的程式或者指令碼。網路爬蟲是一個自動提取網頁的程式，它為搜尋引擎從全球資訊網上下載網頁，是搜尋引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入佇列,直到滿足系統的一定停止條件。