什麼叫爬蟲軟體

爬蟲軟體是一種程式,主要用於搜尋引擎,它將一個網站的所有內容與連結進行閱讀,並建立相關的全文索引到資料庫中,然後跳到另一個網站.樣子好像一隻大蜘蛛。

當人們在網路上(如google)搜尋關鍵字時,其實就是比對資料庫中的內容,找出與使用者相符合的，網路爬蟲程式的質量決定了搜尋引擎的能力,如google的搜尋引擎明顯要比百度好,就是因為它的網路爬蟲程式高效,程式設計結構好。