爬蟲就是能夠自動訪問網際網路並將網站內容下載下來的的程式或指令碼，類似一個機器人，能把別人網站的資訊弄到自己的電腦上，再做一些過濾，篩選，歸納，整理，排序等等。
網路爬蟲（又稱為網頁蜘蛛，網路機器人，在FOAF社群中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取全球資訊網資訊的程式或者指令碼。另外一些不常使用的名字還有螞蟻、自動索引、模擬程式或者蠕蟲。隨著網路的迅速發展，全球資訊網成為大量資訊的載體，如何有效地提取並利用這些資訊成為一個巨大的挑戰。搜尋引擎(SearchEngine)，例如傳統的通用搜索引擎AltaVista，Yahoo!和Google等，作為一個輔助人們檢索資訊的工具成為使用者訪問全球資訊網的入口和指南。但是，這些通用性搜尋引擎也存在著一定的侷限性。網路爬蟲是一個自動提取網頁的程式，它為搜尋引擎從全球資訊網上下載網頁，是搜尋引擎的重要組成。
