搜索引擎就是一種程序，自動從因特網(wǎng)搜集信息，經(jīng)過一定整理以后，提供給用戶進(jìn)行查詢的系統(tǒng)。搜索引擎可以分為：百度蜘蛛： Baiduspider ， 360蜘蛛：360spider   ，谷歌蜘蛛：geoglebot等。

       搜索引擎的工作原理一般來說可以分為四步來完成，抓取，過濾，存取，排序。
      1.抓取，搜索引擎順著網(wǎng)頁中的超鏈接在互聯(lián)網(wǎng)中發(fā)現(xiàn)，搜索網(wǎng)頁信息，然后再抓取里面的內(nèi)容。從抓取的方式來看，可以分為深度抓取和廣度抓取。深度抓取就是搜索引擎沿著網(wǎng)站的內(nèi)部結(jié)構(gòu)進(jìn)行抓取，比如先抓取頁，再抓取欄目頁，然后再抓取詳情頁，就象樹形結(jié)構(gòu)一樣，先到主干，然后到樹枝，再到枝稍。一般結(jié)構(gòu)超過三層，就不利于搜索引擎抓取了。不利于搜索引擎抓取和內(nèi)容有JS，圖片，視頻，iframe框架，以及層級多的嵌套。

     2.過濾，搜索引擎抓取了網(wǎng)頁上的信息以后，就會把數(shù)據(jù)存放入臨時數(shù)據(jù)庫。然后搜索引擎把一些低質(zhì)量的頁面，比如采集來的，沒有豐富內(nèi)容的，文不對題的頁面過濾掉。把它們當(dāng)作垃圾一樣，處理掉了。
     3.存儲，搜索引擎對一些高質(zhì)量的，對用戶有價值的，符合用戶體驗的內(nèi)容就把它們存放在數(shù)據(jù)庫中。以方便用戶進(jìn)行搜索查詢進(jìn)，隨時可以調(diào)取。
     4.排序，檢索器根據(jù)用戶輸入的查詢的關(guān)鍵詞在索引庫中快速檢出文檔，進(jìn)行文檔與查詢的相關(guān)度評價，對將要輸出的結(jié)果進(jìn)行排序。當(dāng)我們看到在搜索引擎看到的只是一種強(qiáng)果，搜索引擎根據(jù)各種算法，把某個關(guān)鍵詞的展現(xiàn)在頁的位。

http://www.tinmen.com.cn/youhuazixun/1876.html 如何根據(jù)搜索引擎工作原理來進(jìn)行網(wǎng)站優(yōu)化