搜索引擎的工作原理
搜索引擎是一套放在幾十幾百萬臺服務(wù)器上運行的、基于各種程序算法的、復(fù)雜的檢索系統(tǒng),基本工作原理(以中文搜索引擎百度為例說明)如下。
(1)正向工作:從種子URL(網(wǎng)絡(luò)定位資源符)出發(fā)沿著超鏈接對全網(wǎng)Web資源進(jìn)行爬行、抓取或更新(鏈接存儲系統(tǒng)、鏈接選取系統(tǒng)、DNS解析服務(wù)系統(tǒng)、抓取調(diào)度系統(tǒng)、網(wǎng)頁分析系統(tǒng)、鏈接提取系統(tǒng)、鏈接分析系統(tǒng)、網(wǎng)頁存儲系統(tǒng)多系統(tǒng)通力合作)→重復(fù)度初篩→原始數(shù)據(jù)存儲→預(yù)處理、頁面分析(提取文字、中文切詞分詞、去停止詞、消除噪聲、正向索引、倒排索引、鏈接關(guān)系計算、特殊文件處理、其他權(quán)重數(shù)據(jù)計算)→建庫(文檔映射部件基于網(wǎng)頁的等級將數(shù)據(jù)庫中的網(wǎng)頁映射到多個分層中,通常分為重要索引庫、普通庫及低級庫)→等待查詢。
(2)逆向工作:用戶輸入查詢詞→中文分詞→分詞結(jié)果對應(yīng)的文檔集合(倒排索引)→求交→敏感詞過濾→排序輸出。對于普通用戶而言,他們并不用了解搜索引擎的工作原理,而作為SEO人員,了解搜索引擎的原理是做好SEO的基礎(chǔ),了解其原理能有針對性地對網(wǎng)站進(jìn)行優(yōu)化,讓網(wǎng)站優(yōu)化工作更為科學(xué)合理。雖然各個搜索引擎的工作細(xì)節(jié)有所不同,但是總的原理是大致相同的。
本節(jié)介紹的搜索引擎工作原理就是搜索引擎共同的特點,其中包括3個部分。
(1)利用漫游機(jī)器人在互聯(lián)網(wǎng)中發(fā)現(xiàn)、搜集網(wǎng)頁信息,即爬取Web資源。
(2)對信息進(jìn)行提取和組織,建立索引庫,并對排名進(jìn)行預(yù)處理。
(3)根據(jù)用戶輸入的查詢關(guān)鍵字,檢索器在索引庫中快速檢出文檔,進(jìn)行文檔與查詢的相關(guān)度評價,以獲得最終排序,并將查詢結(jié)果返回給用戶。搜索引擎的主要工作原理,而在每個部分又含有多個流程。
例如,用戶搜索“搜索引擎實戰(zhàn)解析”,過濾器檢查是否含有敏感詞匯,若有則屏蔽詞匯,顯示其他內(nèi)容,“搜索引擎實戰(zhàn)解析”沒有敏感詞匯,然后輸入檢索器。檢索器對該詞進(jìn)行分詞處理,通常分為“搜索引擎”“實戰(zhàn)”“解析”這三個詞。然后通過索引器調(diào)用信息數(shù)據(jù)庫中與這三個詞全部相關(guān)或分別相關(guān)的網(wǎng)頁數(shù)據(jù),利用排序器中預(yù)處理的排序進(jìn)行求交,并利用網(wǎng)頁加權(quán)算法獲得關(guān)鍵詞“搜索引擎實戰(zhàn)解析”的最終排名輸出給用戶。另外,存儲于信息數(shù)據(jù)庫中的網(wǎng)頁數(shù)據(jù)是通過Crawler(漫游器)進(jìn)行網(wǎng)絡(luò)信息的爬行和抓取,然后利用分析器對網(wǎng)頁質(zhì)量進(jìn)行評估,如果網(wǎng)絡(luò)信息與已有信息高度重復(fù)或者質(zhì)量不高,都不能被搜索引擎存入信息數(shù)據(jù)庫中,也就是常說的未被收錄。
|