公告信息項(xiàng)目報(bào)價(jià)網(wǎng)站優(yōu)化網(wǎng)站制作網(wǎng)絡(luò)營(yíng)銷經(jīng)典案例空間域名VI設(shè)計(jì)實(shí)用文章聯(lián)系我們
搜索引擎工作原理一個(gè)SEO從業(yè)者應(yīng)該了解的基礎(chǔ)課程，但是有人卻說(shuō)搜索引擎工作原理對(duì)于新手來(lái)說(shuō)是不容易理解的，因?yàn)楣ぷ髟硖橄螅宜阉饕娴淖兓療o(wú)常，無(wú)論誰(shuí)都不能真正認(rèn)識(shí)搜索工作原理。 我想說(shuō)的是無(wú)論搜索引擎怎樣變化，大概的收錄原理是不會(huì)變的： 以上三條是搜索引擎收錄頁(yè)面基本的規(guī)律，無(wú)論百度還是谷歌都不會(huì)違背。那么我們就可以以以上三條作為依據(jù)詳細(xì)的解釋一下搜索引擎的工作原理。 首先搜索引擎的組成：
圖1 如圖1所示：搜索引擎可以分為基本的五大部分，既抓取網(wǎng)頁(yè)系統(tǒng)，數(shù)據(jù)分析系統(tǒng)，存儲(chǔ)數(shù)據(jù)系統(tǒng)，緩存系統(tǒng)，展示系統(tǒng)。 1、抓取網(wǎng)頁(yè)系統(tǒng)：分為探測(cè)系統(tǒng)和下載系統(tǒng)，探測(cè)系統(tǒng)就是我們平常說(shuō)的蜘蛛，蜘蛛在互聯(lián)網(wǎng)上爬行時(shí)探測(cè)到一個(gè)網(wǎng)站的URL，就會(huì)把URL所指向的頁(yè)面利用下載系統(tǒng)，下載到搜索引擎的服務(wù)器上，然后將頁(yè)面交給數(shù)據(jù)分析系統(tǒng)。 2、數(shù)據(jù)分析系統(tǒng)：分為數(shù)據(jù)分析和數(shù)據(jù)處理兩個(gè)系統(tǒng)，當(dāng)數(shù)據(jù)分析系統(tǒng)從抓取網(wǎng)頁(yè)系統(tǒng)那獲取到被下載的頁(yè)面，首先進(jìn)行數(shù)據(jù)分析去除不相關(guān)的文字或網(wǎng)站重復(fù)內(nèi)容，進(jìn)行頁(yè)面文字的處理，然后對(duì)處理過(guò)后的頁(yè)面內(nèi)容進(jìn)行判斷，是否達(dá)到收錄標(biāo)準(zhǔn)，達(dá)到交給存儲(chǔ)系統(tǒng)，沒(méi)有達(dá)到刪除。 3、存儲(chǔ)數(shù)據(jù)系統(tǒng)：將收錄的頁(yè)面進(jìn)行保存，然后定時(shí)進(jìn)行判斷存儲(chǔ)的頁(yè)面是否有更新。 4、緩存系統(tǒng)：存儲(chǔ)搜索引擎認(rèn)為高價(jià)值的內(nèi)容，當(dāng)用戶搜索某個(gè)關(guān)鍵詞時(shí)經(jīng)常看到收錄量有幾千萬(wàn)，但是搜索引擎顯示的只有1000條，這也就是說(shuō)只有1000條被放在了緩存系統(tǒng)上，用戶可以最快速的查找到他們想要的內(nèi)容。 5、展示系統(tǒng)：用戶搜索返回到顯示器上的信息。 這是搜索引擎的系統(tǒng)的組成，那么一個(gè)頁(yè)面是如何被搜索引擎發(fā)現(xiàn)并收錄的呢???
圖2 圖2，蜘蛛在整個(gè)互聯(lián)網(wǎng)上爬行遇見(jiàn)你網(wǎng)站的一個(gè)URL，首先把URL提取出來(lái)根據(jù)網(wǎng)站權(quán)重和相關(guān)性插入到URL隊(duì)列中，然后是判斷你網(wǎng)站的這條URL是否能夠解析成功，如果能解析成功，蜘蛛會(huì)爬到你網(wǎng)站，這里需要說(shuō)一下，蜘蛛并不是直接去分析你網(wǎng)頁(yè)的內(nèi)容，而是去尋找你網(wǎng)站robots文件，根據(jù)你網(wǎng)站的robots規(guī)則判斷是否抓取你這個(gè)頁(yè)面，如果robots文件不存在，則會(huì)返回一個(gè)404錯(cuò)誤，但是搜索引擎已經(jīng)會(huì)繼續(xù)抓取你的網(wǎng)站內(nèi)容。 搜索引擎抓取了網(wǎng)頁(yè)內(nèi)容之后會(huì)對(duì)網(wǎng)頁(yè)進(jìn)行一個(gè)簡(jiǎn)單的判斷是否達(dá)到了收錄標(biāo)準(zhǔn)，如果不符合則繼續(xù)把URL加入到URL 隊(duì)列中，如果符合收錄就會(huì)下載網(wǎng)頁(yè)內(nèi)容。 當(dāng)搜索引擎拿到下載網(wǎng)頁(yè)內(nèi)容的時(shí)候，會(huì)提取出頁(yè)面上的URL，繼續(xù)插入到URL隊(duì)列中，然后把頁(yè)面上的數(shù)據(jù)，進(jìn)行進(jìn)一步分析，判斷網(wǎng)頁(yè)內(nèi)容是否達(dá)到收錄標(biāo)準(zhǔn)，如果達(dá)到收錄標(biāo)準(zhǔn)則把頁(yè)面存儲(chǔ)到硬盤(pán)中。 當(dāng)用戶搜索某個(gè)關(guān)鍵詞時(shí)，搜索引擎為了減少查詢時(shí)間，將一部分相關(guān)性比較高的內(nèi)容放到臨時(shí)緩存區(qū)，大家都知道從計(jì)算機(jī)的緩存中讀取數(shù)據(jù)，比在硬盤(pán)中讀取數(shù)據(jù)快很多。所以搜索引擎只將緩存中的一部分顯示給用戶。被存儲(chǔ)在硬盤(pán)中的頁(yè)面，搜索引擎會(huì)根據(jù)網(wǎng)站權(quán)重定時(shí)對(duì)其進(jìn)判斷是否有更新，是否達(dá)到了放入緩存區(qū)的標(biāo)準(zhǔn)，如果搜索引擎在判斷是否有更新的同時(shí)發(fā)現(xiàn)網(wǎng)站頁(yè)面被刪除或網(wǎng)頁(yè)達(dá)不到被收錄的標(biāo)準(zhǔn)也會(huì)被刪除。 以上就是搜索引擎的組成和頁(yè)面收錄原理，希望每一位seo人員都應(yīng)掌握。 |
