公告信息項(xiàng)目報(bào)價(jià)網(wǎng)站優(yōu)化網(wǎng)站制作網(wǎng)絡(luò)營(yíng)銷(xiāo)經(jīng)典案例空間域名VI設(shè)計(jì)實(shí)用文章聯(lián)系我們
robots機(jī)器人想必做SEO行業(yè)的人都不陌生，我們?cè)趦?yōu)化網(wǎng)站的時(shí)候必須要使用robots來(lái)屏蔽不想讓蜘蛛抓取的文件，從而提高蜘蛛的整體 抓取效率，但是有很多SEO同行都不知道如何利用好robots文件，那么今天就說(shuō)下如何利用robots文件來(lái)提高SEO優(yōu)化的效率！ robots robots機(jī)器人想必做SEO行業(yè)的人都不陌生，我們?cè)趦?yōu)化網(wǎng)站的時(shí)候必須要使用robots來(lái)屏蔽不想讓蜘蛛抓取的文件，從而提高蜘蛛的整體 抓取效率，但是有很多SEO同行都不知道如何利用好robots文件，那么今天就說(shuō)下如何利用robots文件來(lái)提高SEO優(yōu)化的效率！ 百度官方是推薦所有的網(wǎng)站都使用robots文件，以便更好地利用蜘蛛的抓取。其實(shí)robots不僅僅是告訴搜索引擎哪些不能抓取，更是網(wǎng)站優(yōu)化的重要工具之一。 robots文件實(shí)際上就是一個(gè)txt文件。其基本的寫(xiě)法如下： User-agent: * 這里的*代表的所有的搜索引擎種類(lèi)，*是一個(gè)通配符 Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄 Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄 Disallow:/ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄 Disallow: /cgi-bin/*.htm禁止訪問(wèn)/cgi-bin/目錄下的所有以"".htm""為后綴的URL(包含子目錄)。 Disallow: /*?* 禁止訪問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面 Disallow: /.jpg$ 禁止抓取網(wǎng)頁(yè)所有的.jpg格式的圖片 Disallow:/ab/adc.html禁止爬取ab文件夾下面的adc.html文件 Allow: /cgi-bin/這里定義是允許爬尋cgi-bin目錄下面的目錄 Allow: /tmp這里定義是允許爬尋tmp的整個(gè)目錄 Allow: .htm$ 僅允許訪問(wèn)以"".htm""為后綴的URL Allow: .gif$ 允許抓取網(wǎng)頁(yè)和gif格式圖片。 在網(wǎng)站優(yōu)化方面，利用robots文件告訴搜索引擎哪些是重要的內(nèi)容，不重要的內(nèi)容均推薦用robots文件來(lái)禁止抓取。不重要的內(nèi)容的典型代表：網(wǎng)站的搜索結(jié)果頁(yè)面。 對(duì)于靜態(tài)網(wǎng)站來(lái)說(shuō)，我們可以利用Disallow: /*?*來(lái)禁止動(dòng)態(tài)頁(yè)面抓取。但對(duì)于動(dòng)態(tài)網(wǎng)站來(lái)說(shuō)，就不能簡(jiǎn)單地這樣做了。不過(guò)對(duì)于動(dòng)態(tài)網(wǎng)站的站長(zhǎng)來(lái)說(shuō)，也無(wú)需過(guò)于擔(dān)心，搜索引擎現(xiàn)在可以正常地抓取動(dòng)態(tài)頁(yè)面。那么在寫(xiě)的時(shí)候，就要注意了，我們可以具體到搜索文件的名稱(chēng)來(lái)寫(xiě)。比如你的站是search.asp?后面一大串，那么可以這樣寫(xiě)：Disallow: /search.asp?* 這樣就可以屏蔽搜索結(jié)果頁(yè)面了，寫(xiě)好了可以到百度站長(zhǎng)平臺(tái)檢測(cè)robots一下，看看有沒(méi)有錯(cuò)誤!可以輸入網(wǎng)址檢測(cè)一下，是不是正常生效了。 |