什么是robots協(xié)議
蜘蛛spider在訪問(wèn)一個(gè)網(wǎng)站時(shí)，會(huì)首先會(huì)檢查該網(wǎng)站的根域下是否有一個(gè)叫做 robots.txt的純文本文件，這個(gè)文件用于指定spider在您網(wǎng)站上的抓取范圍。早期robots協(xié)議是防止網(wǎng)站內(nèi)的隱私，防止抓取用戶不想讓搜索引擎曝光的頁(yè)面。
robots.txt文件位置
robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。比如https://www.vi586.com/robots.txt這個(gè)文件
robots一般格式
User-agent: * Disallow: allow:
robots不支持中文
百度蜘蛛目前在robots里不支持中文，如果路徑里面帶了中文，可以選擇UrlEncode編碼的寫(xiě)法，如
http://www.xx.com/tags/%D7%B0%D0%DE%CE%AC%BB%A4%B1%A3%D1%F8.html
"*"和"$"的含義
Baiduspider支持使用通配符"*"和"$"來(lái)模糊匹配url。
"$" 匹配行結(jié)束符。 "*" 匹配0或多個(gè)任意字符。
robots協(xié)議對(duì)seo優(yōu)化的影響
1.屏蔽隱私內(nèi)容或無(wú)內(nèi)容頁(yè)面。前面提到蜘蛛的爬取對(duì)索引量有著重要的作用，能縮短收錄周期。蜘蛛一般都會(huì)全站爬取內(nèi)容，但有些質(zhì)量一般的頁(yè)面被抓取會(huì)影響整體排名，比如：登陸頁(yè)、注冊(cè)頁(yè)、購(gòu)物車(chē)、表綱、個(gè)人隱私文件等。
2.屏蔽某些動(dòng)態(tài)的內(nèi)容屏蔽，如：tag標(biāo)簽，在剛開(kāi)始的時(shí)候盡量屏蔽蜘蛛抓取，到后期穩(wěn)定的時(shí)候再整理后開(kāi)放。tag標(biāo)簽的作用可以參考《TAG標(biāo)簽的正確用法》
3.屏蔽重復(fù)內(nèi)容頁(yè)面。如：多個(gè)頁(yè)面無(wú)內(nèi)容或空評(píng)論；不同路徑打開(kāi)的頁(yè)面都一樣。跟帶www和不帶www的頁(yè)面說(shuō)法不一樣，可以把這兩個(gè)頁(yè)面301重定向到其中一個(gè)，集中權(quán)重。
4.屏蔽死鏈接。一般的死鏈會(huì)返回404錯(cuò)誤，當(dāng)然站內(nèi)錯(cuò)誤或服務(wù)器問(wèn)題，是無(wú)法屏蔽的。
robots的主要功能
1.禁止蜘蛛抓取
dede后臺(tái)有很多php、js、css等內(nèi)容，但這些內(nèi)容對(duì)排名沒(méi)有太大作用，可以使用disallow禁止抓取。
User-agent: sogou spider Disallow: /
代表禁止搜狗蜘蛛進(jìn)行抓取，在中國(guó)大陸范圍內(nèi)，一般的企業(yè)網(wǎng)站只要百度蜘蛛，谷歌蜘蛛，360蜘蛛就可以了，其他蜘蛛頻繁抓取網(wǎng)站會(huì)造成網(wǎng)站訪問(wèn)速度受到影響。如果禁止這些蜘蛛進(jìn)行抓取，搜索引擎認(rèn)為你是不友好的。
2.引導(dǎo)蜘蛛抓取
Sitemap: http://www.vi586.com/sitemap.xml
以上字段是引導(dǎo)蜘蛛按照sitemap網(wǎng)站地圖的要求抓取。蜘蛛的抓取順序是按照編寫(xiě)自上而下，如果控制得越精確，則遵循精確的規(guī)則。
3.控制抓取范圍
該行有符號(hào)“/”，代表著只包含該欄目下的文章/目錄/子類(lèi)，不包含本身；
反之無(wú)“/”，代表包含包含該欄目下的文章/目錄/子類(lèi)和本身。
4.舉例最常見(jiàn)的robots.txt寫(xiě)法
DedeCMS的robots的寫(xiě)法：
User-agent: * Disallow: /plus/ad_js.php Disallow: /plus/advancedsearch.php Disallow: /plus/car.php Disallow: /plus/carbuyaction.php Disallow: /plus/shops_buyaction.php Disallow: /plus/erraddsave.php Disallow: /plus/posttocar.php Disallow: /plus/disdls.php Disallow: /plus/feedback_js.php Disallow: /plus/feedback.php Disallow: /plus/mytag_js.php Disallow: /plus/rss.php Disallow: /plus/search.php Disallow: /plus/recommend.php Disallow: /plus/stow.php Disallow: /plus/count.php Disallow: /plus/heightsearch.php Disallow: /tags.php Disallow: /member Disallow: /include Disallow: /templets User-agent: sogou spider Disallow: / User-agent: MSNBot Disallow: / User-agent: Slurp Disallow: / User-agent: Teoma Disallow: / User-agent: Gigabot Disallow: / User-agent: Scrubby Disallow: / User-agent: Robozilla Disallow: / User-agent: Nutch Disallow: / Sitemap: http://www.jygsgssxh.com/sitemap.xml |
這里要注意網(wǎng)站地圖網(wǎng)站robots的最后面，讓搜索引擎先遵循抓取范圍再引導(dǎo)抓取結(jié)構(gòu)。
robots安全重要說(shuō)明
robots不管是對(duì)搜索引擎還是對(duì)任何人都是可以訪問(wèn)的，容易暴露某些隱私或后臺(tái)程序，而每個(gè)建站程序都有漏洞，樹(shù)大才招風(fēng)，黑客利用這些漏洞做些不好的事情，后果不堪設(shè)想。一般的大型網(wǎng)站都是自己搭建程序，成本較高，漏洞也較少（只是沒(méi)那么多人攻擊）。
對(duì)DEDE、DZ、PW等使用的比較多的建站程序，有很多開(kāi)源的功能，沒(méi)有經(jīng)驗(yàn)的站長(zhǎng)很容易成為別人的“肉雞”，經(jīng)常檢查自己網(wǎng)站的外鏈、快照情況就能發(fā)現(xiàn)是不是被人動(dòng)了手腳。查看文章《別讓網(wǎng)站的robots成為最大的漏洞》。
