你的網(wǎng)站信息安全嗎？樹大招風(fēng)，一些公司往往再收到攻擊之后，才想起網(wǎng)站安全。網(wǎng)站注冊(cè)的個(gè)人信息能被黑客們輕易的拿下，對(duì)用戶造成的損失無法估量。沒有100%安全而完美的系統(tǒng)，黑客們樂此不彼的研究著這些網(wǎng)站的安全漏洞，總有一天會(huì)被攻破。

       網(wǎng)站根目錄下的robots.txt文件告訴搜索引擎的訪問范圍，使用方法很簡單，但是搜索引擎還是個(gè)人來說都是可以訪問的， 很多新人不知道這個(gè)文件的重要性，對(duì)于滲透測(cè)試人員或黑客，可以通過robots.txt文件發(fā)現(xiàn)敏感信息，比如猜測(cè)這是什么后臺(tái)用什么數(shù)據(jù)庫等，意味著自己的網(wǎng)站是真空上陣。

如何防止別人訪問呢？

       網(wǎng)上有人這么做：在IIS中，選中robots.txt，右鍵屬性里，選中重定向到URL，輸入任意一個(gè)非本站的URL路徑，勾選“上面準(zhǔn)確的URL”以及“資源的永久重定向”，有點(diǎn)基礎(chǔ)的童鞋知道，訪問 http://域名/robots.txt 時(shí)，是自動(dòng)跳轉(zhuǎn)到指定的那個(gè)非本站URL路徑。 這個(gè)方法在Apache環(huán)境中可以借助.htaccess達(dá)到這個(gè)重定向的目的。

       但是對(duì)于蜘蛛來說，這樣的跳轉(zhuǎn)意味著站內(nèi)不存在這個(gè)文件，那蜘蛛就不會(huì)遵守這個(gè)規(guī)則，把能發(fā)現(xiàn)的URL都抓了。

       為防止別人利用robots文件泄露了網(wǎng)站的結(jié)構(gòu)，做其他手腳，站長們是絞盡腦汁。不讓搜索引擎來抓這個(gè)文件，那就不遵從抓取范圍，都會(huì)放進(jìn)索引庫，對(duì)不想讓搜索引擎建立索引的方法參考：頁面不讓搜索引擎建立索引。

實(shí)用的防護(hù)措施，推薦采用通配符(*)替換敏感文件或文件夾

      比如某個(gè)重要文件夾為admin，可以這樣寫robots

User-agent:
Disallow:/a*/

       意思是禁止所有搜索引擎索引根目錄下a開頭的目錄，一般的網(wǎng)站的比較通用的命名有admin,include,templets,plus等，這些都是重要的文件夾，可以修改文件名，但是其他關(guān)聯(lián)一并修改，否則系統(tǒng)會(huì)出錯(cuò)。

用.htaccess禁止垃圾蜘蛛訪問

一搜YisouSpider   #無視r(shí)obots規(guī)則
宜搜EasouSpider   #無視r(shí)obots規(guī)則
易查   #無視r(shí)obots規(guī)則
MSNmsnbot-media
有道youdao
必應(yīng)bingbot

       當(dāng)然你也要看流量來源，如果有，那就不要屏蔽，實(shí)在是少得很有每天很勤快的來訪的話，可以屏蔽。

robots屏蔽蜘蛛

User-agent: YisouSpider
Disallow: /
User-agent: EasouSpider
Disallow: /
User-agent: msnbot-media
Disallow: /
User-agent: YoudaoBot
Disallow: /
User-agent: bingbot
Disallow: /

.htaccess屏蔽蜘蛛

SetEnvIfNoCase User-Agent "^Yisou" bad_bot
SetEnvIfNoCase User-Agent "^Easou" bad_bot
SetEnvIfNoCase User-Agent "^Youdao" bad_bot
SetEnvIfNoCase User-Agent "^msn" bad_bot
Deny from env=bad_bot 

       或者如下寫法，中間加就行了

RewriteCond %{HTTP_USER_AGENT} (jikeSpider|easouSpider|YisouSpider|bingbot|YoudaoBot|) [NC]