搞過網(wǎng)站的朋友都知道robots.txt文件是用來限制搜索引擎不亂抓取，只抓取我們希望被收錄的內(nèi)容的。比如我們網(wǎng)站的后臺(tái)就不希望被搜索抓取，那么robots文件需要這樣寫：

User-agent: *

Disallow: /admin/

但是這樣我們很容易發(fā)現(xiàn)了一個(gè)問題，如果有人要破解攻擊的話，很容易就知道了后臺(tái)，一下子就清楚了網(wǎng)站的結(jié)構(gòu)。

我們并不想這樣！

有沒有辦法讓robots.txt既能限制搜索引擎，又不泄露后臺(tái)地址和隱私目錄呢？有！

一、使用通配符（*）：

User-agent: *

Disallow: /a*/

這樣的寫法，禁止所有的搜索引擎抓取根目錄下a開頭的目錄。當(dāng)您的后臺(tái)是admok165的話，還有誰會(huì)看到呢？

二、只寫目錄前幾個(gè)字母，不寫全：

User-agent: *

Disallow: /ad

這種的寫法，是禁止所有的搜索引擎抓取根目錄下ad開頭的目錄。

最后說明一下，以上這兩種方法，需要網(wǎng)站目錄沒有相同字母開頭的，例如ad目錄，如果有兩個(gè)一樣的，那需在robots.txt文件里再加上一個(gè)字母區(qū)別開來。