meta標簽是放在html網(wǎng)頁中head頭部標簽內的，我們可以通過設置html元素<meta>標簽中name=＂robots＂相應的content屬性值來告訴所有搜索引擎蜘蛛爬蟲如何抓取頁面。 在SEO中，對于蜘蛛的控制是非常重要的一部分內容，所以希望各位看官準確把握這部分的內容。
示例
如果我們希望所有搜索引擎蜘蛛爬蟲來抓取頁面，就可以這樣寫：
<meta name="robots" content="index"> |
但是要禁止所有搜索引擎蜘蛛爬蟲抓取頁面，就像這樣寫：
<meta name="robots" content="noindex"> |
書寫格式
1、指定所有搜索引擎寫法：
name="robots"表示content屬性值指定的規(guī)則適用于所有搜索引擎，我們可以用如下格式表示：
<meta name="robots" content="屬性值"> |
content="屬性值"就是用來指定搜索引擎抓取方式，其屬性值有all, none, index, noindex, follow, nofollow等。
2、指定單個搜索引擎寫法：
我們已經知道，name=“robots”表示的是，所有的搜索引擎，如果想要content屬性值的規(guī)則只適合被我們指定的搜索引擎的話，就把robots替換成你想要指定的搜索引擎種類。
比如，我只想禁止百度搜索引擎抓取頁面，我們就應該這樣寫：
<meta name="baiduspider" content="noindex"> |
content常用屬性值
| 屬性值 | 說明 |
|---|---|
| all | 允許搜索引擎抓取該網(wǎng)頁，也能通過該網(wǎng)頁中的鏈接去抓取其他網(wǎng)頁 |
| index | 允許搜索引抓取該網(wǎng)頁； |
| noindex | 禁止搜索引擎抓取該頁面，但能通過該網(wǎng)頁中的鏈接去抓取其它網(wǎng)頁 |
| follow | 允許搜索引擎通過該網(wǎng)頁中的鏈接去抓取其它網(wǎng)頁 |
| nofollow | 禁止搜索引擎通過該網(wǎng)頁中的鏈接去抓取其它頁面 |
| none | 禁止搜索引擎抓取，也不允許通過該網(wǎng)頁中的鏈接去抓取其他網(wǎng)頁 |
| noarchive | 在顯示本網(wǎng)頁于搜索結果中時，不要顯示一個"網(wǎng)頁快照"鏈接 |
| unavailable_after:[日期] | 在指定的日期和時間之后，從搜索結果中刪除該網(wǎng)頁 |
| nosnippet | 在搜索結果中顯示當前頁時，不要顯示頁面摘要 |
注意：content屬性值為空，則表示默認值all
content的屬性值也可以多個值，若包含多個屬性值的時候，則需要用英文逗號隔開，注意同種屬性正反兩個方面（例如：index與noindex）不能同時出現(xiàn)在content之中。
< meta name="robots" content="index,follow"> < meta name="robots" content="noindex,follow"> < meta name="robots" content="index,nofollow"> < meta name="robots" content="noindex,nofollow"> |
content="index,follow"，也可以直接用 content="all"代替，兩者作用是相同的；同理，content="noindex,nofollow"，可以直接用 content="none"代替；
還有需要注意的是，我們不能把對立的兩個屬性值寫在一起，例如："index,noindex"和"noindex,nofollow"兩種組合是不成立的！
各大搜索引擎蜘蛛名稱
1、百度蜘蛛：BaiduSpider
常見的Baiduspider和Baiduspider-image（抓取圖片）
百度公司還有其它幾個蜘蛛：Baiduspider-video（抓取視頻）、Baiduspider-news（抓取新聞）、Baiduspider-mobile（抓取wap），都不常見
2、谷歌蜘蛛：Googlebot
有人說谷歌蜘蛛是GoogleBot，官方谷歌蜘蛛最新名稱為Googlebot，還發(fā)現(xiàn)了Googlebot-Mobile，看名字是應該是抓取wap內容的
3、360蜘蛛：360Spider
4、搜狗蜘蛛：Sogou News Spider
搜狗公司還有其它幾個蜘蛛：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider，冬鏡在日志中只發(fā)現(xiàn)了常見的Sogou News Spider。
5、必應蜘蛛：bingbot
