我們經常會碰到黑客利用偽裝蜘蛛掃描網站，今天我們介紹下如何利用IP反查方法，判斷蜘蛛是否為百度搜索引擎蜘蛛。
以百度為例，通常我們判斷是否是百度蜘蛛抓取看用戶代理字符串也就是User-Agent，但是User-Agent是可以模擬的，所以很多時候也會有虛假的模擬偽裝成百度蜘蛛來抓取，這時候我們就需要學會分辨真?zhèn)巍?/p>
首先是百度User-Agent代理字符串，百度官方公布的有如下User-Agent：
移動UA：Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
PC UA：Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html）
新增渲染UA:
移動UA：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
PC UA：Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
需要注意的是百度新增了一個移動的User-Agent，和一個PC的User-Agent。我們知道了百度蜘蛛的User-Agent，如何正確識別和判斷某條抓取是否是真實的百度蜘蛛。
如何識別百度蜘蛛
1、首選我們需要通過關鍵詞找User-Agent中是否包含Baiduspider；
2、如果想區(qū)分移動和PC的蜘蛛的話，我們還需要在結果中再進行關鍵詞過濾，移動端的User-Agent包含：Android 、iPhone、Mobile等三個中至少一個。
3、通過上述操作我們可以分辨出哪些抓取是百度蜘蛛抓取，但并不能分辨真?zhèn)巍?/p>
判斷百度蜘蛛真?zhèn)?/h2>
1、驗證百度蜘蛛真?zhèn)挝覀円话闶褂玫氖荄NS反查IP的方式來進行判斷，首選我們需要找到上述抓取記錄中蜘蛛的IP。
2、以windows操作系統為例，開始運行中輸入cmd 彈出窗口中輸入 nslookup (上述IP地址)，判斷百度蜘蛛的真?zhèn)�，真是百度蜘蛛結果中會返回以*.baidu.com 或*.baidu.jp 的格式命名hostname，如不包含則為假百度蜘蛛。
常見HTTP狀態(tài)碼解讀：
1、200代碼，表示蜘蛛爬取正常
2、404代碼，訪問的這個鏈接是錯誤鏈接
3、301代碼，永久重定向
4、302代碼，表示臨時重定向
5、304代碼，客戶端已經執(zhí)行了GET，但文件未變化。
6、500代碼，表示網站內部程序或服務器有錯
