屏閉蜘蛛的代碼 一般用在robots文件中，提示蜘蛛，網(wǎng)站哪些需些抓取，哪些禁止蜘蛛抓取意思是禁止任何蜘蛛抓取該網(wǎng)站的任何目錄；用nofollow 就可以Nofollow的寫(xiě)法有以下兩種1在meta中定義，如果在meta中定義Nofollow的話(huà)，則搜索引擎不會(huì)跟蹤該頁(yè)面的所有鏈接語(yǔ)法為 表示 禁止抓取本頁(yè)，同時(shí)禁止跟蹤本頁(yè)中的鏈接還有其他的寫(xiě)法 aindex，follow。

設(shè)定某種類(lèi)型文件禁止被某個(gè)搜索引擎蜘蛛抓取，代碼如下UseragentDisallow *htm 說(shuō)明其中“htm”，表示禁止搜索引擎蜘蛛抓取所有以”htm”為后綴的文件，注意，這里并不包括以”html”為后綴的文件希望能夠幫助你；沒(méi)有必要優(yōu)化你網(wǎng)站上的所有的圖片比如模板中使用的圖片導(dǎo)航中的圖片還有背景圖片等等，我們不用為這些圖片添加ALT標(biāo)簽，我們可以把這些圖片放在一個(gè)單獨(dú)的文件夾里并通過(guò)設(shè)置robots文件設(shè)置來(lái)阻止蜘蛛抓取這些圖片。

useragent* 適用于所有蜘蛛 Disallowupload Disallow jpg$ 禁止抓取所有jpg文件 Disallow *html 禁止抓取所有html文件 Disallowuploadindexhtml Disallow 禁止抓取哪些文件或目錄，Allow 告訴搜索引擎應(yīng)該抓取哪。

以下列舉了屏蔽主流搜索引擎爬蟲(chóng)蜘蛛抓取索引收錄網(wǎng)頁(yè)的幾種思路注意是整站屏蔽，而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲(chóng)蜘蛛1通過(guò) robotstxt 文件屏蔽 可以說(shuō) robotstxt 文件是最重要的一種渠道；1如果你站點(diǎn)中的所有文件，都可以讓蜘蛛爬取收錄的話(huà)，那么語(yǔ)法這樣寫(xiě)Useragent *Disallow當(dāng)然，如果你網(wǎng)站中全部的文件都可以讓搜索引擎索引的話(huà)，你也可以不管這個(gè)文件2完全禁止搜索引擎來(lái)訪(fǎng)的Robotstxt文件寫(xiě)法。

1在網(wǎng)站根目錄下建立一個(gè)dl文件夾，上傳wordpress程序，建立一個(gè)新的wordpress站點(diǎn)2在robotstxt文件中寫(xiě)入代碼禁止蜘蛛抓取dl文件夾下的所有頁(yè)面Disallowdl3在剛成立的；二在模版的headerphp的文件時(shí)添加一段代碼，因?yàn)橹┲雭?lái)到你的網(wǎng)站是由上到下訪(fǎng)問(wèn)的，所以剛開(kāi)始訪(fǎng)問(wèn)到的肯定是從headerlt頂部開(kāi)始抓取所以如果我們?cè)陧敳坷镌O(shè)置好屏蔽蜘蛛的訪(fǎng)問(wèn)代碼后，蜘蛛也會(huì)跟第一條一樣遵守協(xié)議返。

把這段JS寫(xiě)到一個(gè)單獨(dú)的頁(yè)面，在新的頁(yè)面中寫(xiě) 禁止抓取本頁(yè)，同時(shí)禁止跟蹤本頁(yè)中的鏈接，完了再用ifrome引用過(guò)來(lái)；用js加密內(nèi)容防止了抓取，但是這樣就會(huì)導(dǎo)致所有的蜘蛛機(jī)器人抓取內(nèi)容都是加密，對(duì)搜索引擎優(yōu)化不好全站Flash同上全站Ajax同上 這些方法只能組織正規(guī)蜘蛛的訪(fǎng)問(wèn)，不能達(dá)到阻止非人類(lèi)行為抓取數(shù)據(jù)，允許指定的搜索。

1 第一種方法需要我們使用robotstxt屏蔽百度蜘蛛抓取下圖所示頁(yè)面2 屏蔽效果如下圖所示3 除此以外，我們也可以通過(guò)使用robotsMeta標(biāo)簽，屏蔽搜索引擎抓取，在頭部加入下圖紅框所圈代碼即可4 屏蔽代碼如下圖所示；比如，要啟用一個(gè)新的域名做鏡像網(wǎng)站，主要用于PPC 的推廣，這個(gè)時(shí)候就要想辦法屏蔽搜索引擎蜘蛛抓取和索引我們鏡像網(wǎng)站的所有網(wǎng)頁(yè)因?yàn)槿绻R像網(wǎng)站也被搜索引擎收錄的話(huà)，很有可能會(huì)影響官網(wǎng)在搜索引擎的權(quán)重以下列舉了屏蔽。

就盡量不要采用js，當(dāng)然在seo中，js有一個(gè)好處就是站長(zhǎng)不希望被收錄的頁(yè)面或者友情鏈接可以采用js還有一種方法可以消除JavaScript 蜘蛛程序陷阱，即使用ltnoscript標(biāo)簽；1網(wǎng)頁(yè)上所有跟SEO相關(guān)的因素都用HTML表達(dá)出來(lái)，使用DOM進(jìn)行特效控制只要把所有跟SEO相關(guān)的因素使用HTML表達(dá)了出來(lái)，搜索蜘蛛就可以爬取到這段內(nèi)容，進(jìn)而收錄這段內(nèi)容或者根據(jù)其中的鏈接繼續(xù)爬行，因?yàn)橹┲氩蛔ト〗馕鰆avascript。