1被robotstxt文件阻止 可以說robotstxt文件是最重要的渠道可以和搜索引擎建立直接對(duì)話，給出以下建議用戶代理Baiduspider 不允許 用戶代理Googlebot 不允許 用戶代理谷歌機(jī)器人手機(jī) 不允許 用戶代理谷歌機(jī)。

這里要說明的是Robotstxt文件只能起到阻止搜索引擎索引Robotstxt寫法1如果你站點(diǎn)中的所有文件，都可以讓蜘蛛爬取收錄的話，那么語(yǔ)法這樣寫Useragent *Disallow當(dāng)然，如果你網(wǎng)站中全部的文件都可以讓搜索引擎索引的。

用nofollow 就可以Nofollow的寫法有以下兩種1在meta中定義，如果在meta中定義Nofollow的話，則搜索引擎不會(huì)跟蹤該頁(yè)面的所有鏈接語(yǔ)法為 表示 禁止抓取本頁(yè)，同時(shí)禁止跟蹤本頁(yè)中的鏈接還有其他的寫法 aindex。

1 第一種方法需要我們使用robotstxt屏蔽百度蜘蛛抓取下圖所示頁(yè)面2 屏蔽效果如下圖所示3 除此以外，我們也可以通過使用robotsMeta標(biāo)簽，屏蔽搜索引擎抓取，在頭部加入下圖紅框所圈代碼即可4 屏蔽代碼如下圖所示。

3聯(lián)系百度管理人員，信箱地址為webmaster@baiducom，用網(wǎng)站聯(lián)系人信箱發(fā)電郵，如實(shí)說明刪除網(wǎng)頁(yè)快照的情況，經(jīng)百度核實(shí)后，網(wǎng)頁(yè)停止收錄抓取4登陸百度自己的“百度快照”帖吧和“百度投訴”帖吧，發(fā)個(gè)帖子，表明刪除網(wǎng)頁(yè)。

1在網(wǎng)站根目錄下建立一個(gè)dl文件夾，上傳wordpress程序，建立一個(gè)新的wordpress站點(diǎn)2在robotstxt文件中寫入代碼禁止蜘蛛抓取dl文件夾下的所有頁(yè)面Disallowdl3在剛成立的。

這樣的寫法既保護(hù)了我們的隱私，也讓百度蜘蛛的抓取最大化如果，你想禁止百度蜘蛛抓取某一個(gè)頁(yè)面，比如123html，那就加一句代碼“Disallow 123html”即可robotstxt寫好后，只需要上傳到網(wǎng)站的根目錄下即可。

Disallow 目錄名字 說明這里設(shè)定禁止蜘蛛抓取的目錄名稱例如，想禁目Msn蜘蛛抓取admin文件夾，可以設(shè)代碼如下Useragent Msnbot Disallow admin 五設(shè)定某種類型文件禁止被某個(gè)搜索引擎蜘蛛抓取，設(shè)置代碼如下。

會(huì)的，display 只是在前臺(tái)頁(yè)面顯示隱藏，但內(nèi)容在網(wǎng)頁(yè)html中還是存在的你在里面放 刻意優(yōu)化 的內(nèi)容的話，搜索引擎會(huì)懲罰你的參考資料htm。

沒有針對(duì)搜索引擎的屏蔽代碼如果不想網(wǎng)站內(nèi)容被搜索引擎抓取就在網(wǎng)站根目錄建立一個(gè)robotstxt文件內(nèi)容填寫為UseragentDisallow 如果只是要屏蔽百度搜索蜘蛛，那就是 Useragentbaiduspider Disallow 把這個(gè)。

不用寫，只要在網(wǎng)站根目錄下寫一個(gè)robotstxt文件就可以了具體格式是UseragentDisallow Inc Disallow Js Disallow Admin 表示INCJSAdmin目錄下的文件都不讓蜘蛛訪問。

4然后找到“建議搜索引擎不索引本站點(diǎn)”前面的框框，然后勾選這個(gè)框框，然后點(diǎn)擊“保存更改”即可 二上傳robots文件的方式 1先在本地創(chuàng)建一個(gè)robots文件robotstxt 2然后在robots文件里面寫入靜止搜索引擎抓取的代碼 3。

robotstxt一般是控制你自己的網(wǎng)站內(nèi)部鏈接 你可以不你站內(nèi)的淘寶地址“nofollow”掉什么什么什么 或者此頁(yè)面所以鏈接都不抓取。

屏蔽所有蜘蛛抓取abccomarticle代碼是UserAgentDisallow article 如果只是文章對(duì)應(yīng)的URL變了，而文章內(nèi)容沒變，最好使用301，如果是直接不要這部分內(nèi)容了，可以直接用robots，但是要做好404。

不能某個(gè)文件，只能某個(gè)目錄如UseragentDisallow 01 所以你要禁止某個(gè)文件，可以將此文件單獨(dú)放到一個(gè)目錄下面即可。