為什么要禁止搜索引擎收錄？武漢做網(wǎng)站的公司—武漢盛世互聯(lián)小編為你介紹：一般我們網(wǎng)站可能會(huì)有較大的文件，如：圖片、FLASH、JS、視頻等，為了節(jié)省寬帶，也為了方便搜索引擎抓取，我們會(huì)設(shè)置robots協(xié)議，禁止搜索引擎收錄。如果你希望搜索引擎收錄網(wǎng)站所有的內(nèi)容，就不要建立robots.txt協(xié)議。

    武漢做網(wǎng)站的公司|禁止搜索引擎收錄的方法

    一般來(lái)說(shuō)spider在訪問(wèn)一個(gè)網(wǎng)站時(shí)，最先就是查看網(wǎng)站的robots.txt，用于指定蜘蛛抓取網(wǎng)站上的數(shù)據(jù)。在文件中聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

    robots.txt文件放在哪里？

    robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。當(dāng)spider訪問(wèn)一個(gè)網(wǎng)站，比如武漢做網(wǎng)站的公司—盛世互聯(lián)官網(wǎng)：http://www.ahmigu.com時(shí)，首先會(huì)檢查該網(wǎng)站中是否存在http://www.ahmigu.com/robots.txt這個(gè)文件，如果Spider找到這個(gè)文件，它就會(huì)根據(jù)這個(gè)文件的內(nèi)容，來(lái)確定它訪問(wèn)權(quán)限的范圍。如圖下：

    禁止搜索引擎收錄的方法

一、禁止搜索引擎跟蹤網(wǎng)頁(yè)的鏈接，而只對(duì)網(wǎng)頁(yè)建索引

    如果您不想搜索引擎追蹤此網(wǎng)頁(yè)上的鏈接，且不傳遞鏈接的權(quán)重，請(qǐng)將此元標(biāo)記置入網(wǎng)頁(yè)的部分：

二、如果您不想百度追蹤某一條特定鏈接，百度還支持更精確的控制，請(qǐng)將此標(biāo)記直接寫在某條鏈接上：

三、要允許其他搜索引擎跟蹤，但僅防止百度跟蹤您網(wǎng)頁(yè)的鏈接，請(qǐng)將此元標(biāo)記置入網(wǎng)頁(yè)的部分：

四、我想禁止百度圖片搜索收錄某些圖片，該如何設(shè)置？

    禁止Baiduspider抓取網(wǎng)站上所有圖片、禁止或允許Baiduspider抓取網(wǎng)站上的某種特定格式的圖片文件可以通過(guò)設(shè)置robots實(shí)現(xiàn)，例：

1、禁止Baiduspider抓取網(wǎng)站上所有圖片，僅允許抓取網(wǎng)頁(yè)，禁止抓取任何圖片。

2、僅允許Baiduspider抓取網(wǎng)頁(yè)和.gif格式圖片，允許抓取網(wǎng)頁(yè)和gif格式圖片，不允許抓取其他格式圖片。

3、僅禁止Baiduspider抓取.jpg格式圖片

    最后需要說(shuō)明的是：百度會(huì)嚴(yán)格遵守robots的相關(guān)協(xié)議，請(qǐng)注意區(qū)分您不想被抓取或收錄的目錄的大小寫，百度會(huì)對(duì)robots中所寫的文件和您不想被抓取和收錄的目錄做精確匹配，否則robots協(xié)議無(wú)法生效。想了解更多可閱讀武漢網(wǎng)站優(yōu)化的相關(guān)新聞。