一個站長的robots.txt痛苦經(jīng)歷

今天來說一個大家十分熟悉的東西robot文件，相信大家對這個不陌生吧！但是我發(fā)現(xiàn)很多站長朋友們忘記了這個文件的重要性，而且在設(shè)置的時候很隨意。這種理解是錯誤的。我自已在一邊聽課一邊自學(xué)，今天碰到了這個問題；隨后,我就咨詢了一位seo的老師，我問他：老師這個robots重要嗎？當(dāng)時，老師語重心長的對我說了一句；robots既可以成就你的網(wǎng)站；也可以毀掉你的網(wǎng)站。所以嘛，還是很重要的。

言歸正傳吧！來和大家聊聊robots在我們網(wǎng)站的一些情況；在seo研究中心有一位和我是比較好的朋友，有一次，他的網(wǎng)站有收錄上千，突然一個下午收錄為0了。當(dāng)時他慌了，因?yàn)榫W(wǎng)站收錄沒有了；流量也沒有了，辛辛苦苦的忙了一個多月。到頭來卻發(fā)現(xiàn)；竹籃子打水一場空。當(dāng)時他心灰意冷；就跑到群里聊天，到處去問；我網(wǎng)站被k了，求解決方法啊！心急如焚，然后，有很多人幫他忙；檢查原因，經(jīng)過一段很長的時間檢查，大家發(fā)現(xiàn)了原因是他的網(wǎng)站robots屏蔽了百度蜘蛛抓取網(wǎng)站頁面。

為什么會出現(xiàn)這種情況呢？原因在于它在做網(wǎng)站的時候robots是完全屏蔽了百度蜘蛛抓取。大家知道一個事實(shí)吧！就是當(dāng)你寫好了規(guī)則；屏蔽了百度蜘蛛的時候，可以發(fā)現(xiàn)百度還是會抓取的。道理很簡單，百度不可能做到人一樣智能化。所以你屏蔽蜘蛛他還是會來抓取的。但是你也別慌啊！等過段時間百度就會把已經(jīng)抓到的頁面、但是你robots文件中有屏蔽的頁面；他會從索引庫刪除，百度也會有一個發(fā)現(xiàn)的過程；到改正和糾錯的過程。

當(dāng)時，我就記得他說了一句話，就是為什么會去屏蔽百度蜘蛛？因?yàn)榫W(wǎng)站剛做；而且他本人也學(xué)習(xí)了seo，所以也聽過seo的老師講過一些這方面的內(nèi)容，明白自已做一個新站可以暫時屏蔽網(wǎng)站蜘蛛；等網(wǎng)站做好了再提交給搜索引擎，并且把robots文件修下，允許百度抓取；可能是他忘記了，把這關(guān)鍵一步給忘記了。導(dǎo)致他辛苦做的網(wǎng)站和外鏈；被百度刪除了收錄的頁面，那段時間很痛苦；他整個人情緒也是十分低落的。

今天，我通過這個朋友的經(jīng)歷也是希望大家能夠去重視robots這個問題？很重要，請不要忽視了；順帶自已談?wù)勎易龅膔obots的一些經(jīng)驗(yàn)，我記得網(wǎng)站在新建的時候。我自已也是沒有注意robots文件這個東西，覺得無所謂啊！然后昨天聽老師講到了這個問題；我自已開始重視了，然后我開始把一些很垃圾的頁面和圖片全部給屏蔽了，頁面主要是一些動態(tài)頁面，大家都知道；百度喜歡靜態(tài)的；如果你網(wǎng)站是動態(tài)；會造成搜索引擎多次抓取，給搜索引擎印象又不友好。浪費(fèi)蜘蛛時間和資源。你說他能對你又好嗎？還有圖片也是一些網(wǎng)上采集的圖片；因?yàn)榘俣劝岩恍┰瓌?chuàng)圖片給抓取了，如果你網(wǎng)站再用；這會導(dǎo)致百度認(rèn)為你網(wǎng)站是抄襲的和偽原創(chuàng)的。這會導(dǎo)致百度不收錄你的網(wǎng)站。

說了這么多，我個人建議就是希望廣大的站長朋友能夠去重視這個問題！

原文地址：http://www.xuecnc.com/seo/post/0507.html。