時間:2013-09-14 點擊: 次 來源:網(wǎng)絡(luò) 作者:佚名 - 小 + 大
編者按:前兩周簡要地給大家介紹了搜索抓取系統(tǒng)工作原理,根據(jù)該工作原理今天簡要介紹一下如何建立網(wǎng)站是符合搜索引擎抓取系統(tǒng)習(xí)慣的。 1、簡單明了的網(wǎng)站結(jié)構(gòu) Spider抓取相當(dāng)于對web這個有向圖進行遍歷,那么一個簡單明了結(jié)構(gòu)層次分明的網(wǎng)站肯定是它所喜歡的,并盡量保證spider的可讀性。 (1)樹型結(jié)構(gòu)最優(yōu)的結(jié)構(gòu)即“首頁—頻道—詳情頁”; (2)扁平首頁到詳情頁的層次盡量少,既對抓取友好又可以很好的傳遞權(quán)重。 (3)網(wǎng)狀保證每個頁面都至少有一個文本鏈接指向,可以使網(wǎng)站盡可能全面的被抓取收錄,內(nèi)鏈建設(shè)同樣對排序能夠產(chǎn)生積極作用。 (4)導(dǎo)航為每個頁面加一個導(dǎo)航方便用戶知曉所在路徑。 (5)子域與目錄的選擇相信有大批的站長對此有疑問,在我們看來,當(dāng)內(nèi)容較少并且內(nèi)容相關(guān)度較高時建議以目錄形式來實現(xiàn),有利于權(quán)重的繼承與收斂;當(dāng)內(nèi)容量較多并且與主站相關(guān)度略差時建議再以子域的形式來實現(xiàn)。 2、簡潔美觀的url規(guī)則 (1)唯一性網(wǎng)站中同一內(nèi)容頁只與唯一一個url相對應(yīng),過多形式的url將分散該頁面的權(quán)重,并且目標url在系統(tǒng)中有被濾重的風(fēng)險; (2)簡潔性動態(tài)參數(shù)盡量少,保證url盡量短; (3)美觀性使得用戶及機器能夠通過url即可判斷出頁面內(nèi)容的主旨; 我們推薦如下形式的url:url盡量短且易讀使得用戶能夠快速理解,例如使用拼音作為目錄名稱;同一內(nèi)容在系統(tǒng)中只產(chǎn)生唯一的url與之對應(yīng),去掉無意義的參數(shù);如果無法保證url的唯一性,盡量使不同形式的url301到目標url;防止用戶輸錯的備用域名301至主域名。 3、其他注意事項 (1)不要忽略倒霉的robots文件,默認情況下部分系統(tǒng)robots是封禁搜索引擎抓取的,當(dāng)網(wǎng)站建立后及時查看并書寫合適的robots文件,網(wǎng)站日常維護過程中也要注意定期檢查; (2)建立網(wǎng)站sitemap |