|
前面我們介紹了如何利用首頁作設(shè)置，使得蜘蛛跑到最重要的頁面上。本篇將講述網(wǎng)站地圖和全站鏈接怎么分配蜘蛛？ 1、網(wǎng)站地圖 假設(shè)首頁獲得1000個蜘蛛，有800個蜘蛛導向了那些最重要的頁面。有100個被NOFOLLOW鏈接消耗掉（NOFOLLOW仍然會消耗蜘蛛，但是為其它蜘蛛提供了更多爬行時間，所以仍是有利的），還有100個跑向了網(wǎng)站地圖。網(wǎng)站地圖是全站顯示的一個重要鏈接，他的任務(wù)是不考慮用戶體驗的情況下，如何把蜘蛛合理分配到全站，確保每個頁面都有機會抓取！ 這是馬可波羅的站點地圖：http://china./home/sitemap/index.html，從這里面的鏈接可以最快到達每一個頁面，確保他們都可以被抓取。抓取量決定收錄量，收錄量也是排名的一個重要因素。 2、全站鏈接 我們之前講的全站鏈接，主要用在小型網(wǎng)站（不超過10個詞的排名），可以放在全站每一頁做鏈接來增加排名，其目的就是使蜘蛛來到每一頁后都有機會來到該鏈接，從而一次次增加其權(quán)重。而對于大型網(wǎng)站，全站鏈接則是為了提升這些“重要頁”或“中轉(zhuǎn)頁”的蜘蛛量，從而通過這些頁面中轉(zhuǎn)到更多的頁面中。 舉例800個蜘蛛進入了重要頁或中轉(zhuǎn)頁。其中有100個是需要排名的直接頁面，另外700個則是分配者，他們鏈接了10000個頁面。那么這10000個頁面在一個月內(nèi)幾乎都有可能被蜘蛛跑一次。從而達到了按需供給的目標：需求量大的頁面蜘蛛每天跑幾次，需求量小只為收錄的頁面或是排名很容易的頁面，蜘蛛每幾天才會跑一次。達到了全站的最優(yōu)化處理。  這是馬可波羅的全站鏈接（并沒有在全站顯示，但在很多頁面上都有），通過這些鏈接，會把蜘蛛再分配一次。 合理運用好網(wǎng)站地圖和全站鏈接，是對網(wǎng)站內(nèi)部的頁面作一次重要分配，這是內(nèi)部優(yōu)化重要的部分。 |
|
|
