如果希望出現(xiàn)在搜索引擎自然排名前提是收錄，排名位置會(huì)考慮網(wǎng)站收錄量及網(wǎng)站在搜索引擎中的權(quán)重。所以，網(wǎng)站被搜索引擎收錄，是網(wǎng)站優(yōu)化首要考慮因素之一。

一個(gè)搜索引擎能夠會(huì)同時(shí)派遣很多探測(cè)器。這些探測(cè)器或者從站長(zhǎng)直接提交的URL去訪問(wèn)，或者由一個(gè)網(wǎng)絡(luò)用戶所裝的搜索引擎工具欄(如Google工具欄)得知用戶去的網(wǎng)站，或者是從一個(gè)網(wǎng)站中指向另一個(gè)站的鏈接過(guò)去。所以說(shuō)探測(cè)器不一定是從網(wǎng)站的首頁(yè)進(jìn)入訪問(wèn)，為了引來(lái)搜索引擎就需要使用一些方法。

但是，探測(cè)器對(duì)許多的網(wǎng)站是不能完整抓取的，這個(gè)大多是由于網(wǎng)站設(shè)計(jì)沒(méi)有按照搜索引擎探測(cè)器的思路來(lái)進(jìn)行優(yōu)化。比如說(shuō)，如果一個(gè)網(wǎng)頁(yè)比較大，探測(cè)器也只能截取網(wǎng)頁(yè)的首部，而且只能跟著少量的鏈接走。Google目前能夠吸收100KB的文件，Yahoo相對(duì)多一些。這些都可以通過(guò)實(shí)驗(yàn)來(lái)測(cè)試。將一個(gè)搜索關(guān)鍵詞放在一個(gè)很長(zhǎng)的網(wǎng)頁(yè)(約150KB)中的尾部。然后看Google的cache說(shuō)這個(gè)網(wǎng)頁(yè)只有100KB，很顯然，有一部分沒(méi)有抓取到。

這個(gè)現(xiàn)象告訴我們網(wǎng)頁(yè)的設(shè)計(jì)不要過(guò)大，過(guò)長(zhǎng)。將一個(gè)較大的網(wǎng)頁(yè)分為若干小的頁(yè)面有以下幾個(gè)好處。

1.可以使網(wǎng)頁(yè)容易被探測(cè)器抓取。

2.更容易建立合理的站內(nèi)鏈接關(guān)系。

3.每個(gè)頁(yè)面可以更加集中關(guān)鍵詞的主題。

4.減少服務(wù)器的負(fù)載。

5.對(duì)用戶來(lái)說(shuō)，方便閱讀。