蜘蛛來(lái)到網(wǎng)站是好事，但是通過(guò)蜘蛛訪問(wèn)記錄我卻發(fā)現(xiàn)了很大的一個(gè)問(wèn)題，往往蜘蛛來(lái)到網(wǎng)站之后抓取了4,5個(gè)頁(yè)面就離開了，這是怎么一回事呢?相信很多站長(zhǎng)都感覺(jué)到從6月份的事件之后，百度蜘蛛很不穩(wěn)定吧，我的網(wǎng)站也是一樣，從6月份過(guò)后蜘蛛每次來(lái)了抓取幾個(gè)頁(yè)面就走了，這樣網(wǎng)站的收錄也一直沒(méi)有提升上去，最后我對(duì)網(wǎng)站進(jìn)行了一次大檢查，然后對(duì)網(wǎng)站的鏈接進(jìn)行了整理，還別說(shuō)，經(jīng)過(guò)整理后的網(wǎng)站，蜘蛛每次來(lái)抓取的頁(yè)面達(dá)到了20、30，下面我來(lái)分享一下我的檢查方法與整治方法。
我覺(jué)得蜘蛛剛開始不深入的原因第一種可能是導(dǎo)航鏈接沒(méi)有設(shè)置對(duì)，蜘蛛不能夠通過(guò)導(dǎo)航鏈接進(jìn)入你網(wǎng)站的深處，那么它怎么去抓取內(nèi)容頁(yè)面呢?第二種可能是蜘蛛遇到了死鏈接，搜索引擎蜘蛛準(zhǔn)備抓取下一個(gè)頁(yè)面的時(shí)候卻無(wú)法爬行，那么網(wǎng)站的死鏈接就成為了罪魁禍?zhǔn)?，逼百度蜘蛛離開網(wǎng)站。第三種可能就是長(zhǎng)時(shí)間的不更新站點(diǎn)內(nèi)容也會(huì)導(dǎo)致百度蜘蛛?yún)挓?/p>
第一、重新設(shè)置網(wǎng)站導(dǎo)航鏈接
網(wǎng)站的導(dǎo)航鏈接是用戶的指導(dǎo)線，也是搜索引擎蜘蛛的指引線，良好的導(dǎo)航路線能夠幫助搜索引擎蜘蛛從網(wǎng)站的首頁(yè)逐步的貫穿網(wǎng)站的整個(gè)頁(yè)面，這樣就要求我們?cè)谠O(shè)立網(wǎng)站導(dǎo)航的時(shí)候要一層層的設(shè)立，下面我來(lái)談?wù)勗O(shè)置導(dǎo)航鏈接的幾點(diǎn)要求：
1、導(dǎo)航鏈接要就近原則，我們?cè)谠O(shè)置導(dǎo)航鏈接的時(shí)候不要將搜索引擎蜘蛛看得太深?yuàn)W了，其實(shí)他就是一個(gè)抓取的工具，而最容易抓取的是什么，就是最近的事物。因此我們?cè)诶脤?dǎo)航鏈接的時(shí)候可以通過(guò)導(dǎo)航鏈接導(dǎo)入下一層欄目鏈接，而下一層欄目鏈接才導(dǎo)入內(nèi)容頁(yè)面，這就是一層層的導(dǎo)入方法。
2、導(dǎo)入的URL不要太復(fù)雜，我覺(jué)得網(wǎng)站的URL地址可以設(shè)置簡(jiǎn)單一些，就用一款PHP的程序，目錄設(shè)置簡(jiǎn)單一些，那么蜘蛛在爬行抓取的時(shí)候也相對(duì)容易一些。
第二、死鏈接必須清理，留下就是禍害
死鏈接對(duì)網(wǎng)站的阻礙作用非常大，稍不注意死鏈接就有可能對(duì)網(wǎng)站產(chǎn)生致命的影響，檢查死鏈接可以利用chinaz中的工具，而清理死鏈接就相對(duì)困難一些了?，F(xiàn)在我清理網(wǎng)站死鏈接的方法是通過(guò)游覽器FTP中的搜索功能，先在查詢工具中將死鏈接的地址進(jìn)行復(fù)制，復(fù)制之后再通過(guò)游覽器FTP的查找功能，找到它在哪個(gè)文件之中，最后在進(jìn)行刪除，很多站長(zhǎng)會(huì)說(shuō)我這個(gè)方法很麻煩，但是我想說(shuō)這個(gè)方法確實(shí)最有效的方法，那些清理死鏈接的工具我也用過(guò)，大多都是假的，根本就無(wú)法完成清理工作。
第三、文章內(nèi)容鏈接進(jìn)行合理布局
我們?cè)诰W(wǎng)站的文章內(nèi)容之中也不要忘記了鏈接布局這種形式，在進(jìn)行常規(guī)性的文章更新工作的時(shí)候我們可以將文章中的關(guān)鍵詞作一個(gè)鏈接指向，指向其它的文章內(nèi)容頁(yè)面或者網(wǎng)站的欄目頁(yè)面，這樣搜索引擎蜘蛛在抓取了這篇文章內(nèi)容之后就會(huì)向下一篇文章內(nèi)容進(jìn)行抓取，這也間接性的提高了搜索引擎蜘蛛抓取的頁(yè)面進(jìn)度與力度，大家可以想一下，一個(gè)中心匯出來(lái)了無(wú)數(shù)的點(diǎn)，蜘蛛能不高興嗎?這代表他能夠吃到的食物更豐富，這也是我們?cè)谶M(jìn)行文章內(nèi)容頁(yè)面鏈接布局的關(guān)鍵點(diǎn)。
通過(guò)前面的三種方法讓網(wǎng)站的結(jié)構(gòu)呈現(xiàn)遞進(jìn)化的趨勢(shì)，通過(guò)層層引入、蜘蛛抓取的方法讓網(wǎng)站的收錄得到極大的提高，有時(shí)候搜索引擎蜘蛛并不是不想抓取你的網(wǎng)站，而是你的網(wǎng)站垃圾太多了，每隔一周檢查網(wǎng)站的鏈接也是很有必要的，這也是提高搜索引擎抓取力度的一個(gè)因素。 |
返回頂部