首頁(yè) > 百度seo優(yōu)化服務(wù)
> 百度seo優(yōu)化排名
百度seo優(yōu)化排名
百度：巧用robots避免蜘蛛黑洞
來(lái)源：www.guanz.net 發(fā)布時(shí)間：2015年11月19日
百度站長(zhǎng)平臺(tái)剛剛發(fā)布了一個(gè)小技巧：巧用robots避免蜘蛛黑洞。
比如很多網(wǎng)站都有篩選功能，通過(guò)篩選功能產(chǎn)生的網(wǎng)頁(yè)經(jīng)常會(huì)被搜索引擎大量抓取，而這其中很大一部分檢索價(jià)值不高。
如“500-1000之間價(jià)格的租房”，首先網(wǎng)站(包括現(xiàn)實(shí)中)上基本沒(méi)有相關(guān)資源，其次站內(nèi)用戶(hù)和搜索引擎用戶(hù)都沒(méi)有這種檢索習(xí)慣。
這種網(wǎng)頁(yè)被搜索引擎大量抓取，只能是占用網(wǎng)站寶貴的抓取配額。
那么該如何避免這種情況呢?
我們以北京某團(tuán)購(gòu)網(wǎng)站為例，看看該網(wǎng)站是如何利用robots巧妙避免這種蜘蛛黑洞的：
對(duì)于普通的篩選結(jié)果頁(yè)，該網(wǎng)站選擇使用靜態(tài)鏈接，如：http://bj.XXXXX.com/category/zizhucan/weigongcun
同樣是條件篩選結(jié)果頁(yè)，當(dāng)用戶(hù)選擇不同排序條件后，會(huì)生成帶有不同參數(shù)的動(dòng)態(tài)鏈接，而且即使是同一種排序條件(如：都是按銷(xiāo)量降序排列)，生成的參數(shù)也都是不同的。如：http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c
對(duì)于該團(tuán)購(gòu)網(wǎng)來(lái)說(shuō)，只讓搜索引擎抓取篩選結(jié)果頁(yè)就可以了，而各種帶參數(shù)的結(jié)果排序頁(yè)面則通過(guò)robots規(guī)則拒絕提供給搜索引擎。
robots.txt的文件用法中有這樣一條規(guī)則：Disallow: /*?* ，即禁止搜索引擎訪問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面。該網(wǎng)站恰是通過(guò)這種方式，對(duì)Baiduspider優(yōu)先展示高質(zhì)量頁(yè)面、屏蔽了低質(zhì)量頁(yè)面，為Baiduspider提供了更友好的網(wǎng)站結(jié)構(gòu)，避免了黑洞的形成。
擴(kuò)展閱讀：蜘蛛黑洞特指網(wǎng)站通過(guò)極低的成本制造出大量參數(shù)過(guò)多，及內(nèi)容雷同但具體參數(shù)不同的動(dòng)態(tài)URL ，就像一個(gè)無(wú)限循環(huán)的“黑洞”將spider困住，Baiduspider浪費(fèi)了大量資源抓取的卻是無(wú)效網(wǎng)頁(yè)。
相關(guān)產(chǎn)品
相關(guān)文章
聯(lián)系我們
深圳市東方富海科技有限公司
彭經(jīng)理：手機(jī)：13728723580 （微信號(hào)） QQ：1805577930
華經(jīng)理：手機(jī)：13418535424 （微信號(hào)） QQ：75759344
公司地址：深圳市龍華新區(qū)民治大道648號(hào)牛欄前大廈A1508、A1510