有一些網(wǎng)站設(shè)計(jì)技術(shù)對(duì)搜索引擎來說很不友好，不利于蜘蛛的爬行和抓取，這些技術(shù)被稱為蜘蛛陷阱。最常見的應(yīng)該全力避免的蜘蛛陷阱包括如下幾個(gè)方面。

1.Flash

  在網(wǎng)頁的某一小部分使用Flash增強(qiáng)視覺效果是很正常的，比如Flash做成的廣告、圖標(biāo)等。這種Flash和圖片是一樣的，只是HTML代碼中很小的一部分，頁面上海有其他以文字為主的內(nèi)容，所以對(duì)搜索引擎抓取和收錄沒有什么影響。

 但是有的網(wǎng)站整個(gè)首頁就是一個(gè)大Flash文件，這就構(gòu)成了蜘蛛陷阱。搜索引擎抓取的HTML代碼只有一個(gè)鏈向Flash文件的鏈接，沒有其他文字內(nèi)容。搜索引擎無法讀取Flash文件中的文字內(nèi)容和鏈接的。這種網(wǎng)站整個(gè)就是Flash網(wǎng)站，可能視覺效果做的精彩異常，可惜搜索引擎看不到，不能索引出任何文字信息，也就無從判斷相關(guān)性。

有的網(wǎng)站喜歡在首頁放一個(gè)Flash動(dòng)畫片頭，用戶訪問網(wǎng)站看完片頭后被轉(zhuǎn)向真正的HTML版本的文字網(wǎng)站首頁。搜索引擎不能讀取Flash，一般也沒辦法從Flash Intro跟蹤到HTML版本頁面。

近幾年，搜索引擎不停嘗試讀取Flash文件，尤其是里面的文字內(nèi)容和鏈接，也取得了一定的進(jìn)展，。站長(zhǎng)可以使用SWFObject和sIFR等技術(shù)使Flash文件更易于被搜索引擎讀取，不過我的觀點(diǎn)是，與其費(fèi)盡去研究怎么讓搜索引擎讀取Flash文件，不如做成普通的HTML版本的網(wǎng)站，如果你的公司除了Flash外不足于展現(xiàn)公司實(shí)力，那么你的公司應(yīng)該是世界500強(qiáng)級(jí)別，SEO就不重要了。

 整個(gè)網(wǎng)站就是一個(gè)大Flash文件，從SEO角度來說是萬萬不可的。如果Flash效果是必須的，至少也在首頁加上一個(gè)通往HTML版本的鏈接。這個(gè)鏈接應(yīng)該是在Flash文件之外的HTML代碼中，搜索引擎跟蹤這個(gè)鏈接可以抓取后面的HTML版本頁面。

2.Session ID

有些網(wǎng)站使用Session ID(會(huì)話ID)跟蹤用戶訪問，每個(gè)用戶訪問網(wǎng)站時(shí)都會(huì)生成獨(dú)特唯一的Session ID，加在URL中。搜索引擎蜘蛛的每一次訪問也會(huì)被當(dāng)成一個(gè)新的用戶，URL中會(huì)加上一個(gè)不同的Session ID，這樣搜索引擎蜘蛛每次來訪問時(shí)所得到的同一個(gè)頁面的URL將不不一樣，后面帶著一個(gè)不一樣的Session ID。這也是常見的蜘蛛陷阱之一。

搜索引擎遇到這種長(zhǎng)長(zhǎng)的Session ID，會(huì)嘗試判斷字符串是Session ID 還是正常的參數(shù)，成功判斷出Session ID就可以去掉Session ID，收錄正常的URL。但也經(jīng)常判斷不出來，要么不愿意收錄，要么收錄多個(gè)帶著不同Session ID的URL，內(nèi)容卻完全一樣，形成大量的復(fù)制內(nèi)容，這兩種情況對(duì)網(wǎng)站優(yōu)化都不利。
通常建議跟蹤用戶訪問應(yīng)該使用cookies而不生成Session ID。或者程序判斷訪問者是搜索引擎蜘蛛還是普通用戶，如果是搜索引擎蜘蛛，則不生成Session ID。跟蹤搜索引擎蜘蛛訪問是沒有什么意義的，蜘蛛不會(huì)填表，也不會(huì)把商品放入購(gòu)物車。

3.各種跳轉(zhuǎn)

 除了301轉(zhuǎn)向外，搜索引擎對(duì)其他形式的跳轉(zhuǎn)都比較敏感，如302跳轉(zhuǎn)、JavaScript跳轉(zhuǎn)、Flash跳轉(zhuǎn)、Meta Refresh跳轉(zhuǎn)。

 有些網(wǎng)站用戶訪問首頁時(shí)會(huì)被自動(dòng)轉(zhuǎn)向某個(gè)目錄下的頁面。如果是按用戶地理位置轉(zhuǎn)向至最適合的目錄，那到有情可原，但大部分這樣的首頁轉(zhuǎn)向看不出任何理由和目的，這樣的轉(zhuǎn)向能避免則避免。

如果必須轉(zhuǎn)向，301轉(zhuǎn)向時(shí)搜索引擎推薦的、用于網(wǎng)址更改轉(zhuǎn)向，可以把頁面權(quán)重從舊網(wǎng)址轉(zhuǎn)移到新網(wǎng)址。其他轉(zhuǎn)向方式都對(duì)蜘蛛爬行不利。黑帽SEO經(jīng)常使用轉(zhuǎn)向欺騙搜索引擎和用戶。所以除非萬步得已，盡量不要使用301轉(zhuǎn)向以外的跳轉(zhuǎn)。