一、服務(wù)器連接異常
服務(wù)器連接異常有兩種情況,一種是站點(diǎn)不穩(wěn)定,搜索引擎蜘蛛嘗試連接網(wǎng)站的服務(wù)器時(shí)出現(xiàn)暫時(shí)無法連接的情況;另一種是搜索引擎蜘蛛一直無法連接網(wǎng)站的服務(wù)器。
造成服務(wù)器連接異常的原因通常是網(wǎng)站服務(wù)器過大,超負(fù)荷運(yùn)轉(zhuǎn),也有可能是網(wǎng)站運(yùn)行不正常。這時(shí)應(yīng)檢查網(wǎng)站的Web服務(wù)器是否安裝且正常運(yùn)行,并使用瀏覽器檢查主要頁面能否正常訪問。
二、網(wǎng)絡(luò)運(yùn)營商異常
國內(nèi)的網(wǎng)絡(luò)運(yùn)營商主要有電信和聯(lián)通。如果搜索引擎蜘蛛無法通過電信或聯(lián)通的網(wǎng)絡(luò)訪問網(wǎng)站,則需要與網(wǎng)絡(luò)運(yùn)營商聯(lián)系,購買擁有雙線服務(wù)的空間、或者購買CDN服務(wù)。
三、DNS異常
當(dāng)搜索引擎蜘蛛無法解析網(wǎng)站的IP地址時(shí)會(huì)出現(xiàn)DNS異常的現(xiàn)象,這可能是網(wǎng)站IP地址錯(cuò)誤或者域名服務(wù)商把搜索引擎蜘蛛封禁所致??梢允褂肳Hos或者bs查詢網(wǎng)站的IP地址是否正確且可解析,如果不正確或無法解析,應(yīng)與域名注冊(cè)商聯(lián)系,更新IP地址。
四、死鏈
頁面已經(jīng)無效,無法對(duì)用戶提供任何有價(jià)值信息的頁面就是死鏈。死鏈包括協(xié)議死鏈和內(nèi)容死鏈兩種形式。協(xié)議死鏈即頁面的 Tcp/Http協(xié)議狀態(tài)明確表示的死鏈。常見的有404、402、502狀態(tài)等。內(nèi)容死鏈,即服務(wù)器返回狀態(tài)是正常的。但內(nèi)容經(jīng)變更為不存在、已刪除或需要權(quán)限等與原內(nèi)容無關(guān)的信息頁面的死鏈。
對(duì)于死鏈,我們建議使用協(xié)議死鏈,并通過站長平臺(tái)—死鏈工具提交,以便百度更快地發(fā)現(xiàn)死鏈,減少死鏈對(duì)用戶及搜索引擎造成的負(fù)面影響。
五、其他異常
1、JS跳轉(zhuǎn)異常
網(wǎng)頁加載了百度無法識(shí)別的JS跳轉(zhuǎn)代碼,使得用戶通過搜索結(jié)果進(jìn)入頁面后發(fā)生了跳轉(zhuǎn)的情況。
2、壓力過大引起的偶然封禁
百度會(huì)根據(jù)站點(diǎn)的規(guī)模、訪問量等信息。自動(dòng)設(shè)定一個(gè)合理的抓取壓力。但是在異常情況下,如壓力控制失常時(shí),服務(wù)器會(huì)根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。這種情況下可以返回異常代碼503,這樣搜索引擎蜘蛛會(huì)過段時(shí)間再來嘗試抓取這個(gè)鏈接。如果網(wǎng)站已空閑,則會(huì)被成功抓取。
關(guān)于影響搜索引擎蜘蛛爬行頁面的因素就先說到這里了,如果還有哪些不明白的地方,可隨時(shí)來電咨詢點(diǎn)子科技,我們將專業(yè)為您解答!