剛剛看到一個(gè)非常有意思的提問(wèn),提問(wèn)如下:(求解)為什么我的站,重來(lái)沒(méi)有百度蜘蛛來(lái)過(guò) 。從以上的問(wèn)題可以看出,這位站長(zhǎng)遇到這樣的問(wèn)題一定非常的蛋疼。自己精心做的站點(diǎn),沒(méi)想到蜘蛛壓根就沒(méi)來(lái)爬過(guò)。那么是什么原因?qū)е轮┲氩粊?lái)爬呢。我來(lái)分析下。
遇到這樣的問(wèn)題,情況只有倆種:一、你被蜘蛛屏蔽了。二、你屏蔽蜘蛛的爬行了
A、你被蜘蛛屏蔽了
1.查看下自己同服務(wù)器的站點(diǎn),是否有非常嚴(yán)重違規(guī)的作弊行為,若有的話,搜索引擎很有可能屏蔽整條IP的站點(diǎn),為了自己的網(wǎng)站發(fā)展健康還是選擇獨(dú)立IP的服務(wù)器吧。
如果發(fā)現(xiàn)自己網(wǎng)站的爬行日志壓根沒(méi)出現(xiàn)蜘蛛來(lái)訪,那么我們就應(yīng)該考慮自己的站點(diǎn)是否出現(xiàn)以上的情況,應(yīng)該及時(shí)的清理。然后向相關(guān)的搜索引擎提交,或者利用高質(zhì)量的外鏈引導(dǎo)蜘蛛爬行。
2.查看自己的域名以前的主人,看看域名以前是否做了違法的站點(diǎn)。如果是的話那么蜘蛛不爬是完全有道理的。
B、你屏蔽蜘蛛了
1.服務(wù)器商是否屏蔽了蜘蛛的爬行。別認(rèn)為這事不可能,當(dāng)初主機(jī)屋,就誤把百度蜘蛛當(dāng)成黑客攻擊給屏蔽了,不懂導(dǎo)致多少人被K站。如果是主機(jī)商屏蔽了蜘蛛的爬行盡早換主機(jī)吧,時(shí)間等不起。
我們屏蔽了蜘蛛,蜘蛛當(dāng)然不可能來(lái)抓取我們的網(wǎng)站拉。
2.首先我們要檢測(cè)自己的網(wǎng)站robots.txt文件,看看文件的書(shū)寫(xiě)是否正確,是否有大小寫(xiě)混亂的情況出現(xiàn),是否建站初期的時(shí)候有屏蔽所有蜘蛛的爬行的指令忘記修改了。正常情況下robots.txt檢測(cè)的事情就直接交給站長(zhǎng)工具檢查就可以了
用作品證明實(shí)力,網(wǎng)站建設(shè)行業(yè)排名前列
定制開(kāi)發(fā) / 響應(yīng)式建站 / 品牌網(wǎng)站
政府機(jī)構(gòu) / 集團(tuán)官網(wǎng) / 定制開(kāi)發(fā)
大數(shù)據(jù)企業(yè) / 定制開(kāi)發(fā) / 響應(yīng)式網(wǎng)站
乳業(yè)公司 / 定制開(kāi)發(fā)
集團(tuán)網(wǎng)站 / 定制開(kāi)發(fā) / 事業(yè)單位
定制開(kāi)發(fā) / 拓展訓(xùn)練 / 響應(yīng)式網(wǎng)站