April 18, 2007
百度和它的baiduspider们
昨天发现百度一下“北极冰仔部落格”,搜索出来的结果虽然多达300多条,但居然没有一条是直接链接至这里的.许多重复的链接来自于hhalloyy的E-Space,很显然我被百度K掉了,我不清楚具体是什么原因导致百度要把我出局,实在是莫名其妙,不明白我这里有什么东东碍百度的眼了-__-|
今天再次百度一下,搜索结果已经减少至4条,重复的结果已经删掉了.做到百度这个份上那真叫累,派出笨蛋蜘蛛辛辛苦苦爬回来的东东还要再进行大量的筛选去掉重复的结果,效率肯定不高,但人家能做到一天之内就更新搜索结果也实属不易,其中的秘诀就是蛛海战术,光baiduspider的种类就多达2^11个,无论robots.txt如何设置,baiduspider照样畅通无阻,Google一下”baiduspider”就会发现,原来很多老外的网站也被这个东东烦透了,到处在找禁止良方呢.
PS: 刚才查看在线统计,发现今天早上8点多的时候,这里在线人数居然达到了120, 但是用Google Analytics又没有别人来过的记录,莫非又是一大批”百毒蜘蛛”来扫荡啦???