根据新浪博客的robots文件( blog.sina.com.cn/robots.txt )来看,新浪博客已经屏蔽了所有搜索引擎的抓取。
一个依靠流量换取广告的门户主动禁止从搜索引擎过来流量,显然很不正常,这种非常规的做法,目前的解释只能是,新浪想防止有关部门通过搜索引擎来监控新浪博客的内容。
四大门户博客中,目前搜狐博客也在 robots 中屏蔽了搜索引擎的访问。
长期以来新浪博客因其权重高、收录快的特点,一直被许多站长视为增加网站外链的宝地。新浪博客一度成为了外链推广基地,被站长作为增加外链的最好途径之一。不过这也导致了新浪博客存在大量的软文和垃圾内容。而新浪博客屏蔽搜索引擎蜘蛛将有利于改善这一问题,减少无价值内容的产生。
2010年9月13日更新,针对早先报道的新浪博客屏蔽百度等搜索引擎爬虫事件,今天再次查看新浪博客的robots文件获知,新浪博客已经解除了对搜索引擎的屏蔽语句。