刚做的新站，蜘蛛抓取让人不解。

只看大图 · 发表于 2014-12-13 22:26:08

刚做的新站现在五天，百度蜘蛛抓取的这些页面，真让人不解，抓取这些地方和什么有关系呢？

*发表于 2014-12-13 23:25:56* · 发表于 2014-12-13 23:25:56

1.你在robots文章中已经屏蔽掉这些动态的内容了吗？
2.我们公司的网站，从上个月开始也抓取很多动态的内容，尽管robots文件已经屏蔽了，但是依然还是有很多情况，也不知什么原因，前几天看到大侠在网站上有提过，可能是百度蜘蛛偶尔抓去，看看你的网站是否作弊，不过也不应该一直访问啊。个人认为对于百度来说有问题是正常的，没问题就奇怪了，百度一直就是这样的习惯了就好了，只要对网站收录、排名等没什么大影响也就不用太过于在意了吧。个人浅见，坐等大侠发表意见。

*发表于 2014-12-14 11:59:34* · 发表于 2014-12-14 11:59:34

很正常，我现在robots屏蔽这些文件、动态链接百度蜘蛛依然在抓取，我觉得新站暂时先不要管这些，每天蜘蛛能稳定的来抓取你网站就好了。

帐号		自动登录	找回密码
密码			注册