百度暗网抓取的一个现象分享

*发表于 2014-9-10 10:29:44* · 发表于 2014-9-10 10:29:44

标题可能有点标题党，但是不能直接写一个奇怪的抓取现象吧。事情大概如下：
1.我们网站做了一个专题页面（阿里巴巴上市的专题），站内外没有给入口（一个月前），用的是A标题（阿里巴巴正式登陆纽交所上市史上最大IPO出炉）。
2.在百度框中输入用该专题页的url，结果显示没有收录。（无结果，正常现象）
3.今天早上改成了B标题（阿里巴巴美国上市专题—亿邦动力网）
4.在站内给予入口
5.百度搜索：阿里巴巴上市专题，结果有在靠前的位置，但是显示的却是A标题。
ps:专题页每次都放在这个文件夹，算是比较重要权重的物理文件夹。

奇怪点：
按道理，如果没有给予过蜘蛛该URL，蜘蛛是不能抓取的，也就是说我什么时候给入口，什么时候蜘蛛能够感知这个页面的存在。我后来修改的B标题才是第一次呈现在蜘蛛面前的标题，如果他要显示应该是B标题，结果却是A标题。
这个现象与，抓取过的页面，修改标题，仍然显示原来的标题很像。

猜测：
蜘蛛的暗网（且先这么算吧），只要不禁止抓取那个目录，他会抓取已经抓去过的页面下的同样的目录下的别的页面，索引在里面，不作为SERP的显示。直到正式蜘蛛在入口处抓到，才列入SERP的结果中。

作用：（且先这么算吧）
以后要改的页面，先别上传
重要目录里面放的别的页面也可以被抓取，好神奇。。。。算是正面因素吧

*发表于 2014-9-10 10:57:40* · 发表于 2014-9-10 10:57:40

本帖最后由 single 于 2014-9-10 10:59 编辑

.............

*发表于 2014-9-10 12:41:08* · 发表于 2014-9-10 12:41:08

见怪不怪，你没给入口，并不代表蜘蛛不能抓取到，很多途径可以抓取到，另外搜索出来的快照不一样，那应该是快照服务器没同步。没什么好疑问的。

*发表于 2014-9-11 09:49:09* · 发表于 2014-9-11 09:49:09

看下日志就知道之前有没有抓取过了

*发表于 2014-9-11 16:54:49* · 发表于 2014-9-11 16:54:49

你不是在百度里搜索了这个URL吗？

*发表于 2014-9-13 22:07:39* · 发表于 2014-9-13 22:07:39

百度里搜索了这个URL，
装了一些百度工具栏什么的，肯定是有一个入口的
跟物理结构无关．

*发表于 2014-9-15 13:29:20* · 发表于 2014-9-15 13:29:20

鉴定完毕，逆向抓取

楼主| *发表于 2014-9-19 15:43:09* · 发表于 2014-9-19 15:43:09

思明发表于 2014-9-13 22:07
百度里搜索了这个URL，
装了一些百度工具栏什么的，肯定是有一个入口的
跟物理结构无关． ...

你是说装了百度工具栏，然后就算是入口了?还是没懂。。。。

*发表于 2014-9-20 08:44:54* · 发表于 2014-9-20 08:44:54

这不是暗网，

帐号		自动登录	找回密码
密码			注册

百度暗网抓取的一个现象分享

评分