有没有单独生成某个网站某一目录下所有网址的地图生成...

*发表于 2014-6-11 16:32:36* · 发表于 2014-6-11 16:32:36

有没有单独生成某个网站某一目录下所有网址的地图生成工具，是这样的。我有一个网站让黑客攻击了，在根目录下，生成了一个文件夹下，里面有大量的其它内容的信息。而且百度已经生成快照。文件夹已删除。目前想在百度站长平台提交死链，尽快删除非常快照。但是要提交地图。但是一般的地图生成工具都是整个站生成。我只是想生成非常文件夹下的内容页。有这样的地图生成工具吗？

*发表于 2014-6-11 17:17:04* · 发表于 2014-6-11 17:17:04

既然是某一目录，robots.txt应该更适合。

楼主| *发表于 2014-6-11 18:29:09* · 发表于 2014-6-11 18:29:09

嗯，是的老大，robots已经禁止了那个文件夹目录的抓取了，但是百度已经生成了大量的快照。我想尽快删除这些快照。

*发表于 2014-6-11 20:48:51* · 发表于 2014-6-11 20:48:51

benbenba 发表于 2014-6-11 18:29
嗯，是的老大，robots已经禁止了那个文件夹目录的抓取了，但是百度已经生成了大量的快照。我想尽快删除这些 ...

快照投诉一下

楼主| *发表于 2014-6-11 21:09:41* · 发表于 2014-6-11 21:09:41

benbenba 发表于 2014-6-11 18:29
嗯，是的老大，robots已经禁止了那个文件夹目录的抓取了，但是百度已经生成了大量的快照。我想尽快删除这些 ...

嗯，这是一个办法，但是数量太多了，上千上万的快照，用快照一个个投诉不是办法。。。

*发表于 2014-6-11 22:55:18* · 发表于 2014-6-11 22:55:18

文件夹已经删了还怎么去抓链接。

*发表于 2014-6-12 00:56:54* · 发表于 2014-6-12 00:56:54

姜姜发表于 2014-6-11 22:55
文件夹已经删了还怎么去抓链接。

他的意思应该是虽然文件删了，但是以前收录的文件快照还在。

*发表于 2014-6-12 01:00:19* · 发表于 2014-6-12 01:00:19

我对这个问题的处理就是直接用robots屏蔽，删除文件。至于已经生成的网页快照，随他去吧……

*发表于 2014-6-12 01:00:52* · 发表于 2014-6-12 01:00:52

我对这个问题的处理就是直接用robots屏蔽，删除文件。至于已经生成的网页快照，随他去吧……

*发表于 2014-6-12 08:53:58* · 发表于 2014-6-12 08:53:58

恩，既然有快照说明被爬过，去日志里边提取下该目录下的链接应该是可以的

*发表于 2014-6-12 09:08:07* · 发表于 2014-6-12 09:08:07

生成全站后，用规则来匹配、过滤。没那么麻烦

*发表于 2014-6-12 09:16:51* · 发表于 2014-6-12 09:16:51

不抓取你网站了，快照有就有被，你为什么要删除快照？有见不得人的东西？
否则管这个干嘛。

*发表于 2014-6-12 09:48:12* · 发表于 2014-6-12 09:48:12

inurl查到当前目录的所有被生成的快照提取一下试试呢

*发表于 2014-6-12 10:02:48* · 发表于 2014-6-12 10:02:48

生成的垃圾页面有规律吗，比如aaa/123之类的，可以利用site:网址,inurl 这些页面包含的共有部分，然后利用python或者火车头抓取这些被收录的url

帐号		自动登录	找回密码
密码			注册