发现更大的SEO世界
 找回密码
 注册
搜索
»首页»SEO培训 › SEO论坛 › SEO交流 › 帖子
发新帖
龙之天舞，请到个人资料页面设置个人签名    

新人发贴怎么查看网站那些网页给爬虫抓取过

新人发贴怎么查看网站那些网页给爬虫抓取过
发表于 2015-5-20 21:29:36
回复 收藏

相关帖子
cong，冲冲冲冲冲    

网站日志啊
发表于 2015-5-21 00:05:34
回复 收藏
千易，seo、php爱好者    

网站日志，
日志分析工具：光年日志分析工具，爱站SEO工具包
shell分析语句：$ awk '{print $7,$14}' 2015-05-19.log|grep -i 'baiduspider'|sort|uniq|sort -nr
发表于 2015-5-21 09:06:11
回复 收藏
龙之天舞，请到个人资料页面设置个人签名    

感谢千易
 楼主| 发表于 2015-6-2 21:12:27
回复 收藏

SEO前线 ©2013-2014
论坛相关问题联系邮箱：bbs # seoqx.com

快速回复 返回顶部 返回列表